十年網(wǎng)站開發(fā)經(jīng)驗(yàn) + 多家企業(yè)客戶 + 靠譜的建站團(tuán)隊(duì)
量身定制 + 運(yùn)營維護(hù)+專業(yè)推廣+無憂售后,網(wǎng)站問題一站解決
postgresql版本號(hào)前面的兩個(gè)數(shù)字是他的大版本號(hào),后面的一個(gè)數(shù)字是小版本號(hào)。大版本號(hào)相同的,數(shù)據(jù)文件格式都完全一樣,比如你從8.4.6升級(jí)到8.4.7,只需要重新獲得8.4.7的二進(jìn)制文件,替換掉8.4.6的就可以了,因?yàn)閿?shù)據(jù)文件一樣,可以直接使用而如果從8.4.想升級(jí)到9.0版本,數(shù)據(jù)文件格式變動(dòng),上面方法則不適用,數(shù)據(jù)文件必須經(jīng)過sql轉(zhuǎn)儲(chǔ)才可以繼續(xù)使用。也可以這樣理解,大版本號(hào)相當(dāng)于windows具體的操作系統(tǒng),而小版本號(hào)就是sp幾,比如8.4是windowsvista,9.0是windows7,后面的數(shù)字則是只是他們的升級(jí)包而已。版本之間的具體區(qū)別和改動(dòng)請(qǐng)參看releasenotes,這里有最新的
為元寶山等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù),及元寶山網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、元寶山網(wǎng)站設(shè)計(jì),以傳統(tǒng)方式定制建設(shè)網(wǎng)站,并提供域名空間備案等一條龍服務(wù),秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求,就會(huì)得到認(rèn)可,從而選擇與我們長期合作。這樣,我們也可以走得更遠(yuǎn)!
rade_internal.log,有如下錯(cuò)誤信息
connection to database failed: fe_sendauth: no password supplied
(5) 升級(jí)進(jìn)程未結(jié)束再次運(yùn)行pg_upgrade不成功
可以在進(jìn)程管理中停止所有postgresql進(jìn)程,然后重新進(jìn)行升級(jí)
(6) 升級(jí)成功后,日志文件被自動(dòng)刪除,可以在命令行中用-r參數(shù)指定保留。
步驟7:恢復(fù)對(duì)配置文件(pg_hba.conf,postgresql.conf)進(jìn)行的修改
主要是將鑒權(quán)方式修改回比較安全的模式
步驟8:升級(jí)后處理
升級(jí)完成后,pg_upgrade會(huì)提示需要運(yùn)行腳本或批處理文件檢查新數(shù)據(jù)庫服務(wù)器及刪除舊數(shù)據(jù)庫服務(wù)器數(shù)據(jù)。
本期目錄
DB-Engines數(shù)據(jù)庫排行榜
新聞快訊
一、RDBMS家族
二、NoSQL家族
三、NewSQL家族
四、時(shí)間序列
五、大數(shù)據(jù)生態(tài)圈
六、國產(chǎn)數(shù)據(jù)庫概覽
七、云數(shù)據(jù)庫
八、推出dbaplus Newsletter的想法
九、感謝名單
為方便閱讀、重點(diǎn)呈現(xiàn),本期Newsletter(2019年1月)將對(duì)各個(gè)板塊的內(nèi)容進(jìn)行精簡(jiǎn)。需要閱讀全文的同學(xué)可點(diǎn)擊文末 【閱讀原文】 或登錄
進(jìn)行下載。
DB-Engines數(shù)據(jù)庫排行榜
以下取自2019年1月的數(shù)據(jù),具體信息可以參考,數(shù)據(jù)僅供參考。
DB-Engines排名的數(shù)據(jù)依據(jù)5個(gè)不同的因素:
新聞快訊
1、2018年9月24日,微軟公布了SQL Server2019預(yù)覽版,SQL Server 2019將結(jié)合Spark創(chuàng)建統(tǒng)一數(shù)據(jù)平臺(tái)。
2、2018年10月5日,ElasticSearch在美國紐約證券交易所上市。
3、亞馬遜放棄甲骨文數(shù)據(jù)庫軟件,導(dǎo)致最大倉庫之一在黃金時(shí)段宕機(jī)。受此消息影響,亞馬遜盤前股價(jià)小幅跳水,跌超2%。
4、2018年10月31日,Percona發(fā)布了Percona Server 8.0 RC版本,發(fā)布對(duì)MongoDB 4.0的支持,發(fā)布對(duì)XtraBackup測(cè)試第二個(gè)版本。
5、2018年10月31日,Gartner陸續(xù)發(fā)布了2018年的數(shù)據(jù)庫系列報(bào)告,包括《數(shù)據(jù)庫魔力象限》、《數(shù)據(jù)庫核心能力》以及《數(shù)據(jù)庫推薦報(bào)告》。
今年的總上榜數(shù)據(jù)庫產(chǎn)品達(dá)到了5家,分別來自:阿里云,華為,巨杉數(shù)據(jù)庫,騰訊云,星環(huán) 科技 。其中阿里云和巨杉數(shù)據(jù)庫已經(jīng)連續(xù)兩年入選。
6、2018年11月初,Neo4j宣布完成E輪8000萬美元融資。11月15日,Neo4j宣布企業(yè)版徹底閉源:
7、2019年1月8日,阿里巴巴以1.033億美元(9000萬歐元)的價(jià)格收購了Apache Flink商業(yè)公司DataArtisans。
8、2019年1月11日早間消息,亞馬遜宣布推出云數(shù)據(jù)庫軟件,亞馬遜和MongoDB將會(huì)直接競(jìng)爭(zhēng)。
RDBMS家族
Oracle 發(fā)布18.3版本
2018年7月,Oracle Database 18.3通用版開始提供下載。我們可以將Oracle Database 18c視為采用之前發(fā)布模式的Oracle Database 12c第2版的第一個(gè)補(bǔ)丁集。未來,客戶將不再需要等待多年才能用上最新版Oracle數(shù)據(jù)庫,而是每年都可以期待新數(shù)據(jù)庫特性和增強(qiáng)。Database 19c將于2019年Q1率先在Oracle cloud上發(fā)布云版本。
Oracle Database 18c及19c部分關(guān)鍵功能:
1、性能
2、多租戶,大量功能增強(qiáng)及改進(jìn),大幅節(jié)省成本和提高敏捷性
3、高可用
4、數(shù)據(jù)倉庫和大數(shù)據(jù)
MySQL發(fā)布8.0.13版本
1、賬戶管理
經(jīng)過配置,修改密碼時(shí),必須帶上原密碼。在之前的版本,用戶登錄之后,就可以修改自己的密碼。這種方式存在一定安全風(fēng)險(xiǎn)。比如用戶登錄上數(shù)據(jù)庫后,中途離開一段時(shí)間,那么非法用戶可能會(huì)修改密碼。由參數(shù)password_require_current控制。
2、配置
Innodb表必須有主鍵。在用戶沒有指定主鍵時(shí),系統(tǒng)會(huì)生成一個(gè)默認(rèn)的主鍵。但是在主從復(fù)制的場(chǎng)景下,默認(rèn)的主鍵,會(huì)對(duì)叢庫應(yīng)用速度帶來致命的影響。如果設(shè)置sql_require_primary_key,那么數(shù)據(jù)庫會(huì)強(qiáng)制用戶在創(chuàng)建表、修改表時(shí),加上主鍵。
3、字段默認(rèn)值
BLOB、TEXT、GEOMETRY和JSON字段可以指定默認(rèn)值了。
4、優(yōu)化器
1)Skip Scan
非前綴索引也可以用了。
之前的版本,任何沒有帶上f1字段的查詢,都沒法使用索引。在新的版本中,它可以忽略前面的字段,讓這個(gè)查詢使用到索引。其實(shí)現(xiàn)原理就是把(f1 = 1 AND f2 40) 和(f1 = 2 AND f2 40)的查詢結(jié)果合并。
2)函數(shù)索引
之前版本只能基于某個(gè)列或者多個(gè)列加索引,但是不允許在上面做計(jì)算,如今這個(gè)限制消除了。
5、SQL語法
GROUP BY ASC和GROUP BY DESC語法已經(jīng)被廢棄,要想達(dá)到類似的效果,請(qǐng)使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。
6、功能變化
1)設(shè)置用戶變量,請(qǐng)使用SET語句
如下類型語句將要被廢棄SELECT @var, @var:=@var+1。
2)新增innodb_fsync_threshold
該變量是控制文件刷新到磁盤的速率,防止磁盤在短時(shí)間內(nèi)飽和。
3)新增會(huì)話級(jí)臨時(shí)表空間
在以往的版本中,當(dāng)執(zhí)行SQL時(shí),產(chǎn)生的臨時(shí)表都在全局表空間ibtmp1中,及時(shí)執(zhí)行結(jié)束,臨時(shí)表被釋放,空間不會(huì)被回收。新版本中,會(huì)為session從臨時(shí)表空間池中分配一個(gè)臨時(shí)表空間,當(dāng)連接斷開時(shí),臨時(shí)表空間的磁盤空間被回收。
4)在線切換Group Replication的狀態(tài)
5)新增了group_replication_member_expel_timeout
之前,如果某個(gè)節(jié)點(diǎn)被懷疑有問題,在5秒檢測(cè)期結(jié)束之后,那么就直接被驅(qū)逐出這個(gè)集群。即使該節(jié)點(diǎn)恢復(fù)正常時(shí),也不會(huì)再被加入集群。那么,瞬時(shí)的故障,會(huì)把某些節(jié)點(diǎn)驅(qū)逐出集群。
group_replication_member_expel_timeout讓管理員能更好的依據(jù)自身的場(chǎng)景,做出最合適的配置(建議配置時(shí)間小于一個(gè)小時(shí))。
MariaDB 10.3版本功能展示
1、MariaDB 10.3支持update多表ORDER BY and LIMIT
1)update連表更新,limit語句
update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;
MySQL 8.0直接報(bào)錯(cuò)
MariaDB 10.3更新成功
2)update連表更新,ORDER BY and LIMIT語句
update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;
MySQL 8.0直接報(bào)錯(cuò)
MariaDB 10.3更新成功
參考:
2、MariaDB10.3增補(bǔ)AliSQL補(bǔ)丁——安全執(zhí)行Online DDL
Online DDL從名字上看很容易誤導(dǎo)新手,以為不論什么情況,修改表結(jié)構(gòu)都不會(huì)鎖表,理想很豐滿,現(xiàn)實(shí)很骨感,注意這個(gè)坑!
有以下兩種情況執(zhí)行DDL操作會(huì)鎖表的,Waiting for table metadata lock(元數(shù)據(jù)表鎖):
針對(duì)第二種情況,MariaDB10.3增補(bǔ)AliSQL補(bǔ)丁-DDL FAST FAIL,讓其DDL操作快速失敗。
例:
如果線上有某個(gè)慢SQL對(duì)該表進(jìn)行操作,可以使用WAIT n(以秒為單位設(shè)置等待)或NOWAIT在語句中顯式設(shè)置鎖等待超時(shí),在這種情況下,如果無法獲取鎖,語句將立即失敗。 WAIT 0相當(dāng)于NOWAIT。
參考:
3、MariaDB Window Functions窗口函數(shù)分組取TOP N記錄
窗口函數(shù)在MariaDB10.2版本里實(shí)現(xiàn),其簡(jiǎn)化了復(fù)雜SQL的撰寫,提高了可讀性。
參考:
Percona Server發(fā)布8.0 GA版本
2018年12月21日,Percona發(fā)布了Percona Server 8.0 GA版本。
在支持MySQL8.0社區(qū)的基礎(chǔ)版上,Percona Server for MySQL 8.0版本中帶來了許多新功能:
1、安全性和合規(guī)性
2、性能和可擴(kuò)展性
3、可觀察性和可用性
Percona Server for MySQL 8.0中將要被廢用功能:
Percona Server for MySQL 8.0中刪除的功能:
RocksDB發(fā)布V5.17.2版本
2018年10月24日,RocksDB發(fā)布V5.17.2版本。
RocksDB是Facebook在LevelDB基礎(chǔ)上用C++寫的高效內(nèi)嵌式K/V存儲(chǔ)引擎。相比LevelDB,RocksDB提供了Column-Family,TTL,Transaction,Merge等方面的支持。目前MyRocks,TiKV等底層的存儲(chǔ)都是基于RocksDB來構(gòu)建。
PostgreSQL發(fā)布11版本
2018年10月18日,PostgreSQL 11發(fā)布。
1、PostgreSQL 11的重大增強(qiáng)
2、PostgreSQL 插件動(dòng)態(tài)
1)分布式插件citus發(fā)布 8.1
citus是PostgreSQL的一款sharding插件,目前國內(nèi)蘇寧、鐵總、探探有較大量使用案例。
2)地理信息插件postgis發(fā)布2.5.1
PostGIS是專業(yè)的時(shí)空數(shù)據(jù)庫插件,在測(cè)繪、航天、氣象、地震、國土資源、地圖等時(shí)空專業(yè)領(lǐng)域應(yīng)用廣泛。同時(shí)在互聯(lián)網(wǎng)行業(yè)也得到了對(duì)GIS有性能、功能深度要求的客戶青睞,比如共享出行、外賣等客戶。
3)時(shí)序插件timescale發(fā)布1.1.1
timescale是PostgreSQL的一款時(shí)序數(shù)據(jù)庫插件,在IoT行業(yè)中有非常好的應(yīng)用。github star數(shù)目前有5000多,是一個(gè)非常火爆的插件。
4)流計(jì)算插件 pipelinedb 正式插件化
Pipelinedb是PostgreSQL的一款流計(jì)算插件,使用這個(gè)創(chuàng)建可以對(duì)高速寫入的數(shù)據(jù)進(jìn)行實(shí)時(shí)根據(jù)定義的聚合規(guī)則進(jìn)行聚合(支持概率計(jì)算),實(shí)時(shí)根據(jù)定義的規(guī)則觸發(fā)事件(支持事件處理函數(shù)的自定義)??捎糜贗oT,監(jiān)控,F(xiàn)EED實(shí)時(shí)計(jì)算等場(chǎng)景。
3、PostgreSQL衍生開源產(chǎn)品動(dòng)態(tài)
1)agensgraph發(fā)布 2.0.0版本
agensgraph是兼容PostgreSQL、opencypher的專業(yè)圖數(shù)據(jù)庫,適合圖式關(guān)系的管理。
2)gpdb發(fā)布5.15
gpdb是兼容PostgreSQL的mpp數(shù)據(jù)庫,適合OLAP場(chǎng)景。近兩年,gpdb一直在追趕PostgreSQL的社區(qū)版本,預(yù)計(jì)很快會(huì)追上10的PostgreSQL,在TP方面的性能也會(huì)得到顯著提升。
3)antdb發(fā)布3.2
antdb是以Postgres-XC為基礎(chǔ)開發(fā)的一款PostgreSQL sharding數(shù)據(jù)庫,亞信主導(dǎo)開發(fā),開源,目前主要服務(wù)于亞信自有客戶。
4)遷移工具M(jìn)TK發(fā)布52版本
MTK是EDB提供的可以將Oracle、PostgreSQL、MySQL、MSSQL、Sybase數(shù)據(jù)庫遷移到PostgreSQL, PPAS的產(chǎn)品,遷移速度可以達(dá)到100萬行/s以上。
DB2發(fā)布 11.1.4.4版本
DB2最新發(fā)布Mod Pack 4 and Fix Pack 4,包含以下幾方面的改動(dòng)及增強(qiáng):
1、性能
2、高可用
3、管理視圖
4、應(yīng)用開發(fā)方面
5、聯(lián)邦功能
6、pureScale
NoSQL家族
Redis發(fā)布5.0.3版本
MongoDB升級(jí)更新MongoDB Mobile和MongoDB Stitch
2018年11月21日,MongoDB升級(jí)更新MongoDB Mobile和MongoDB Stitch,助力開發(fā)人員提升工作效率。
MongoDB 公司日前發(fā)布了多項(xiàng)新產(chǎn)品功能,旨在更好地幫助開發(fā)人員在世界各地管理數(shù)據(jù)。通過利用存儲(chǔ)在移動(dòng)設(shè)備和后臺(tái)數(shù)據(jù)庫的數(shù)據(jù)之間的實(shí)時(shí)、自動(dòng)的同步特性,MongoDB Mobile通用版本助力開發(fā)人員構(gòu)建更快捷、反應(yīng)更迅速的應(yīng)用程序。此前,這只能通過在移動(dòng)應(yīng)用內(nèi)部安裝一個(gè)可供選擇或限定功能的數(shù)據(jù)庫來實(shí)現(xiàn)。
MongoDB Mobile在為客戶提供隨處運(yùn)行的自由度方面更進(jìn)了一步。用戶在iOS和安卓終端設(shè)備上可擁有MongoDB所有功能,將網(wǎng)絡(luò)邊界擴(kuò)展到其物聯(lián)網(wǎng)資產(chǎn)范疇。應(yīng)用系統(tǒng)還可以使用MongoDB Stitch的軟件開發(fā)包訪問移動(dòng)客戶端或后臺(tái)數(shù)據(jù),幫助開發(fā)人員通過他們希望的任意方式查詢移動(dòng)終端數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù),包括本地讀寫、本地JSON存儲(chǔ)、索引和聚合。通過Stitch移動(dòng)同步功能(現(xiàn)可提供beta版),用戶可以自動(dòng)對(duì)保存在本地的數(shù)據(jù)以及后臺(tái)數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行同步。
本期新秀:Cassandra發(fā)布3.11.3版本
2018年8月11日,Cassandra發(fā)布正式版3.11.3。
Apache Cassandra是一款開源分布式NoSQL數(shù)據(jù)庫系統(tǒng),使用了基于Google BigTable的數(shù)據(jù)模型,與面向行(row)的傳統(tǒng)關(guān)系型數(shù)據(jù)庫或鍵值存儲(chǔ)key-value數(shù)據(jù)庫不同,Cassandra使用的是寬列存儲(chǔ)模型(Wide Column Stores)。與BigTable和其模仿者HBase不同,數(shù)據(jù)并不存儲(chǔ)在分布式文件系統(tǒng)如GFS或HDFS中,而是直接存于本地。
Cassandra的系統(tǒng)架構(gòu)與Amazon DynamoDB類似,是基于一致性哈希的完全P2P架構(gòu),每行數(shù)據(jù)通過哈希來決定應(yīng)該存在哪個(gè)或哪些節(jié)點(diǎn)中。集群沒有master的概念,所有節(jié)點(diǎn)都是同樣的角色,徹底避免了整個(gè)系統(tǒng)的單點(diǎn)問題導(dǎo)致的不穩(wěn)定性,集群間的狀態(tài)同步通過Gossip協(xié)議來進(jìn)行P2P的通信。
3.11.3版本的一些bug fix和改進(jìn):
NewSQL家族
TiDB 發(fā)布2.1.2版本
2018 年 12 月 22 日,TiDB 發(fā)布 2.1.2 版,TiDB-Ansible 相應(yīng)發(fā)布 2.1.2 版本。該版本在 2.1.1 版的基礎(chǔ)上,對(duì)系統(tǒng)兼容性、穩(wěn)定性做出了改進(jìn)。
TiDB 是一款定位于在線事務(wù)處理/在線分析處理( HTAP: Hybrid Transactional/Analytical Processing)的融合型數(shù)據(jù)庫產(chǎn)品。除了底層的 RocksDB 存儲(chǔ)引擎之外,分布式SQL層、分布式KV存儲(chǔ)引擎(TiKV)完全自主設(shè)計(jì)和研發(fā)。
TiDB 完全開源,兼容MySQL協(xié)議和語法,可以簡(jiǎn)單理解為一個(gè)可以無限水平擴(kuò)展的MySQL,并且提供分布式事務(wù)、跨節(jié)點(diǎn) JOIN、吞吐和存儲(chǔ)容量水平擴(kuò)展、故障自恢復(fù)、高可用等優(yōu)異的特性;對(duì)業(yè)務(wù)沒有任何侵入性,簡(jiǎn)化開發(fā),利于維護(hù)和平滑遷移。
TiDB:
PD:
TiKV:
Tools:
1)TiDB-Lightning
2)TiDB-Binlog
EsgynDB發(fā)布R2.5版本
2018年12月22日,EsgynDB R2.5版本正式發(fā)布。
作為企業(yè)級(jí)產(chǎn)品,EsgynDB 2.5向前邁進(jìn)了一大步,它擁有以下功能和改進(jìn):
CockroachDB發(fā)布2.1版本
2018年10月30日,CockroachDB正式發(fā)布2.1版本,其新增特性如下:
新增企業(yè)級(jí)特性:
新增SQL特性:
新增內(nèi)核特性:
Admin UI增強(qiáng):
時(shí)間序列
本期新秀:TimescaleDB發(fā)布1.0版本
10月底,TimescaleDB 1.0宣布正式推出,官方表示該版本已可用于生產(chǎn)環(huán)境,支持完整SQL和擴(kuò)展。
TimescaleDB是基于PostgreSQL數(shù)據(jù)庫開發(fā)的一款時(shí)序數(shù)據(jù)庫,以插件化的形式打包提供,隨著PostgreSQL的版本升級(jí)而升級(jí),不會(huì)因?yàn)榱砹⒎种砺闊?/p>
TimescaleDB架構(gòu):
數(shù)據(jù)自動(dòng)按時(shí)間和空間分片(chunk)
更新亮點(diǎn):
大數(shù)據(jù)生態(tài)圈
Hadoop發(fā)布2.9.2版本
2018年11月中旬,Hadoop在2.9分支上發(fā)布了新的2.9.2版本,該版本進(jìn)行了204個(gè)大大小小的變更,主要變更如下:
Greenplum 發(fā)布5.15版本
Greenplum最新的5.15版本中發(fā)布了流式數(shù)據(jù)加載工具。
該版本中的Greenplum Streem Server組件已經(jīng)集成了Kafka流式加載功能,并通過了Confluent官方的集成認(rèn)證,其支持的主要功能如下:
國產(chǎn)數(shù)據(jù)庫概覽
K-DB發(fā)布數(shù)據(jù)庫一體機(jī)版
2018年11月7日,K-DB發(fā)布了數(shù)據(jù)庫一體機(jī)版。該版本更新情況如下:
OceanBase遷移服務(wù)發(fā)布1.0版本
1月4日,OceanBase 正式發(fā)布OMS遷移服務(wù)1.0版本。
以下內(nèi)容包含 OceanBase 遷移服務(wù)的重要特性和功能:
SequoiaDB發(fā)布3.0.1新版本
1、架構(gòu)
1)完整計(jì)算存儲(chǔ)分離架構(gòu),兼容MySQL協(xié)議、語法
計(jì)算存儲(chǔ)分離體系以松耦合的方式將計(jì)算與存儲(chǔ)層分別部署,通過標(biāo)準(zhǔn)接口或插件對(duì)各個(gè)模塊和組件進(jìn)行無縫替換,在計(jì)算層與存儲(chǔ)層均可實(shí)現(xiàn)自由的彈性伸縮。
SequoiaDB巨杉數(shù)據(jù)庫“計(jì)算-存儲(chǔ)分離”架構(gòu)詳細(xì)示意
用戶可以根據(jù)自身業(yè)務(wù)特征選擇面向交易的SQL解析器(例如MySQL或PGSQL)或面向統(tǒng)計(jì)分析的執(zhí)行引擎(例如SparkSQL)。眾所周知,使用不同的SQL優(yōu)化與執(zhí)行方式,數(shù)據(jù)庫的訪問性能可能會(huì)存在上千上萬倍的差距。計(jì)算存儲(chǔ)分離的核心思想便是在數(shù)據(jù)存儲(chǔ)層面進(jìn)行一體化存儲(chǔ),在計(jì)算層面則利用每種執(zhí)行引擎的特點(diǎn)針對(duì)不同業(yè)務(wù)場(chǎng)景進(jìn)行選擇和優(yōu)化,用戶可以在存儲(chǔ)層進(jìn)行邏輯與物理的隔離,將面向高頻交易的前端業(yè)務(wù)與面向高吞吐量的統(tǒng)計(jì)分析使用不同的硬件進(jìn)行存儲(chǔ),確保在多類型數(shù)據(jù)訪問時(shí)互不干擾,以真正達(dá)到生產(chǎn)環(huán)境可用的多租戶與HTAP能力。
2、其他更新信息
1)接口變更:
2)主要特性:
云數(shù)據(jù)庫
本期新秀:騰訊發(fā)布數(shù)據(jù)庫CynosDB,開啟公測(cè)
1、News
1)騰訊云數(shù)據(jù)庫MySQL2018年重大更新:
2)騰訊云數(shù)據(jù)庫MongoDB2018年重大更新:
3)騰訊云數(shù)據(jù)庫Redis/CKV+2018年重大更新:
4)騰訊云數(shù)據(jù)庫CTSDB2018年重大更新:
2、Redis 4.0集群版商業(yè)化上線
2018年10月,騰訊云數(shù)據(jù)庫Redis 4.0集群版完成邀測(cè)、公測(cè)、商業(yè)化三個(gè)迭代,在廣州、上海、北京正式全量商業(yè)化上線。
產(chǎn)品特性:
使用場(chǎng)景:
官網(wǎng)文檔:
3、騰訊自研數(shù)據(jù)庫CynosDB發(fā)布,開啟公測(cè)
2018年11月22日,騰訊云召開新一代自研數(shù)據(jù)庫CynosDB發(fā)布會(huì),業(yè)界第一款全面兼容市面上兩大最主流的開源數(shù)據(jù)庫MySQL和PostgreSQL的高性能企業(yè)級(jí)分布式云數(shù)據(jù)庫。
本期新秀:京東云DRDS發(fā)布1.0版本
12月24日,京東云分布式關(guān)系型數(shù)據(jù)庫DRDS正式發(fā)布1.0版本。
DRDS是京東云精心自研的數(shù)據(jù)庫中間件產(chǎn)品,獲得了2018年 ”可信云技術(shù)創(chuàng)新獎(jiǎng)”。DRDS可實(shí)現(xiàn)海量數(shù)據(jù)下的自動(dòng)分庫分表,具有高性能,分布式,彈性升級(jí),兼容MySQL等優(yōu)點(diǎn),適用于高并發(fā)、大規(guī)模數(shù)據(jù)的在線交易, 歷史 數(shù)據(jù)查詢,自動(dòng)數(shù)據(jù)分片等業(yè)務(wù)場(chǎng)景,歷經(jīng)多次618,雙十一的考驗(yàn),已經(jīng)在京東集團(tuán)內(nèi)大規(guī)模使用。
京東云DRDS產(chǎn)品有以下主要特性
1)自動(dòng)分庫分表
通過簡(jiǎn)單的定義即可自動(dòng)實(shí)現(xiàn)分庫分表,將數(shù)據(jù)實(shí)際存放在多個(gè)MySQL實(shí)例的數(shù)據(jù)庫中,但呈現(xiàn)給應(yīng)用程序的依舊是一張表,對(duì)業(yè)務(wù)透明,應(yīng)用程序幾乎無需改動(dòng),實(shí)現(xiàn)了對(duì)數(shù)據(jù)庫存儲(chǔ)和處理能力的水平擴(kuò)展。
2)分布式架構(gòu)
基于分布式架構(gòu)的集群方案,多個(gè)對(duì)等節(jié)點(diǎn)同時(shí)對(duì)外提供服務(wù),不但可有效規(guī)避服務(wù)的單點(diǎn)故障,而且更加容易擴(kuò)展。
3)超強(qiáng)性能
具有極高的處理能力,雙節(jié)點(diǎn)即可支持?jǐn)?shù)萬QPS,滿足用戶超大規(guī)模處理能力的需求。
4)兼容MySQL
兼容絕大部分MySQL語法,包括MySQL語法、數(shù)據(jù)類型、索引、常用函數(shù)、排序、關(guān)聯(lián)等DDL,DML語句,使用成本低。
參考鏈接:
RadonDB發(fā)布1.0.3版本
2018年12月26日,MyNewSQL領(lǐng)域的RadonDB云數(shù)據(jù)庫發(fā)布1.0.3版本。
推出dbaplus Newsletter的想法
dbaplus Newsletter旨在向廣大技術(shù)愛好者提供數(shù)據(jù)庫行業(yè)的最新技術(shù)發(fā)展趨勢(shì),為社區(qū)的技術(shù)發(fā)展提供一個(gè)統(tǒng)一的發(fā)聲平臺(tái)。為此,我們策劃了RDBMS、NoSQL、NewSQL、時(shí)間序列、大數(shù)據(jù)生態(tài)圈、國產(chǎn)數(shù)據(jù)庫、云數(shù)據(jù)庫等幾個(gè)版塊。
我們不以商業(yè)宣傳為目的,不接受任何商業(yè)廣告宣傳,嚴(yán)格審查信息源的可信度和準(zhǔn)確性,力爭(zhēng)為大家提供一個(gè)純凈的技術(shù)學(xué)習(xí)環(huán)境,歡迎大家監(jiān)督指正。
至于Newsletter發(fā)布的周期,目前計(jì)劃是每三個(gè)月左右會(huì)做一次跟進(jìn), 下期計(jì)劃時(shí)間是2019年4月14日~4月25日, 如果有相關(guān)的信息提供請(qǐng)發(fā)送至郵箱:newsletter@dbaplus.cn
感謝名單
最后要感謝那些提供寶貴信息和建議的專家朋友,排名不分先后。
往期回顧:
↓↓別忘了點(diǎn)這里下載 2019年1月 完整版Newsletter 哦~
日前Gitlab博客宣布發(fā)布GitLab的又一個(gè)里程碑大版本12.0。該版本主推基于全棧DevOps的全供應(yīng)鏈安全DevSecOps,從而實(shí)現(xiàn)真正意義上的開發(fā),運(yùn)維和安全的有機(jī)集成。另外代碼審閱一直是Gitlab比較重點(diǎn)突擊加強(qiáng)的功能新版本在可視化方面做了很多事情,可以極大快速提高代碼審閱流程。另外還有項(xiàng)目依賴列表、基于IP ACL限制能安全功能方面的功能,更多的功能請(qǐng)跟著蟲蟲一起 探索 。
GitLab在用戶級(jí)別整個(gè)單個(gè)用戶的合并請(qǐng)求并自動(dòng)創(chuàng)建審閱預(yù)覽界面(Review App)。該功能可以讓每一個(gè)用戶都能知道設(shè)計(jì)或UX是如何改變的。
GitLab 12.0在Review App中加入將可視化審閱工具直,拓展變更審議的能力。通過一個(gè)小代碼片段,用戶可以使設(shè)計(jì)人員,產(chǎn)品經(jīng)理和其他相關(guān)人員能夠快速提供有關(guān)合并請(qǐng)求的反饋,而無需離開應(yīng)用程序。
ULTIMATE版本新版本在項(xiàng)目左側(cè)邊欄菜單可以列出項(xiàng)目的依賴關(guān)系列表(有時(shí)稱為物料清單或物BOM)。
BOM可以表明項(xiàng)目中包含哪些組件,安全團(tuán)隊(duì)和合規(guī)性團(tuán)隊(duì)通常會(huì)審查這些依賴的組件確保沒有安全問題??梢詾g覽相關(guān)報(bào)告,并且支持以JSON格式導(dǎo)出。
限制Gitlab界面的訪問一直都是大家很急需的功能,新版本商業(yè)版本中支持在Gitlab中進(jìn)行IP(段)限制,加入黑名單機(jī)制限制訪問IP,設(shè)置更加靈活,可以自建實(shí)例可以在組級(jí)別上設(shè)置限制。(當(dāng)然可以通過nginx進(jìn)行IP限制,方法需要可以聯(lián)系)
在GitLab 12.0中,Web IDE中的更改可以自動(dòng)同步到Web終端,在提交更改之前,可以在Web終端中對(duì)其進(jìn)行測(cè)試。該功能可以降低新貢獻(xiàn)者的入門門檻,因?yàn)樗麄儫o需安裝項(xiàng)目的本地依賴項(xiàng)即可查看,編輯和測(cè)試。
通過GitLab的Kubernetes集成部署JupyterHub是一種簡(jiǎn)單方便地Jupyter Notebook環(huán)境構(gòu)建。利用該環(huán)境可以創(chuàng)建和實(shí)時(shí)代碼分享,可視化、運(yùn)行以后books文件。
GitLab 12.0中如果通過Gitlab、K8s部署JupyterHub到集群時(shí),會(huì)自動(dòng)安裝配置JupyterLab的Git擴(kuò)展。然后通過Git對(duì)環(huán)境進(jìn)行完全版本控制,在Jupyter中執(zhí)行Git命令??梢酝ㄟ^左側(cè)面板上的Git選項(xiàng)卡或通過Jupyter的命令行提示符執(zhí)行。
通過extends關(guān)鍵字,把不同內(nèi)容分割為不同文件在引入,可以保持用戶CI/CD配置文件整潔。在GitLab 12.0中,可以允許用戶在單個(gè)作業(yè)中包含多個(gè)擴(kuò)展片段來改進(jìn)此功能,并且通過多個(gè)擴(kuò)展,可以實(shí)現(xiàn)整潔簡(jiǎn)化的CI配置(處女座管理員必備)。
在GitLab 12.0中新添加了GitLab CI/CD作業(yè)擴(kuò)展和折疊日志的輸出。用戶可以更輕松地調(diào)試作業(yè)中的某些步驟,并在需要時(shí)瀏覽整體步驟。
gitlab公開了漏洞數(shù)據(jù)庫項(xiàng)目(/gitlab-org/security-products/gemnasium-db)。用戶可以查看具體條目并驗(yàn)證感興趣的漏洞,也支持用戶一起參與完善該咯多干數(shù)據(jù)庫。
依靠LDAP的組織通常需要于GitLab同步以進(jìn)行權(quán)限管理。在GitLab 12.0中,實(shí)例可以阻止具有實(shí)例級(jí)設(shè)置的非管理員在LDAP之外進(jìn)行權(quán)限更改。通過該方法,具有合規(guī)性的組織可以使用這個(gè)選項(xiàng)來確保LDAP中的權(quán)限映射到Gitlab實(shí)例,而不能由非實(shí)例管理員的用戶修改。
GitLab Ultimate 11.9(功能標(biāo)志)中引入的GitLab Insights現(xiàn)在在GitLab Ultimate 12.0中默認(rèn)啟用。
可以統(tǒng)計(jì)項(xiàng)目中重要的數(shù)據(jù)的統(tǒng)計(jì),比如給定時(shí)間段創(chuàng)建/關(guān)閉的問題,合并請(qǐng)求的平均合并時(shí)間等等。
在GitLab 11.8中,引入了從上游橋接作業(yè)觸發(fā)下游管道的功能。還介紹了將變量傳遞給下游管道的基本支持。在GitLab 12.0中新增加支持將當(dāng)前環(huán)境變量傳遞到下游管道??梢栽试S用戶向下游管道提供上下文以及提交,合并請(qǐng)求或觸發(fā)它的管道的其他細(xì)節(jié)。
在GitLab 11.11中,啟動(dòng)了依賴代理的MVC,它允許用戶下載和緩存Docker鏡像,以便更快,更可靠地下載。在GitLab 12.0中,在組級(jí)別默認(rèn)啟用了該功能。
Container Registry API允許GitLab用戶以編程方式輕松管理注冊(cè)。GitLab 12.0中更新了權(quán)限模型,以允許開發(fā)人員刪除標(biāo)簽。
在GitLab 12.0中,當(dāng)重新打包Git存儲(chǔ)庫時(shí),bitmap緩存將保存在bitmap索引中。緩存提高了重打包性能。(3.5.0之前的 JGit 版本與bitmap不兼容)
在此版本之前,GitLab無服務(wù)器功能只能在通過GitLab安裝的Knative上使用。在GitLab 12.0中以安裝的Knative被GitLab Serverless利用??梢允謩?dòng)添加現(xiàn)有Knative集群,將相關(guān)的無服務(wù)器模板添加到項(xiàng)目中。所以GitLab Serverless可與托管的Knative產(chǎn)品一起使用,例如Google的GKE上的Cloud Run或在IBM托管的Knative服務(wù)。
從GitLab 12.0開始,可以直接從GitLab的環(huán)境儀表板中提供并輕松訪問外部儀表板。
現(xiàn)有的用于討論合并請(qǐng)求和問題的設(shè)計(jì)涉及許多框和邊界,難以對(duì)對(duì)話進(jìn)行跟蹤。在新版本中,對(duì)此做了重新設(shè)計(jì)來增強(qiáng)用戶的討論體驗(yàn)。
動(dòng)態(tài)應(yīng)用程序安全性測(cè)試(DAST)不再需要在Docker中使用Docker來運(yùn)行。因此,DAST Docker鏡像(3GB)現(xiàn)在將在Runners上緩存。(注意鏡像每周更新一次,因此緩存將在每周一失效)。
在12.0中,添加了為群組通知設(shè)置電子郵件地址的功能??梢宰層脩魧⒔M通知發(fā)送到不同的電子郵件地址。例如,工作組的工作電子郵件地址和個(gè)人組的個(gè)人電子郵件地址(個(gè)人設(shè)置項(xiàng)目里面有電子郵件菜單用以添加郵件地址)。
在解除掃描程序發(fā)現(xiàn)的漏洞時(shí),新添加一個(gè)字段可用于添加詳細(xì)說明此漏洞被解除的原因。
這將使安全團(tuán)隊(duì)和開發(fā)人員能夠查看 歷史 記錄并了解未修復(fù)項(xiàng)目的原因。
由于審計(jì)等原因可能希望確保項(xiàng)目(可能包括存儲(chǔ)庫中的重要代碼)只能存檔,而不會(huì)被刪除和永久丟失。新版本可以通過實(shí)例級(jí)設(shè)置來防止非管理員刪除項(xiàng)目。
自GitLab 8.9起,GitLab CI/CD通過在作業(yè)定義中指定GIT_DEPTH變量來支持淺git克隆。新版本中添加了在項(xiàng)目級(jí)別設(shè)置clone深度的功能,項(xiàng)目維護(hù)者可設(shè)置默認(rèn)為淺層克隆。淺Git克隆比每次克隆整個(gè)Git存儲(chǔ)庫更快,如果CI/CD作業(yè)設(shè)置為構(gòu)建最新代碼,通常淺的克隆就足夠了。
同樣在GitLab 12.0中,默認(rèn)情況下,在GitLab中創(chuàng)建的新項(xiàng)目在創(chuàng)建時(shí)的GIT_DEPTH設(shè)置為50。該默認(rèn)設(shè)置將幫助用戶使用GitLab CI/CD實(shí)現(xiàn)更快的克隆和構(gòu)建時(shí)間,同時(shí)仍允許高級(jí)用戶在不同類型的CI/CD用例需要時(shí)更改此設(shè)置。
Fork工作流程創(chuàng)建一個(gè)副本,用戶修改該副本并合并到上游項(xiàng)目,從而輕松地加速了協(xié)作,這也是Github等Git項(xiàng)目得以流行的功能。但是對(duì)一個(gè)熱門的項(xiàng)目,可能會(huì)存在數(shù)以千計(jì)的副本,存儲(chǔ)這些副本需要消耗大量的服務(wù)器資源。
GitLab 12.0中,實(shí)例管理員可以使用object_pools功能標(biāo)志啟用Git對(duì)象重復(fù)數(shù)據(jù)刪除。啟用后,創(chuàng)建公共分支也將創(chuàng)建對(duì)象池并使用objects/info/ alternates來減少分叉的存儲(chǔ)要求。對(duì)象重復(fù)數(shù)據(jù)刪除需要啟用散列存儲(chǔ),并且父項(xiàng)目要使用散列存儲(chǔ)。現(xiàn)有的forks還沒有自動(dòng)遷移到對(duì)象池。在后續(xù)即將將發(fā)布的版本中,會(huì)通過直接在重復(fù)數(shù)據(jù)刪除狀態(tài)下創(chuàng)建fork來實(shí)現(xiàn)快速fork。當(dāng)前版本還需要首先創(chuàng)建fork,然后進(jìn)行重復(fù)數(shù)據(jù)刪除。
從2019年5月30日起,GitLab在線git服務(wù)已啟用對(duì)象重復(fù)數(shù)據(jù)刪除。自建實(shí)例但默認(rèn)情況下關(guān)閉該功能,因?yàn)樵讷@取時(shí)會(huì)顯示重復(fù)警告。
手動(dòng)添加Kubernetes集群需要輸入多個(gè)數(shù)據(jù)點(diǎn),并且容易出錯(cuò)。為了在手動(dòng)添加集群解決訪問和權(quán)限問題,kubernetes集成支持將驗(yàn)證API URL的可訪問性以及集群令牌和CA證書的有效性。
在GitLab 12.0中,過Zoom電話會(huì)議輕松與團(tuán)隊(duì)成員就問題進(jìn)行協(xié)作。在問題說明中粘貼會(huì)議鏈接。 GitLab將檢測(cè)鏈接并在標(biāo)題下方的頂部顯示"加入Zoom會(huì)議"按鈕,使其顯示給所有協(xié)作者。
用戶能夠在問題中定義任務(wù),并且該信息在整個(gè)應(yīng)用程序的各個(gè)位置會(huì)顯示。在GitLab 12.0中,用戶可以通過API返回任務(wù)進(jìn)度信息。
之前版本用戶無法從問題API獲取詳細(xì)的問題統(tǒng)計(jì)信息。在GitLab 12.0中添加了返回所有、已關(guān)閉和已打開狀態(tài)的問題統(tǒng)計(jì)的功能。
GitLab 12.0中Omnibus改進(jìn)包括:
引入Mattermost 5.11,這是一個(gè)開源的Slack替代品,其最新版本包括一個(gè)新的遠(yuǎn)程CLI工具,及更多功能。此版本還包括安全更新,盡快升級(jí)到新版本來。
默認(rèn)情況下啟用JSON日志記錄。
omnibus-gitlab默認(rèn)會(huì)啟用Grafana服務(wù)。此外,現(xiàn)在已經(jīng)實(shí)現(xiàn)GitLab和Grafana自動(dòng)啟用OAuth身份驗(yàn)證。
使用一些直接檢測(cè)的ruby指標(biāo)改進(jìn)了GitLab指標(biāo)
GitLab還同期發(fā)布了GitLab Runner 12.0。主要變化如下:
Docker Credentials幫助程序支持;
在注冊(cè)時(shí)為跑步者添加access_level配置;
允許Kubernetes Executor配置Pod安全上下文;
為新注冊(cè)的Windows shell執(zhí)行程序設(shè)置PowerShell默認(rèn)值;
支持Windows docker卷配置。
同時(shí)GitLab Runner 12.0版本,也刪除了一些此前棄用的東西:
刪除已棄用的clone/fetch命令
刪除已棄用的git clean策略
刪除對(duì)已棄用的metrics_server設(shè)置的支持
刪除對(duì)K8S的已棄用入口點(diǎn)配置的支持
刪除對(duì)已棄用的S3緩存配置的支持
刪除對(duì)已棄用分發(fā)的支持
刪除舊的docker helper image命令
可以在GitLab Runner的CHANGELOG中找到所有更改的列表。
GitLab 12.0在性能方面的一些改進(jìn)包括:
epics列表頁面系能做了性能大幅度優(yōu)化。
避免為Elasticsearch結(jié)果訪問數(shù)據(jù)庫,避免兩次針對(duì)搜索結(jié)果點(diǎn)擊Elasticsearch。
批量提交文檔到ElasticSearch索引;
緩存在提交消息中呈現(xiàn)Markdown以提高列表提交的性能;
提高每次推送的存儲(chǔ)庫大小限制檢查的性能;
使用長描述加載問題或合并請(qǐng)求時(shí)提高性能;
通過建議的更改提高合并請(qǐng)求的性能;
重新打包Git存儲(chǔ)庫時(shí),通過使用delta島來提高性能并減少克隆的CPU使用率;
提高監(jiān)控圖表的性能;
修復(fù)ListLastCommit RPC上的Git N+1;
使用--perl-regexp提高Git代碼搜索性能;
通過修復(fù)Git N + 1來提高JobsController的性能;
GitLab的主要維護(hù)版本版本這中,刪除對(duì)GitLab 9.x的支持。最低支持版本提高到GitLab 10.0。
啟用日期:2019年6月22日
在GitLab 12.0,GitLab Geo需要使用Hashed Storage來緩解輔助節(jié)點(diǎn)上的競(jìng)爭(zhēng)條件。請(qǐng)使用"sudo gitlab-rake gitlab:geo:check"檢查是否啟用了Hashed Storage并遷移了所有項(xiàng)目。
遷移日期:2019年6月22日
在GitLab 12.0中,Geo需要PostgreSQL外部數(shù)據(jù)包裝器,將最低PostgreSQL版本提高到9.6。 GitLab Geo使用PostgreSQL Foreign Data Wrapper來查詢來自不同PostgreSQL實(shí)例的數(shù)據(jù)。這是Geo Log Cursor所必需的,可以顯著提高了某些同步操作的性能。 Foreign Data Wrapper還提高了Geo節(jié)點(diǎn)狀態(tài)查詢的性能。對(duì)于大型項(xiàng)目,遺留查詢具有不可接受的性能。
遷移日期:2019年6月22日
在GitLab 12.1中將刪除Kubernetes部署選擇器的應(yīng)用程序標(biāo)簽匹配(刪除最初計(jì)劃為12.0)。在GitLab 11.10的一部分,gitlab引入了一種新的匹配機(jī)制,它使用app.gitlab.com/app和app.gitlab.com/env來展示部署板上的部署。要在部署板中查看這些部署,需要做的就是推送新部署,GitLab將使用新標(biāo)簽進(jìn)行部署。
移除日期:2019年6月22日
新的KUBE_INGRESS_BASE_DOMAIN環(huán)境變量在GitLab 11.8部分引入。不再需要使用AUTO_DEVOPS_DOMAIN來定義多個(gè)域,因?yàn)楝F(xiàn)在可以在群集頁面上單獨(dú)定義這些域。
移除日期:2019年6月22日
在GitLab 12.1中計(jì)劃刪除實(shí)例級(jí)Kubernetes服務(wù)模板,以支持在GitLab 11.11中引入的實(shí)例級(jí)集群功能。
作為升級(jí)到GitLab 12.0的一部分,任何使用服務(wù)模板的自建gitlab實(shí)例都將遷移到實(shí)例級(jí)集群。
移除日期:2019年6月22日
在GitLab 12.0中完全刪除了對(duì)skip_auto_migrations文件的支持。該文件在GitLab 10.6中已被棄用。
移除日期:2019年6月22日
GitLab 12.0中完全取消了對(duì)Prometheus 1.x的支持。
移除日期:2019年6月22日
openSUSE 42.3將于2019年6月30日到期。gitlab將會(huì)在12.2中放棄支持。
移除日期:2019年8月22日
GitLab 11.9開始GitLab Runner一直在使用一種新方法來克隆/獲取存儲(chǔ)庫。在目前版本,如果不支持新方法,GitLab Runner將使用舊方法。
在GitLab 11.0中,我們更改了為GitLab Runner配置度量服務(wù)器的方式。 metrics_server已被刪除,轉(zhuǎn)而使用GitLab 12.0中的listen_address。
在11.3中,GitLab Runner開始支持多個(gè)緩存提供程序。這導(dǎo)致特定于S3的配置的新設(shè)置。
GitLab 12.0中將不再提供這些路徑。對(duì)于從11.9+以上的用戶,直接升級(jí)不會(huì)有任何影響。
棄用日期:2019年6月22日
在GitLab 11.4中,GitLab Runner引入了一個(gè)功能標(biāo)志FF_K8S_USE_ENTRYPOINT_OVER_COMMAND。在GitLab 12.0中,將刪除這些功能標(biāo)志。
移除日期:2019年6月22日
GitLab Runner中一些Linux發(fā)行版已達(dá)到End of Life支持。GitLab 12.0中,GitLab Runner不再提供專門分發(fā)包給過期的Linux發(fā)行版。
棄用日期:2019年6月22日
作為添加對(duì)Windows Docker執(zhí)行程序的支持的一部分,需要棄用一些用于幫助程序鏡像的舊命令。在GitLab 12.0中,GitLab Runner開始使用新命令。這僅影響覆蓋幫助程序鏡像的用戶。
遷移日期:2019年6月22日
使用GitLab Runner 11.10引入了一種配置Runner如何執(zhí)行g(shù)it clean命令的方法。新的清理策略刪除了git reset的使用,并在checkout之后刪除了git clean命令。在GitLab Runner 12.0中,GitLab Runner放棄了對(duì)舊版清理策略的支持,并刪除了使用功能標(biāo)志設(shè)置恢復(fù)該功能的方法。
棄用日期:2019年6月22日
許可證管理做了重新命名以便更好地與GitLab 12.0中的常見行業(yè)用語一致。許可證合規(guī)性的目的是分析應(yīng)用程序,跟蹤第三方組件(如庫和外部依賴項(xiàng))使用的許可證,并檢查它們是否與項(xiàng)目的許可模型兼容。許可證合規(guī)性安全軟件組合分析組的一部分。
遷移日期:2019年6月22日
命令行參數(shù)--auth-first-page,不再受支持,需要?jiǎng)h除此參數(shù)。
DEP_SCAN_DISABLE_REMOTE_CHECKS標(biāo)志變量,不再受支持,需要?jiǎng)h除此參數(shù)。
GITLAB_FEATURES環(huán)境變量中的sast_container值,必須更改為container_scanning。
遷移日期:2019年6月22日
新版本不再更新在項(xiàng)目管道中配置安全功能時(shí)使用的文檔中安全手動(dòng)配置代碼段。請(qǐng)使用include: template: Dependency-Scanning.gitlab-ci.yml配置中使用Secure的include。
棄用日期:2019年6月22日
為了緩解這種情況,默認(rèn)情況下將禁用前進(jìn)3DES。對(duì)于現(xiàn)代瀏覽器的用戶,這不應(yīng)該改變?nèi)魏蝺?nèi)容,但是在Windows XP操作系統(tǒng)上運(yùn)行的Internet Explorer版本7和8的某些用戶可能會(huì)受到影響。
棄用日期:2019年6月22日
GitLab 12.0是支持MySQL(和MariaDB)的最后一個(gè)版本。用戶需要遷移到PostgreSQL才能使用未來版本。 MySQL已被棄用,對(duì)它的支持以前僅限于Enterprise Edition Starter和Premium。
棄用日期:2019年7月22日
GitLab 12.1中的UI中會(huì)刪除這些設(shè)置,該策略已在GitLab 11.11中的gitlab.yml中提供。此外,還可以定義Sentry環(huán)境,以區(qū)分開發(fā),stagin和生產(chǎn)等多個(gè)部署。
遷移日期:2019年7月22日
當(dāng)我們?cè)贕itLab 11.6中引入組級(jí)項(xiàng)目模板時(shí),將該功能擴(kuò)大化了。通過給予低于Silver/Premium的現(xiàn)有用戶/實(shí)例三個(gè)月的寬限期來修復(fù)GitLab 11.11中的這個(gè)錯(cuò)誤。2019年8月22日,此寬限期將到期,組項(xiàng)目模板將需要Silver/ remium或更高版本。
遷移日期:2019年8月22日
如果使用Python 2的用戶在開始使用GitLab 12.2時(shí)進(jìn)行自我管理,則需要將CI變量LM_PYTHON_VERSION設(shè)置為"2"。使用Python 3的用戶現(xiàn)在可以將CI變量LM_PYTHON_VERSION更改為"3"。
遷移日期:2019年8月22日
在GitLab 12.3計(jì)劃棄用GitLab Runner中的Windows批處理命令行作業(yè)(例如cmd.exe),以支持對(duì)Windows PowerShell的擴(kuò)展和擴(kuò)展支持。對(duì)于可能仍希望針對(duì)cmd.exe運(yùn)行項(xiàng)目的用戶,可以從PowerShell調(diào)用這些命令,但不會(huì)為Windows批處理提供直接支持。
棄用日期:2019年9月22日
使用GitLab Runner 11.10,當(dāng)使用Docker和Docker Machine執(zhí)行程序已更改了共享卷中緩存作業(yè)目錄部分。 GitLab Runner現(xiàn)在緩存使用builds_dir配置的整個(gè)基本目錄,而不是僅緩存作業(yè)工作目錄的父目錄。因?yàn)樗且粋€(gè)行為改變,我們添加了一個(gè)功能標(biāo)志,允許控制是否應(yīng)該使用新的或舊的行為。在GitLab Runner 12.3,將刪除功能標(biāo)志和舊有行為。
遷移日期:2019年9月22日
Python 2.7在2020年1月1日達(dá)到其生命周期,因此將在未來的GitLab版本中刪除對(duì)Python 2的支持。
遷移日期:2019年12月22日
如果使用Omnibus安裝自建實(shí)例,通過發(fā)行版辦的包管理器直接升級(jí)即可:
比如CentOS下可以直接通過yum updata gitlab-ce自動(dòng)完成升級(jí)過程。
GitLab 12.0將Enterprise Edition多年來進(jìn)行的數(shù)據(jù)庫更改合并到Community Edition中。作為這項(xiàng)工作的一部分,還刪除了各種舊遷移。升級(jí)到GitLab 12的用戶必須先升級(jí)到最新的 11.11 補(bǔ)丁版本,然后再升級(jí)到 12.0.0 。升級(jí)到12.1.0等未來版本時(shí),用戶必須先升級(jí)到12.0.0。如果不按照此順序升級(jí)可能會(huì)導(dǎo)致數(shù)據(jù)遷移未成功,從而導(dǎo)致應(yīng)用程序錯(cuò)誤。 Omnibus安裝會(huì)先強(qiáng)制升級(jí)到12.0.0。 通過源碼安裝用戶必須按照這個(gè)順序受手動(dòng)處理 (XX- 11.11-12.0 -YY)。
GitLab 12.0默認(rèn)使用Hashed Storage。這會(huì)影響新安裝。
GitLab 12.0將自動(dòng)將PostgreSQL版本升級(jí)到10.0。
用戶可以跳過PostreSQL 10.0的自動(dòng)升級(jí),創(chuàng)建/etc/gitlab/ disable-postgresql-upgrade。
如果使用GitLab Geo,將在主節(jié)點(diǎn)和所有輔助節(jié)點(diǎn)上跳過自動(dòng)PostgreSQL升級(jí)。我們將在12.1中為Geo用戶提供升級(jí)路徑。
默認(rèn)情況下,GitLab 12.0將啟用JSON日志記錄。并提供了保留以前非JSON的日志格式的設(shè)置文檔。
1、盡量只安裝官方源倉庫的,如需要安裝第三方,最好先在VM環(huán)境做好測(cè)試,或者到論壇查看詢問相關(guān)問題; 2、在升級(jí)前做好系統(tǒng)備份,如出現(xiàn)問題可以及時(shí)恢復(fù)。
相信如果你在重新安裝或者升級(jí)Postgresql數(shù)據(jù)庫的時(shí)候都需要你輸入在第一次安裝時(shí)候的密碼,這個(gè)密碼往往我們都會(huì)忘記,那么萬一忘記了該咋辦?難道真就不能安裝了?答案當(dāng)然是否定的。在項(xiàng)目中,本人就遇到過這樣的情況,一番摸索過后發(fā)現(xiàn)終于發(fā)現(xiàn)其中的奧秘,首先,Postgresql 安裝時(shí),會(huì)往用戶組中添加一個(gè)postgresql用戶,而這個(gè)用戶就是阻止你密碼驗(yàn)證不能通過的罪魁禍?zhǔn)?,好吧,將其刪除,再試試呢,成功了。別急,有些時(shí)候,你在安裝的時(shí)候還會(huì)報(bào)一些錯(cuò)誤,我同事就遇到此類情況,最后發(fā)現(xiàn)Postgresql 還會(huì)在當(dāng)前用戶下記錄一下信息,比如管理工具的默認(rèn)用戶名和密碼等信息,密碼是不加密的哦??!以我的Win 7 32bit Enterprise version 為例,我的用戶為:Abc_Zhou,則在C:\Users\abc_zhou\AppData\Roaming folder下看到有postgresql,刪掉吧,好了,至此,你將能夠完全安裝成功了。
有時(shí)候在不知道密碼的情況下如何能夠使用數(shù)據(jù)庫呢?當(dāng)然前提是你知道用戶名。這個(gè)是比較糾結(jié)的問題,用以上方法重裝?顯然不行,誰能保證我的數(shù)據(jù)呢。別急,咱們也有辦法,首先,來到數(shù)據(jù)庫的安裝目錄data文件夾下面,我的是9.0.4 version,路徑為(PostgreSQL\9.0\data),然后找到pg_hba.conf文件,在最下放有一下幾句話:
# TYPE DATABASE USER CIDR-ADDRESS METHOD
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5
好吧,將所有的md5修改稱為trust,重啟數(shù)據(jù)庫服務(wù),再去界面登錄看看,記住不要輸入密碼哦。當(dāng)你登錄成功了之后難道想改個(gè)密碼還不容易?
Alter user 'postgres' with password '123456';
至此,重新把method改回md5吧,重啟服務(wù),使用剛剛修改的密碼登錄,果斷成功了。
好了,到此基本上完成我們的全部需求了,可是,有時(shí)候我們又不想改掉原本的密碼,或許系統(tǒng)中還會(huì)有其他軟件使用此用戶呢。好,那還不簡(jiǎn)單,重新創(chuàng)建一個(gè)用戶不就得了,不錯(cuò)好方法。但是我要告訴你一個(gè)更絕的辦法,就是如果有人在管理工具中登錄并保存過密碼,那你就可以通過以下文件直接找出密碼:C:\AllUsers\abc_zhou\AppData\postgresql 中的pgpass.conf 文件(機(jī)器環(huán)境同上),記事本打開就ok了,是不是可以看到密碼了,就是這么簡(jiǎn)單。