go語言并發(fā)機(jī)制原理 go語言運(yùn)行原理

Go語言——goroutine并發(fā)模型

參考：

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名申請、網(wǎng)頁空間、營銷軟件、網(wǎng)站建設(shè)、克東網(wǎng)站維護(hù)、網(wǎng)站推廣。

Goroutine并發(fā)調(diào)度模型深度解析手?jǐn)]一個(gè)協(xié)程池

Golang 的 goroutine 是如何實(shí)現(xiàn)的？

Golang - 調(diào)度剖析【第二部分】

OS線程初始棧為2MB。Go語言中，每個(gè)goroutine采用動(dòng)態(tài)擴(kuò)容方式，初始2KB，按需增長，最大1G。此外GC會(huì)收縮?？臻g。

BTW，增長擴(kuò)容都是有代價(jià)的，需要copy數(shù)據(jù)到新的stack，所以初始2KB可能有些性能問題。

更多關(guān)于stack的內(nèi)容，可以參見大佬的文章。 聊一聊goroutine stack

用戶線程的調(diào)度以及生命周期管理都是用戶層面，Go語言自己實(shí)現(xiàn)的，不借助OS系統(tǒng)調(diào)用，減少系統(tǒng)資源消耗。

Go語言采用兩級線程模型，即用戶線程與內(nèi)核線程KSE（kernel scheduling entity）是M:N的。最終goroutine還是會(huì)交給OS線程執(zhí)行，但是需要一個(gè)中介，提供上下文。這就是G-M-P模型

Go調(diào)度器有兩個(gè)不同的運(yùn)行隊(duì)列：

go1.10\src\runtime\runtime2.go

Go調(diào)度器根據(jù)事件進(jìn)行上下文切換。

調(diào)度的目的就是防止M堵塞，空閑，系統(tǒng)進(jìn)程切換。

詳見 Golang - 調(diào)度剖析【第二部分】

Linux可以通過epoll實(shí)現(xiàn)網(wǎng)絡(luò)調(diào)用，統(tǒng)稱網(wǎng)絡(luò)輪詢器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任務(wù)竊取是防止M空閑

每個(gè)M都有一個(gè)特殊的G，g0。用于執(zhí)行調(diào)度，gc，棧管理等任務(wù)，所以g0的棧稱為調(diào)度棧。g0的棧不會(huì)自動(dòng)增長，不會(huì)被gc，來自os線程的棧。

go1.10\src\runtime\proc.go

G沒辦法自己運(yùn)行，必須通過M運(yùn)行

M通過通過調(diào)度，執(zhí)行G

從M掛載P的runq中找到G，執(zhí)行G

golang sync.pool對象復(fù)用 并發(fā)原理 緩存池

在go http每一次go serve(l)都會(huì)構(gòu)建Request數(shù)據(jù)結(jié)構(gòu)。在大量數(shù)據(jù)請求或高并發(fā)的場景中，頻繁創(chuàng)建銷毀對象，會(huì)導(dǎo)致GC壓力。解決辦法之一就是使用對象復(fù)用技術(shù)。在http協(xié)議層之下，使用對象復(fù)用技術(shù)創(chuàng)建Request數(shù)據(jù)結(jié)構(gòu)。在http協(xié)議層之上，可以使用對象復(fù)用技術(shù)創(chuàng)建(w,*r,ctx)數(shù)據(jù)結(jié)構(gòu)。這樣即可以回快TCP層讀包之后的解析速度，也可也加快請求處理的速度。

先上一個(gè)測試：

結(jié)論是這樣的：

貌似使用池化，性能弱爆了？？？這似乎與net/http使用sync.pool池化Request來優(yōu)化性能的選擇相違背。這同時(shí)也說明了一個(gè)問題，好的東西，如果濫用反而造成了性能成倍的下降。在看過pool原理之后，結(jié)合實(shí)例，將給出正確的使用方法，并給出預(yù)期的效果。

sync.Pool是一個(gè) 協(xié)程安全 的 臨時(shí)對象池 。數(shù)據(jù)結(jié)構(gòu)如下：

local 成員的真實(shí)類型是一個(gè) poolLocal 數(shù)組，localSize 是數(shù)組長度。這涉及到Pool實(shí)現(xiàn)，pool為每個(gè)P分配了一個(gè)對象，P數(shù)量設(shè)置為runtime.GOMAXPROCS(0)。在并發(fā)讀寫時(shí)，goroutine綁定的P有對象，先用自己的，沒有去偷其它P的。go語言將數(shù)據(jù)分散在了各個(gè)真正運(yùn)行的P中，降低了鎖競爭，提高了并發(fā)能力。

不要習(xí)慣性地誤認(rèn)為New是一個(gè)關(guān)鍵字，這里的New是Pool的一個(gè)字段，也是一個(gè)閉包名稱。其API：

如果不指定New字段，對象池為空時(shí)會(huì)返回nil，而不是一個(gè)新構(gòu)建的對象。Get()到的對象是隨機(jī)的。

原生sync.Pool的問題是，Pool中的對象會(huì)被GC清理掉，這使得sync.Pool只適合做簡單地對象池，不適合作連接池。

pool創(chuàng)建時(shí)不能指定大小，沒有數(shù)量限制。pool中對象會(huì)被GC清掉，只存在于兩次GC之間。實(shí)現(xiàn)是pool的init方法注冊了一個(gè)poolCleanup()函數(shù)，這個(gè)方法在GC之前執(zhí)行，清空pool中的所有緩存對象。

為使多協(xié)程使用同一個(gè)POOL。最基本的想法就是每個(gè)協(xié)程，加鎖去操作共享的POOL，這顯然是低效的。而進(jìn)一步改進(jìn)，類似于ConcurrentHashMap（JDK7）的分Segment，提高其并發(fā)性可以一定程度性緩解。

注意到pool中的對象是無差異性的，加鎖或者分段加鎖都不是較好的做法。go的做法是為每一個(gè)綁定協(xié)程的P都分配一個(gè)子池。每個(gè)子池又分為私有池和共享列表。共享列表是分別存放在各個(gè)P之上的共享區(qū)域，而不是各個(gè)P共享的一塊內(nèi)存。協(xié)程拿自己P里的子池對象不需要加鎖，拿共享列表中的就需要加鎖了。

Get對象過程：

Put過程：

如何解決Get最壞情況遍歷所有P才獲取得對象呢：

方法1止前sync.pool并沒有這樣的設(shè)置。方法2由于goroutine被分配到哪個(gè)P由調(diào)度器調(diào)度不可控，無法確保其平衡。

由于不可控的GC導(dǎo)致生命周期過短，且池大小不可控，因而不適合作連接池。僅適用于增加對象重用機(jī)率，減少GC負(fù)擔(dān)。2

執(zhí)行結(jié)果:

單線程情況下，遍歷其它無元素的P，長時(shí)間加鎖性能低下。啟用協(xié)程改善。

結(jié)果：

測試場景在goroutines遠(yuǎn)大于GOMAXPROCS情況下，與非池化性能差異巨大。

測試結(jié)果

可以看到同樣使用*sync.pool，較大池大小的命中率較高，性能遠(yuǎn)高于空池。

結(jié)論：pool在一定的使用條件下提高并發(fā)性能，條件1是協(xié)程數(shù)遠(yuǎn)大于GOMAXPROCS，條件2是池中對象遠(yuǎn)大于GOMAXPROCS。歸結(jié)成一個(gè)原因就是使對象在各個(gè)P中均勻分布。

池pool和緩存cache的區(qū)別。池的意思是，池內(nèi)對象是可以互換的，不關(guān)心具體值，甚至不需要區(qū)分是新建的還是從池中拿出的。緩存指的是KV映射，緩存里的值互不相同，清除機(jī)制更為復(fù)雜。緩存清除算法如LRU、LIRS緩存算法。

池空間回收的幾種方式。一些是GC前回收，一些是基于時(shí)鐘或弱引用回收。最終確定在GC時(shí)回收Pool內(nèi)對象，即不回避GC。用java的GC解釋弱引用。GC的四種引用：強(qiáng)引用、弱引用、軟引用、虛引用。虛引用即沒有引用，弱引用GC但有空間則保留，軟引用GC即清除。ThreadLocal的值為弱引用的例子。

regexp 包為了保證并發(fā)時(shí)使用同一個(gè)正則，而維護(hù)了一組狀態(tài)機(jī)。

fmt包做字串拼接，從sync.pool拿[]byte對象。避免頻繁構(gòu)建再GC效率高很多。

在Go 語言中，如何正確的使用并發(fā)

今年的早些時(shí)候我們對比過了幾種native編程語言，包括D語言、Go、Rust和Vala。這里我們將分析來自Google的Go語言，看看他到底哪里跟別的語言不一樣。 Go語言比其他的很多語言都吸引我，雖然我不是Go語言的專家，但是我很樂意在這里介紹一下它的特性，下面的這些特性指引我轉(zhuǎn)向了Go語言。 快速簡單的編譯： go語言編譯的很快，事實(shí)上，他快的甚至可以作為腳本語言了。幾個(gè)使他編譯很快的原因有： 他不使用頭文件當(dāng)A依賴B，B又依賴C時(shí)，那么首先會(huì)編譯C，然后是B和A；但是如果A依賴B，但是A并不直接依賴于C，而是存在依賴傳遞，這時(shí)會(huì)把所有B需要從C拿到的信息放在B的對象代碼里。這樣，當(dāng)編譯A的時(shí)候，就不需要再管C了。在編譯程序時(shí)，只需將類型信息沿著依賴關(guān)系樹向上遍歷即可，如果到達(dá)樹的頂端，則只需編譯緊鄰的依賴，而不用管其它層級的依賴了。通過多返回值的錯(cuò)誤處理： 現(xiàn)代的編程語言基本上有兩種錯(cuò)誤處理辦法，例如在C語言里是使用返回值，而在Java等面向?qū)ο笳Z言里使用異常處理返回值，因?yàn)榉祷刂档臓顟B(tài)碼總是可能跟需要返回的結(jié)果有沖突。Go語言允許多返回值，從某種程度上解決了這個(gè)問題。你可以為你的函數(shù)的執(zhí)行結(jié)果狀態(tài)定義返回值，任何調(diào)用的時(shí)候都可以來檢查，很方便。簡單的組合： 可以使用interface為對象指定一些類型的成員，還可以像Java一樣給他們指定操作（行為）。例如在標(biāo)準(zhǔn)庫的io包中定義了一個(gè)Writer，就有一個(gè)帶有字節(jié)數(shù)組作為參數(shù)（輸入）一個(gè)integer值和錯(cuò)誤碼作為返回值（輸出）的方法。而實(shí)現(xiàn)了io.Writer接口中的Write方法的類型才是實(shí)際被執(zhí)行的。這個(gè)設(shè)計(jì)能夠非常優(yōu)雅的分離代碼，還簡化了單元測試過程，例如，如果你想測試一個(gè)數(shù)據(jù)庫對象的一個(gè)方法，在傳統(tǒng)的語言中你必須創(chuàng)建一個(gè)數(shù)據(jù)庫對象，然后做很多協(xié)議初始化工作。在Go語言中，你可在接口下創(chuàng)建任何對象。簡單的并發(fā)： 在Go中并發(fā)變得非常的簡單，在任何函數(shù)前方上go兩個(gè)字母，這個(gè)函數(shù)就將以他自己的go-routine（一個(gè)非常輕量級的線程）來運(yùn)行，Go- routines之間通過channels來通信。我們通常會(huì)有一些需要線程同步和互斥的需求，在Go中非常簡單，Go只是啟動(dòng)并發(fā)任務(wù)，各個(gè)任務(wù)之間通過channels來通信，從而協(xié)調(diào)同步和互斥。優(yōu)秀的錯(cuò)誤提示： 我從沒見過別的語言有Go語言這么高的錯(cuò)誤診斷質(zhì)量。例如如果你的程序思索了，Go的運(yùn)行時(shí)可以通知你，而且，他甚至可以告訴你是哪個(gè)線程出了問題。當(dāng)然編譯錯(cuò)誤也是很詳細(xì)很有用的。其他特性：Go語言還有其他非常吸引人的特性：高階函數(shù)、垃圾回收、哈希映射、可擴(kuò)展的數(shù)組等等。當(dāng)然了，沒有一件東西是非常完美的，Go語言的開發(fā)工具還非常缺乏，社區(qū)很小，但是這個(gè)語言的背后支持者是Google，這些問題都會(huì)一步一步的解決。當(dāng)其他語言，尤其是D語言、Rust、Vala旨在簡化C++而且增加新的特性的時(shí)候，他們都覺得自己像是帶著新特性的C++。

Go CSP并發(fā)模型

Go的CSP并發(fā)模型

Go實(shí)現(xiàn)了兩種并發(fā)形式。第一種是大家普遍認(rèn)知的：多線程共享內(nèi)存。其實(shí)就是Java或者C++等語言中的多線程開發(fā)。另外一種是Go語言特有的，也是Go語言推薦的：CSP（communicating sequential processes）并發(fā)模型。

CSP 是 Communicating Sequential Process 的簡稱，中文可以叫做通信順序進(jìn)程，是一種并發(fā)編程模型，由 Tony Hoare 于 1977 年提出。簡單來說，CSP 模型由并發(fā)執(zhí)行的實(shí)體（線程或者進(jìn)程）所組成，實(shí)體之間通過發(fā)送消息進(jìn)行通信，這里發(fā)送消息時(shí)使用的就是通道，或者叫 channel。CSP 模型的關(guān)鍵是關(guān)注 channel，而不關(guān)注發(fā)送消息的實(shí)體。 Go 語言實(shí)現(xiàn)了 CSP 部分理論 。

“ 不要以共享內(nèi)存的方式來通信，相反， 要通過通信來共享內(nèi)存?！?/p>

Go的CSP并發(fā)模型，是通過 goroutine和channel 來實(shí)現(xiàn)的。

goroutine 是Go語言中并發(fā)的執(zhí)行單位。其實(shí)就是協(xié)程。

channel是Go語言中各個(gè)并發(fā)結(jié)構(gòu)體(goroutine)之前的通信機(jī)制。 通俗的講，就是各個(gè)goroutine之間通信的”管道“，有點(diǎn)類似于Linux中的管道。

Channel

Goroutine

go語言--Goroutines

1、goroutine：在go語言中，每一個(gè)并發(fā)的執(zhí)行單元叫做goroutine，如果一個(gè)程序中包含多個(gè)goroutine，對兩個(gè)函數(shù)的調(diào)用則可能發(fā)生在同一時(shí)刻

2、main goroutine：當(dāng)一個(gè)程序啟動(dòng)時(shí)，其主函數(shù)即在一個(gè)單獨(dú)的goroutine中運(yùn)行，我們叫他為main gorountine

3、go goroutine：新的goroutine會(huì)用go語句來創(chuàng)建，go+函數(shù)名，go語句會(huì)使其語句中的函數(shù)在一新創(chuàng)建的goroutine中運(yùn)行，而go語句本身會(huì)迅速地完成

4、goroutine的退出：主函數(shù)返回時(shí)，所有的goroutine都會(huì)被直接打斷，程序退出，除了從主函數(shù)退出或者終止程序之外，沒有其他方法能夠讓一個(gè)goroutine來打斷另一個(gè)的執(zhí)行，但是可以通過另一種方式來實(shí)現(xiàn)這個(gè)目的，通過goroutine之間的通信來讓一個(gè)goroutine請求其他的goroutine，并讓請求的goroutine自行結(jié)束執(zhí)行

本文名稱：go語言并發(fā)機(jī)制原理 go語言運(yùn)行原理
當(dāng)前地址：http://m.jiaotiyi.com/article/highid.html