十年網(wǎng)站開發(fā)經(jīng)驗 + 多家企業(yè)客戶 + 靠譜的建站團隊
量身定制 + 運營維護+專業(yè)推廣+無憂售后,網(wǎng)站問題一站解決
成亮 大中華區(qū)技術(shù)經(jīng)理 Unity 余多 騰訊游戲云高級解決方案架構(gòu)師 騰訊云
我們提供的服務有:成都網(wǎng)站建設、網(wǎng)站制作、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認證、涇川ssl等。為超過千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務,是有科學管理、有技術(shù)的涇川網(wǎng)站制作公司
8月23日,騰訊云對外宣布正式全線升級IaaS產(chǎn)品,多款產(chǎn)品全面升級,但除此之外更為讓人關(guān)注的是,此次騰訊云還一口氣發(fā)布了五款重量級數(shù)據(jù)庫產(chǎn)品,并公布數(shù)據(jù)庫產(chǎn)品矩陣。
騰訊云數(shù)據(jù)庫基本上涵蓋了業(yè)界主流的數(shù)據(jù)庫產(chǎn)品,在關(guān)系型,非關(guān)系型、分布式等均有多個產(chǎn)品,今年年內(nèi)還將上線分析性數(shù)據(jù)庫等產(chǎn)品,騰訊云在數(shù)據(jù)庫上的新動作,讓它一躍成為云數(shù)據(jù)庫領(lǐng)域最強有力的引領(lǐng)者。
騰訊云向來不會隨意出手,每次產(chǎn)品的推出都有著具體落地的用戶需求,從游戲解決方案再到視頻直播服務,騰訊云動作頻頻的背后是在為市場解決實際的問題,而在此次五款數(shù)據(jù)庫發(fā)布的背后,騰訊云又看到了怎樣的未來?
一,此次騰訊云數(shù)據(jù)庫更新發(fā)布了什么
此次騰訊云推出了五款數(shù)據(jù)庫分別為SQL Server 2012、云數(shù)據(jù)庫MySQL、云數(shù)據(jù)庫HBase、云數(shù)據(jù)庫PostgreSQL、分布式數(shù)據(jù)庫TDSQL。其中SQL Server 2012的主要目的是為了補充數(shù)據(jù)庫的全面性,而其余四款均與云風口——大數(shù)據(jù)有關(guān),均滿足了企業(yè)在大數(shù)據(jù)時代,對數(shù)據(jù)庫的高性能并發(fā)管理與控制的需求,以及在數(shù)據(jù)挖掘、海量存儲、智能商務運算上的需求,
云數(shù)據(jù)庫MySQL:擺脫傳統(tǒng)MySQL數(shù)據(jù)存儲的限制,將數(shù)據(jù)庫直接搬入到更為安全可靠的云端,有著大容量、大內(nèi)存、高讀寫、高并發(fā)的特性。QPS最高高達24萬,內(nèi)存最大支持488GB,容量空間最大支持6T。
云數(shù)據(jù)庫HBase:適合于TB級別的數(shù)據(jù)庫,滿足大數(shù)據(jù)分析、開發(fā)的需求,性能高、高效二級索引方案,數(shù)據(jù)監(jiān)控顆粒度細。用戶只需要提交作業(yè),就能獲得結(jié)果,無需考慮存儲容量以及運算瓶頸,騰訊云將全方位解決。
云數(shù)據(jù)庫PostgreSQL:基于業(yè)界知名的、可以與商業(yè)數(shù)據(jù)庫Oracle媲美的開源數(shù)據(jù)庫PostgreSQL,騰訊云通過優(yōu)化使得性能比開源版本提升十倍,最大QPS可達10萬。同時下半年騰訊云還會推出更為強大的分布式PostgreSQL。
分布式數(shù)據(jù)庫TDSQL:企業(yè)級云數(shù)據(jù)庫,能夠滿足大量的大數(shù)據(jù)使用場景,目前微眾銀行、微信支付、安心保險等等金融產(chǎn)品都是采用TDSQL,有著雄厚實力。
二,云數(shù)據(jù)庫正在大數(shù)據(jù)的風口之上
越來越多的企業(yè)正在接入互聯(lián)網(wǎng),面臨著大數(shù)據(jù)增長的難題。在去年9月國務院正式發(fā)布了《國務院關(guān)于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知》,這意味著大數(shù)據(jù)開始受到國家層面的重視。在今年5月舉辦的中國大數(shù)據(jù)產(chǎn)業(yè)峰會上,馬化騰提出了利用大數(shù)據(jù)“共建云中大數(shù)據(jù)生態(tài)”的理念,因此騰訊也背負著建立云端數(shù)據(jù)的責任,而騰訊云的使命不小。
云數(shù)據(jù)庫則是大數(shù)據(jù)存放的關(guān)鍵,是整個大數(shù)據(jù)戰(zhàn)略重中之重,而未來的以下企業(yè)將會需要騰訊云數(shù)據(jù)庫的幫助。
1)尚未完全接入互聯(lián)網(wǎng)的企業(yè),事實上很多傳統(tǒng)行業(yè)都具備著較強的IT意識,并且在最初就建立起了自己的計算機數(shù)據(jù)管理,最典型的就是金融行業(yè),在早期信息化幫助其提升了效率,但是后期的金融行業(yè)卻無法讓這些數(shù)據(jù)得以有效利用,而騰訊云數(shù)據(jù)庫則可以極好的滿足這點,微眾銀行、微信支付都已經(jīng)做出了出色的案例。
2)已經(jīng)接入互聯(lián)網(wǎng)的企業(yè),很多接入互聯(lián)網(wǎng)的企業(yè)也在面臨一個問題,在早期沒有騰訊云這樣優(yōu)質(zhì)的云服務商,因此他們需要自建服務器,并且自己承擔起各種昂貴IT設施維護成本,并且需要配備一群高工資的高級工程才能夠進行大數(shù)據(jù)的利用。
但騰訊云則可以幫助這類企業(yè)實現(xiàn)徹底的解放,企業(yè)不再需要自己搭建任何設備、配置任何環(huán)境,企業(yè)只需要將數(shù)據(jù)托付于騰訊云就可以完成以前高代價的事情,而騰訊云除了大數(shù)據(jù)處理技術(shù)之外,還擁有各種服務器、安全防護、視頻解決方案、游戲解決方案等等頂級成熟技術(shù)方案,直接幫助企業(yè)完成“云端生態(tài)”的轉(zhuǎn)型與跨越。
3)新興創(chuàng)業(yè)互聯(lián)網(wǎng)公司,其天然需要托管自己產(chǎn)品的數(shù)據(jù),而初創(chuàng)公司眾所周知不僅缺少技術(shù)能力,還在資金方面捉襟見肘,而騰訊云則不僅可以幫助其管理好數(shù)據(jù),還可以在安全、彈性擴容各方面對其進行全方位的保障,并且價格也極為低廉,是創(chuàng)業(yè)者的最大福音。
三,騰訊全面開放自身技術(shù),全社會在享受福利
馬化騰此前在今年5月舉辦的中國大數(shù)據(jù)產(chǎn)業(yè)峰會表示,騰訊數(shù)據(jù)中心的儲存量已經(jīng)超過1000PB數(shù)據(jù),并持續(xù)以每天500TB速度飛速上升,而騰訊愿意將這些積累開放給更多的合作伙伴。
騰訊云一直對外表示基于騰訊18年技術(shù)和經(jīng)驗積累后的全面開放技術(shù),這里來看看這次騰訊云究竟開放哪些騰訊核心技術(shù):
此次推出的分布式數(shù)據(jù)庫TDSQL,在騰訊核心計費系統(tǒng)使用了超過10年時間,一直應用于騰訊充值、米大師等騰訊核心業(yè)務;也已經(jīng)將其應用到了外部安心保險、泛華保險、微眾銀行、匯通天下等金融、物聯(lián)網(wǎng)領(lǐng)域。由于其針對金融業(yè)務設計,除了滿足云數(shù)據(jù)庫的彈性、自動化運維、高性價比以外,還支持兩地三中心架構(gòu),擁有金融級高可用、數(shù)據(jù)強一致、金融級的安全要求;相關(guān)項目都通過了監(jiān)管部門的信息安全審核。
值得一提的是,此次騰訊云推出的云數(shù)據(jù)庫PostgreSQL,選用的是騰訊自研PostgreSQL內(nèi)核,在騰訊內(nèi)全面應用超過5年,包括微信支付、財付通、廣點通、大數(shù)據(jù)處理平臺的核心系統(tǒng)都在使用騰訊自研PostgreSQL。
根據(jù)筆者了解,騰訊內(nèi)部的大數(shù)據(jù)集群有近萬臺設備,所有元數(shù)據(jù)都存儲于騰訊自研PostgreSQL;月計算數(shù)據(jù)量超過300PB,99%的請求1秒內(nèi)響應。而這些成績的背后,全部是因為有騰訊自研的PostgreSQL的技術(shù)實力作為后盾支撐。
而騰訊云開放的云數(shù)據(jù)庫PostgreSQL除了滿足云數(shù)據(jù)庫的彈性、自動化運維、高性價比以外,還優(yōu)化了多個關(guān)鍵內(nèi)核,且支持兩地三中心架構(gòu),高可用方案,超高計算性能。
騰訊能夠?qū)⑸婕坝嬞M的核心技術(shù)的TDSQL、超過5年的自研PostgreSQL向社會開放,充分體現(xiàn)了其開放共享的心態(tài),其正在利用騰訊云積極推進中國的大數(shù)據(jù)建設,也是屬于全社會的福利。
結(jié)語:
騰訊云此次推出的五款云數(shù)據(jù)產(chǎn)品,暗合著大數(shù)據(jù)蓬勃發(fā)展的趨勢,而騰訊正在全面開放自己的技術(shù),將自己的多年積累與整個社會共享。傳統(tǒng)企業(yè)、創(chuàng)業(yè)者們都應當抓住機遇,站在巨人的肩膀上,利用騰訊云的開放,來迅速完成自己在大數(shù)據(jù)時代的轉(zhuǎn)型與創(chuàng)業(yè)。
更關(guān)注產(chǎn)品與技術(shù)的微信公眾號:“首席發(fā)言者”
對此,前Google工程師,Milo(本地商店搜索引擎)創(chuàng)始人Ted Dziuba最近發(fā)表標題驚人的博客“I Can't Wait for NoSQL to Die”,對NoSQL的適用范圍進行了分析。他認為, NoSQL也會帶來一連串的新問題,并不會成為主流,無法取代關(guān)系型數(shù)據(jù)庫。 他的理由是:Cassandra等NoSQL數(shù)據(jù)庫在使用上并不方便,比如,修改column family定義時就需要重啟。而且NoSQL更適合Google那樣的規(guī)模,而一般的互聯(lián)網(wǎng)公司都不是Google,早早地去考慮Google那樣的規(guī)模的可擴展性,純粹是浪費時間,存在巨大的商業(yè)風險。 他還透露,即使在Google,AdWords這樣的關(guān)鍵產(chǎn)品也是基于MySQL實現(xiàn)的。 他在文中最后表示,NoSQL當然死不了,但是 它最終會被邊緣化,就像Rails被NoSQL邊緣化一樣 Dziuba的文章因為言辭激烈,在社區(qū)里引起了強烈反應。 SQL數(shù)據(jù)庫陣營贊同者大有人在。craigslist工程師、著名的MySQL專家Jeremy Zawodny表示,在讀此文的時候,不時會心一笑。他說, NoSQL運動只是軟件不斷進化進程中的正?,F(xiàn)象 。關(guān)系型數(shù)據(jù)庫也會繼續(xù)發(fā)展,MySQL社區(qū)不斷推出的XtraDB或InnoDB插件, PBXT, Drizzle都是證據(jù)。各種技術(shù)競爭的結(jié)果是,我們獲得了更多解決問題的選擇。 drizzle項目開發(fā)者Eric Day也表示,NoSQL有很多值得學習的,但是目前大部分實際項目的最佳選擇還是關(guān)系型數(shù)據(jù)庫。 NoSQL陣營當然不會坐視不理,Cassandra項目組的Eric Evans表示,Dziuba提到Cassandra修改column family定義的問題其實很容易解決。而且,NoSQL并不是要取代MySQL,事實上Twitter仍然在用MySQL。如果關(guān)系型數(shù)據(jù)庫能夠承擔負荷,那就用好了;如果不行,請考慮NoSQL。 而德國知名博客Code Monkeyism則嘲笑Dziuba看起來并沒有用MySQL做過真實項目,因為MySQL如果沒有memcache,基本上無法應付網(wǎng)站項目。他認為,NoSQL將使SQL數(shù)據(jù)庫邊緣化,而且一個重要理由恰恰是可以節(jié)省DBA的開銷。 digg的前任首席架構(gòu)師現(xiàn)在也在創(chuàng)業(yè)的Joe Stump說,自己現(xiàn)在的創(chuàng)業(yè)項目就是用NoSQL,而且列舉了一系列問題挑戰(zhàn)SQL陣營。
亞馬遜在全世界范圍內(nèi)云計算領(lǐng)域應該目前無人能敵,其在中國的認證數(shù)量目前還很少,前一段時間和慧科教育簽約開拓了國內(nèi)亞馬遜AWS培訓業(yè)務,聽我朋友說考試還是比較難的,他參加了這個架構(gòu)師的培訓,我也打算考慮一下,我目前也在使用AWS。不過我也沒信心能過。之前??季蜎]通過。
大數(shù)據(jù)架構(gòu)師崗位的主要職責概述 篇1
職責:
1、負責大數(shù)據(jù)平臺及BI系統(tǒng)框架設計、規(guī)劃、技術(shù)選型,架構(gòu)設計并完成系統(tǒng)基礎(chǔ)服務的開發(fā);
2、負責海量埋點規(guī)則、SDK標準化、埋點數(shù)據(jù)采集、處理及存儲,業(yè)務數(shù)據(jù)分布存儲、流式/實時計算等應用層架構(gòu)搭建及核心代碼實現(xiàn);
3、開發(fā)大數(shù)據(jù)平臺的核心代碼,項目敏捷開發(fā)流程管理,完成系統(tǒng)調(diào)試、集成與實施,對每個項目周期技術(shù)難題的解決,保證大數(shù)據(jù)產(chǎn)品的上線運行;
4、負責大數(shù)據(jù)平臺的架構(gòu)優(yōu)化,代碼評審,并根據(jù)業(yè)務需求持續(xù)優(yōu)化數(shù)據(jù)架構(gòu),保證產(chǎn)品的可靠性、穩(wěn)定性;
5、指導開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設,分析模型構(gòu)建及分析呈現(xiàn),分享技術(shù)經(jīng)驗;
6、有效制定各種突發(fā)性研發(fā)技術(shù)故障的應對預案,有清晰的隱患意識;
7、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進業(yè)界先進技術(shù);
任職要求
1、統(tǒng)計學、應用數(shù)學或計算機相關(guān)專業(yè)大學本科以上學歷;
2、熟悉互聯(lián)網(wǎng)移動端埋點方法(點擊和瀏覽等行為埋點),無埋點方案等,有埋點SDK獨立開發(fā)經(jīng)驗者優(yōu)選;
3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具備實際項目設計及開發(fā)經(jīng)驗;
4、熟悉數(shù)據(jù)采集、數(shù)據(jù)清洗、分析和建模工作相關(guān)技術(shù)細節(jié)及流程
5、熟悉Liunx/Unix操作系統(tǒng),能熟練使用shell/perl等腳本語言,熟練掌握java/python/go/C++中一種或多種編程語言
6、具備一定的算法能力,了解機器學習/深度學習算法工具使用,有主流大數(shù)據(jù)計算組件開發(fā)和使用經(jīng)驗者優(yōu)先
7、熟悉大數(shù)據(jù)可視化工具Tableau/echarts
8、具有較強的執(zhí)行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;
大數(shù)據(jù)架構(gòu)師崗位的主要職責概述 篇2
職責:
根據(jù)大數(shù)據(jù)業(yè)務需求,設計大數(shù)據(jù)方案及架構(gòu),實現(xiàn)相關(guān)功能;
搭建和維護大數(shù)據(jù)集群,保證集群規(guī)模持續(xù)、穩(wěn)定、高效平穩(wěn)運行;
負責大數(shù)據(jù)業(yè)務的設計和指導具體開發(fā)工作;
負責公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲設計;
針對數(shù)據(jù)分析工作,能夠完成和指導負責業(yè)務數(shù)據(jù)建模。
職位要求:
計算機、自動化或相關(guān)專業(yè)(如統(tǒng)計學、數(shù)學)本科以上學歷,3年以上大數(shù)據(jù)處理相關(guān)工作經(jīng)驗;
精通大數(shù)據(jù)主流框架(如Hadoop、hive、Spark等);
熟悉MySQL、NoSQL(MongoDB、Redis)等主流數(shù)據(jù)庫,以及rabbit MQ等隊列技術(shù);
熟悉hadoop/spark生態(tài)的原理、特性且有實戰(zhàn)開發(fā)經(jīng)驗;
熟悉常用的數(shù)據(jù)挖掘算法優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的主要職責概述 篇3
職責:
1、大數(shù)據(jù)平臺架構(gòu)規(guī)劃與設計;
2、負責大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點攻關(guān);
3、能夠獨立進行行業(yè)大數(shù)據(jù)應用的整體技術(shù)框架、業(yè)務框架和系統(tǒng)架構(gòu)設計和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務需求,能夠指導開發(fā)團隊完成實施工作;
4、負責數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為相關(guān)的業(yè)務提供大數(shù)據(jù)底層平臺的支持和保證;
5、培養(yǎng)和建立大數(shù)據(jù)團隊,對團隊進行技術(shù)指導。
任職要求:
1、計算機相關(guān)專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學位,8年(碩士5年)以上工作經(jīng)驗(至少擁有3年以上大數(shù)據(jù)項目或產(chǎn)品架構(gòu)經(jīng)驗);
2、精通Java,J2EE相關(guān)技術(shù),精通常見開源框架的架構(gòu),精通關(guān)系數(shù)據(jù)庫系統(tǒng)(Oracle MySQL等)和noSQL數(shù)據(jù)存儲系統(tǒng)的原理和架構(gòu);
3、精通SQL和Mapreduce、Spark處理方法;
4、精通大數(shù)據(jù)系統(tǒng)架構(gòu),熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,有DW,BI架構(gòu)體系的專項建設經(jīng)驗;
5、對大數(shù)據(jù)體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數(shù)據(jù)技術(shù),并能設計相關(guān)數(shù)據(jù)模型;
6、很強的學習、分析和解決問題能力,可以迅速掌握業(yè)務邏輯并轉(zhuǎn)化為技術(shù)方案,能獨立撰寫項目解決方案、項目技術(shù)文檔;
7、具有較強的內(nèi)外溝通能力,良好的團隊意識和協(xié)作精神;
8、機器學習技術(shù)、數(shù)據(jù)挖掘、人工智能經(jīng)驗豐富者優(yōu)先考慮;
9、具有能源電力行業(yè)工作經(jīng)驗者優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的主要職責概述 篇4
職責:
1.參與公司數(shù)據(jù)平臺系統(tǒng)規(guī)劃和架構(gòu)工作,主導系統(tǒng)的架構(gòu)設計和項目實施,確保項目質(zhì)量和關(guān)鍵性能指標達成;
2.統(tǒng)籌和推進制造工廠內(nèi)部數(shù)據(jù)系統(tǒng)的構(gòu)建,搭建不同來源數(shù)據(jù)之間的邏輯關(guān)系,能夠為公司運營診斷、運營效率提升提供數(shù)據(jù)支持;
3.負責數(shù)據(jù)系統(tǒng)需求對接、各信息化系統(tǒng)數(shù)據(jù)對接、軟件供應商管理工作
5.根據(jù)現(xiàn)狀制定總體的數(shù)據(jù)治理方案及數(shù)據(jù)體系建立,包括數(shù)據(jù)采集、接入、分類、開發(fā)標準和規(guī)范,制定全鏈路數(shù)據(jù)治理方案;深入挖掘公司數(shù)據(jù)業(yè)務,超強的數(shù)據(jù)業(yè)務感知力,挖掘數(shù)據(jù)價值,推動數(shù)據(jù)變現(xiàn)場景的落地,為決策及業(yè)務賦能;
6.定義不同的數(shù)據(jù)應用場景,推動公司的數(shù)據(jù)可視化工作,提升公司數(shù)據(jù)分析效率和數(shù)據(jù)價值轉(zhuǎn)化。
任職要求:
1.本科以上學歷,8年以上軟件行業(yè)從業(yè)經(jīng)驗,5年以上大數(shù)據(jù)架構(gòu)設計經(jīng)驗,熟悉BI平臺、大數(shù)據(jù)系統(tǒng)相關(guān)技術(shù)架構(gòu)及技術(shù)標準;
2.熟悉數(shù)據(jù)倉庫、熟悉數(shù)據(jù)集市,了解數(shù)據(jù)挖掘、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)建模相關(guān)技術(shù);
3.熟悉大數(shù)據(jù)相關(guān)技術(shù):Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企業(yè)信息化系統(tǒng)及相關(guān)數(shù)據(jù)庫技術(shù);
5.具備大數(shù)據(jù)平臺、計算存儲平臺、可視化開發(fā)平臺經(jīng)驗,具有制造企業(yè)大數(shù)據(jù)系統(tǒng)項目開發(fā)或?qū)嵤┙?jīng)驗優(yōu)先;
6.對數(shù)據(jù)敏感,具備優(yōu)秀的業(yè)務需求分析和報告展示能力,具備制造企業(yè)數(shù)據(jù)分析和數(shù)據(jù)洞察、大數(shù)據(jù)系統(tǒng)的架構(gòu)設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協(xié)調(diào)能力,具備結(jié)果導向思維,有相關(guān)項目管理經(jīng)驗優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的.主要職責概述 篇5
職責:
1.負責產(chǎn)品級業(yè)務系統(tǒng)架構(gòu)(如業(yè)務數(shù)據(jù)對象識別,數(shù)據(jù)實體、數(shù)據(jù)屬性分析,數(shù)據(jù)標準、端到端數(shù)據(jù)流等)的設計與優(yōu)化。協(xié)助推動跨領(lǐng)域重大數(shù)據(jù)問題的分析、定位、解決方案設計,從架構(gòu)設計上保障系統(tǒng)高性能、高可用性、高安全性、高時效性、分布式擴展性,并對系統(tǒng)質(zhì)量負責。
2.負責云數(shù)據(jù)平臺的架構(gòu)設計和數(shù)據(jù)處理體系的優(yōu)化,推動云數(shù)據(jù)平臺建設和持續(xù)升級,并制定云數(shù)據(jù)平臺調(diào)用約束和規(guī)范。
3.結(jié)合行業(yè)應用的需求負責數(shù)據(jù)流各環(huán)節(jié)上的方案選型,主導云數(shù)據(jù)平臺建設,參與核心代碼編寫、審查;數(shù)據(jù)的統(tǒng)計邏輯回歸算法、實時交互分析;數(shù)據(jù)可視化方案等等的選型、部署、集成融合等等。
4.對云數(shù)據(jù)平臺的關(guān)注業(yè)內(nèi)技術(shù)動態(tài),持續(xù)推動平臺技術(shù)架構(gòu)升級,以滿足公司不同階段的數(shù)據(jù)需求。
任職要求:
1.熟悉云計算基礎(chǔ)平臺,包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎(chǔ)環(huán)境,熟悉控制、計算、存儲和網(wǎng)絡;
2.掌握大型分布式系統(tǒng)的技術(shù)棧,如:CDN、負載均衡、服務化/異步化、分布式緩存、NoSQL、數(shù)據(jù)庫垂直及水平擴容;熟悉大數(shù)據(jù)應用端到端的相關(guān)高性能產(chǎn)品。
3.精通Java,Python,Shell編程語言,精通SQL、NoSQL等數(shù)據(jù)庫增刪改查的操作優(yōu)化;
4.PB級別實戰(zhàn)數(shù)據(jù)平臺和生產(chǎn)環(huán)境的實施、開發(fā)和管理經(jīng)驗;
5.熟悉Docker等容器的編排封裝,熟悉微服務的開發(fā)和日常調(diào)度;
6.計算機、軟件、電子信息及通信等相關(guān)專業(yè)本科以上學歷,5年以上軟件工程開發(fā)經(jīng)驗,2年以上大數(shù)據(jù)架構(gòu)師工作經(jīng)驗。
大數(shù)據(jù)架構(gòu)師崗位的主要職責概述 篇6
職責描述:
1、負責集團大數(shù)據(jù)資產(chǎn)庫的技術(shù)架構(gòu)、核心設計方案,并推動落地;
2、帶領(lǐng)大數(shù)據(jù)技術(shù)團隊實現(xiàn)各項數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化;
3、新技術(shù)預研,解決團隊技術(shù)難題。
任職要求:
1、在技術(shù)領(lǐng)域有5年以上相關(guān)經(jīng)驗,3年以上的架構(gòu)設計或產(chǎn)品經(jīng)理經(jīng)驗;
2、具有2年以上大數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析相關(guān)項目經(jīng)驗;
3、精通大數(shù)據(jù)分布式系統(tǒng)(hadoop、spark、hive等)的架構(gòu)原理、技術(shù)設計;精通linux系統(tǒng);精通一門主流編程語言,java優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的主要職責概述 篇7
崗位職責:
1、基于公司大數(shù)據(jù)基礎(chǔ)和數(shù)據(jù)資產(chǎn)積累,負責大數(shù)據(jù)應用整體技術(shù)架構(gòu)的設計、優(yōu)化,建設大數(shù)據(jù)能力開放平臺;負責大數(shù)據(jù)應用產(chǎn)品的架構(gòu)設計、技術(shù)把控工作。
2、負責制定大數(shù)據(jù)應用系統(tǒng)的數(shù)據(jù)安全管控體系和數(shù)據(jù)使用規(guī)范。
3、作為大數(shù)據(jù)技術(shù)方案到產(chǎn)品實現(xiàn)的技術(shù)負責人,負責關(guān)鍵技術(shù)點攻堅工作,負責內(nèi)部技術(shù)推廣、培訓及知識轉(zhuǎn)移工作。
4、負責大數(shù)據(jù)系統(tǒng)研發(fā)項目任務規(guī)劃、整體進度、風險把控,有效協(xié)同團隊成員并組織跨團隊技術(shù)協(xié)作,保證項目質(zhì)量與進度。
5、負責提升產(chǎn)品技術(shù)團隊的技術(shù)影響力,針對新人、普通開發(fā)人員進行有效輔導,幫助其快速成長。
任職資格:
1、計算機、數(shù)學或相關(guān)專業(yè)本科以上學歷,5—20xx年工作經(jīng)驗,具有大型系統(tǒng)的技術(shù)架構(gòu)應用架構(gòu)數(shù)據(jù)架構(gòu)相關(guān)的實踐工作經(jīng)驗。
2、有分布式系統(tǒng)分析及架構(gòu)設計經(jīng)驗,熟悉基于計算集群的軟件系統(tǒng)架構(gòu)和實施經(jīng)驗。
3、掌握Hadoop/Spark/Storm生態(tài)圈的主流技術(shù)及產(chǎn)品,深入了解Hadoop/Spark/Storm生態(tài)圈產(chǎn)品的工作原理及應用場景。
4、掌握Mysql/Oracle等常用關(guān)系型數(shù)據(jù)庫,能夠?qū)QL進行優(yōu)化。
5、熟悉分布式系統(tǒng)基礎(chǔ)設施中常用的技術(shù),如緩存(Varnish、Memcache、Redis)、消息中間件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經(jīng)驗者優(yōu)先。
6、熟悉Linux,Java基礎(chǔ)扎實,至少3—5年以上Java應用開發(fā)經(jīng)驗,熟悉常用的設計模式和開源框架。
大數(shù)據(jù)架構(gòu)師崗位的主要職責概述 篇8
崗位職責:
1、負責公司大數(shù)據(jù)平臺架構(gòu)的技術(shù)選型和技術(shù)難點攻關(guān)工作;
2、依據(jù)行業(yè)數(shù)據(jù)現(xiàn)狀和客戶需求,完成行業(yè)大數(shù)據(jù)的特定技術(shù)方案設計與撰寫;
3、負責研究跟進大數(shù)據(jù)架構(gòu)領(lǐng)域新興技術(shù)并在公司內(nèi)部進行分享;
4、參與公司大數(shù)據(jù)項目的技術(shù)交流、解決方案定制以及項目的招投標工作;
5、參與公司大數(shù)據(jù)項目前期的架構(gòu)設計工作;
任職要求:
1、計算機及相關(guān)專業(yè)本科以上,5年以上數(shù)據(jù)類項目(數(shù)據(jù)倉庫、商務智能)實施經(jīng)驗,至少2年以上大數(shù)據(jù)架構(gòu)設計和開發(fā)經(jīng)驗,至少主導過一個大數(shù)據(jù)平臺項目架構(gòu)設計;
2、精通大數(shù)據(jù)生態(tài)圈的技術(shù),包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數(shù)據(jù)統(tǒng)計查詢性能優(yōu)化能力。熟悉星環(huán)大數(shù)據(jù)產(chǎn)品線及有過產(chǎn)品項目實施經(jīng)驗者優(yōu)先;
3、優(yōu)秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據(jù)業(yè)務需求設計合理的解決方案;
4、精通ORACLE、DB2、mySql等主流關(guān)系型數(shù)據(jù)庫,熟悉數(shù)據(jù)倉庫建設思路和數(shù)據(jù)分層架構(gòu)思想;
5。熟練掌握java、R、python等1—2門數(shù)據(jù)挖掘開發(fā)語言;
6。熟悉云服務平臺及微服務相關(guān)架構(gòu)思想和技術(shù)路線,熟悉阿里云或騰訊云產(chǎn)品者優(yōu)先;
7、有煙草或制造行業(yè)大數(shù)據(jù)解決方案售前經(jīng)驗者優(yōu)先;
8、能適應售前支持和項目實施需要的短期出差;
大數(shù)據(jù)架構(gòu)師崗位的主要職責概述 篇9
崗位職責:
1、負責相關(guān)開源系統(tǒng)/組件的性能、穩(wěn)定性、可靠性等方面的深度優(yōu)化;
2、負責解決項目上線后生產(chǎn)環(huán)境的各種實際問題,保障大數(shù)據(jù)平臺在生產(chǎn)上的安全、平穩(wěn)運行;
3、推動優(yōu)化跨部門的業(yè)務流程,參與業(yè)務部門的技術(shù)方案設計、評審、指導;
4、負責技術(shù)團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區(qū)金石路316號新希望中鼎國際辦公,月底項目結(jié)束后在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術(shù)擔當,解決核心技術(shù)問題;
2、3年以上大數(shù)據(jù)平臺項目架構(gòu)或開發(fā)經(jīng)驗,對大數(shù)據(jù)生態(tài)技術(shù)體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐,注重文檔管理、注重工程規(guī)范優(yōu)先;
4、熟悉Java后臺開發(fā)體系,具備微服務架構(gòu)的項目實施經(jīng)驗,有Dubbo/Spring cloud微服務架構(gòu)設計經(jīng)驗優(yōu)先;
5、性格開朗、善于溝通,有極強的技術(shù)敏感性和自我驅(qū)動學習能力,注重團隊意識。
大數(shù)據(jù)架構(gòu)師崗位的主要職責概述 篇10
職責描述:
1、負責大數(shù)據(jù)平臺框架的規(guī)劃設計、搭建、優(yōu)化和運維;
2、負責架構(gòu)持續(xù)優(yōu)化及系統(tǒng)關(guān)鍵模塊的設計開發(fā),協(xié)助團隊解決開發(fā)過程中的技術(shù)難題;
3、負責大數(shù)據(jù)相關(guān)新技術(shù)的調(diào)研,關(guān)注大數(shù)據(jù)技術(shù)發(fā)展趨勢、研究開源技術(shù)、將新技術(shù)應用到大數(shù)據(jù)平臺,推動數(shù)據(jù)平臺發(fā)展;
4、負責數(shù)據(jù)平臺開發(fā)規(guī)范制定,數(shù)據(jù)建模及核心框架開發(fā)。
任職要求:
1、計算機、數(shù)學等專業(yè)本科及以上學歷;
2、具有5年及以上大數(shù)據(jù)相關(guān)工作經(jīng)驗;
3、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫的理論功底,負責過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設計;
4、基于hadoop的大數(shù)據(jù)體系有深入認識,具備相關(guān)產(chǎn)品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)項目應用研發(fā)經(jīng)驗,有hadoop集群搭建和管理經(jīng)驗;
5、熟悉傳統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)建模,etl架構(gòu)和開發(fā)流程,使用過kettle、talend、informatic等至少一種工具;
6、自驅(qū)力強、優(yōu)秀的團隊意識和溝通能力,對新技術(shù)有好奇心,學習能力和主動性強,有鉆研精神,充滿激情,樂于接受挑戰(zhàn);