ETL工程師的工作內容是什么-創(chuàng)新互聯(lián)
這篇文章將為大家詳細講解有關ETL工程師的工作內容是什么，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。
隨著大數(shù)據(jù)時代的來臨，ETL工程師逐漸出現(xiàn)在大眾的視野中，那么ETL工程師是干什么的呢？直白一點說，ETL工程師又叫數(shù)據(jù)庫工程師，需要掌握各種流行的編程語言，每天的工作就是和數(shù)據(jù)庫打交道，下面詳細介紹一下ETL工程師的工作內容，以便于大家進一步了解這個職業(yè)。
ETL是什么意思？
ETL中三個字母分別代表的是Extract、Transform、Load，即抽取、轉化、加載。數(shù)據(jù)抽取：從源數(shù)據(jù)系統(tǒng)抽取目的數(shù)據(jù)系統(tǒng)需求的數(shù)據(jù)；數(shù)據(jù)轉換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務需求，轉換成目的數(shù)據(jù)源要求的形式，并對錯誤、不一致的數(shù)據(jù)進行清洗和加工；數(shù)據(jù)加載：將轉換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。
ETL工程師主要干什么？
ETL工程師的主要工作內容有：從事系統(tǒng)編程、數(shù)據(jù)庫編程與設計。ETL原本是作為構建數(shù)據(jù)倉庫的一個環(huán)節(jié)，負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。因為以前經(jīng)常是將業(yè)務系統(tǒng)的數(shù)據(jù)取出來放到數(shù)倉中，按照星型或雪花型建模。
ELT 的核心思想就是要利用下游數(shù)據(jù)存儲性能大幅提升和機器學習應用的靈活性的優(yōu)勢，在數(shù)據(jù)流轉的過程中不做過于復雜的計算。ETL負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。
ETL是數(shù)據(jù)倉庫中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對于關系數(shù)據(jù)庫，數(shù)據(jù)倉庫技術沒有嚴格的數(shù)學理論基礎，它更面向實際工程應用。所以從工程應用的角度來考慮，按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對數(shù)據(jù)進行一些系列處理，處理過程與經(jīng)驗直接相關，同時這部分的工作直接關系數(shù)據(jù)倉庫中數(shù)據(jù)的質量，從而影響到聯(lián)機分析處理和數(shù)據(jù)挖掘的結果的質量。
數(shù)據(jù)倉庫是一個獨立的數(shù)據(jù)環(huán)境，需要通過抽取過程將數(shù)據(jù)從聯(lián)機事務處理環(huán)境、外部數(shù)據(jù)源和脫機的數(shù)據(jù)存儲介質導入到數(shù)據(jù)倉庫中；在技術上，ETL主要涉及到關聯(lián)、轉換、增量、調度和監(jiān)控等幾個方面；數(shù)據(jù)倉庫系統(tǒng)中數(shù)據(jù)不要求與聯(lián)機事務處理系統(tǒng)中數(shù)據(jù)實時同步，所以ETL可以定時進行。但多個ETL的操作時間、順序和成敗對數(shù)據(jù)倉庫中信息的有效性至關重要。
ETL工程師崗位職責：
1、海量數(shù)據(jù)的ETL開發(fā)，抽取成各種數(shù)據(jù)需求。
2、參與數(shù)據(jù)倉庫架構的設計及開發(fā) 。
3、參與數(shù)據(jù)倉庫ETL流程優(yōu)化及解決ETL相關技術問題。
4、熟悉主流數(shù)據(jù)庫技術，如oracle、Sql server、PostgeSQL等。
5、精通etl架構，有一定的etl開發(fā)經(jīng)驗，了解日常作業(yè)的部署和調度。
6、會數(shù)據(jù)etl開發(fā)工具，如Datastage,Congos,Kettle等。
關于ETL工程師的工作內容是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
文章標題：ETL工程師的工作內容是什么-創(chuàng)新互聯(lián)
本文來源：http://m.jiaotiyi.com/article/ddjchi.html