職位概述：
作為高級數(shù)據(jù)工程師/ETL工程師，您將在設(shè)計、開發(fā)和優(yōu)化數(shù)據(jù)處理系統(tǒng)方面發(fā)揮關(guān)鍵作用，以支持組織的數(shù)據(jù)計劃。您在SQL、大數(shù)據(jù)和云方面的專業(yè)知識對于構(gòu)建強大的ETL管道至關(guān)重要，這些管道將原始數(shù)據(jù)轉(zhuǎn)化為可執(zhí)行的洞察。您將與跨職能團隊合作，確保數(shù)據(jù)的準(zhǔn)確性、可訪問性和決策價值。

職責(zé)：
1. 設(shè)計與開發(fā)ETL流程：
- 使用各類批處理/流式處理工具設(shè)計和實施ETL流程，從各種數(shù)據(jù)源提取、轉(zhuǎn)換和加載數(shù)據(jù)到云。
- 與利益相關(guān)者協(xié)作，收集需求并確保ETL解決方案滿足業(yè)務(wù)需求。

2. 數(shù)據(jù)管道優(yōu)化：
- 優(yōu)化數(shù)據(jù)管道的性能、可擴展性和可靠性，確保高效的數(shù)據(jù)處理工作流。
- 監(jiān)控并排查ETL流程問題，主動解決瓶頸和故障。

3. 數(shù)據(jù)集成與管理：
- 集成來自不同來源的數(shù)據(jù)（包括數(shù)據(jù)庫、API和平面文件），確保數(shù)據(jù)質(zhì)量和一致性。
- 在云中管理和維護數(shù)據(jù)存儲解決方案（如BigQuery、Cloud Storage），以支持分析和報告。

4.GCP Dataflow開發(fā)：
- 編寫基于Apache Beam的Dataflow作業(yè)，用于數(shù)據(jù)提取、轉(zhuǎn)換和分析，確保***性能和準(zhǔn)確性。
- 與數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家協(xié)作，為分析和報告準(zhǔn)備數(shù)據(jù)。

6. 自動化與監(jiān)控：
- 使用Apache Airflow或Cloud Composer等工具實現(xiàn)ETL工作流的自動化，提高效率并減少人工干預(yù)。
- 設(shè)置監(jiān)控和告警機制，確保數(shù)據(jù)管道的健康運行并滿足SLA要求。

7. 數(shù)據(jù)治理與安全：
- 應(yīng)用數(shù)據(jù)治理***實踐，確保符合行業(yè)法規(guī)（如GDPR、HIPAA）和內(nèi)部政策。
- 與安全團隊合作，實施數(shù)據(jù)保護措施并解決潛在漏洞。

8. 文檔與知識共享：
- 編寫ETL流程、數(shù)據(jù)模型和架構(gòu)文檔，促進知識共享和新團隊成員快速上手。
- 組織培訓(xùn)和研討會，分享專業(yè)知識并在團隊內(nèi)推廣***實踐。

任職要求：
- 教育背景：
- 計算機科學(xué)、信息系統(tǒng)或相關(guān)領(lǐng)域的學(xué)士學(xué)位。
- 經(jīng)驗：
- 至少5年數(shù)據(jù)工程或ETL開發(fā)行業(yè)經(jīng)驗，重點關(guān)注Data Stage和GCP。
- 有設(shè)計和實施ETL解決方案的經(jīng)驗，包括數(shù)據(jù)建模、數(shù)據(jù)倉庫和SQL開發(fā)。
- 技術(shù)技能：
- 熟悉云服務(wù)（如BigQuery、Dataflow、Cloud Storage、Pub/Sub）及其在數(shù)據(jù)工程中的應(yīng)用。
- 有基于云的解決方案經(jīng)驗，尤其是GCP，持有云認(rèn)證者優(yōu)先。
- 具備批處理和流式處理的大數(shù)據(jù)經(jīng)驗，熟悉大數(shù)據(jù)生態(tài)系統(tǒng)（如Hadoop、HBase、Hive、MapReduce、Kafka、Flink、Spark等）。
- 熟悉Java和Python在云/大數(shù)據(jù)平臺上的數(shù)據(jù)操作。

- 分析能力：
- 具備出色的解決問題能力和對細(xì)節(jié)的高度關(guān)注。
- 能夠分析復(fù)雜數(shù)據(jù)集并提取有意義的洞察。