[工作內(nèi)容]
-負責(zé)設(shè)計、開發(fā)和維護大規(guī)模的數(shù)據(jù)處理系統(tǒng)及平臺，確保數(shù)據(jù)的高效采集、存儲、計算與分析。
-運用Hadoop、Spark等大數(shù)據(jù)技術(shù)棧，進行數(shù)據(jù)倉庫建設(shè)，支持公司內(nèi)外部數(shù)據(jù)分析需求。
-對現(xiàn)有數(shù)據(jù)處理流程進行性能優(yōu)化，提升數(shù)據(jù)處理效率和準確性。
-參與數(shù)據(jù)治理項目，包括但不限于數(shù)據(jù)質(zhì)量監(jiān)控、元數(shù)據(jù)管理及數(shù)據(jù)安全策略制定。
-與業(yè)務(wù)團隊緊密合作，理解業(yè)務(wù)需求，將業(yè)務(wù)邏輯轉(zhuǎn)化為可執(zhí)行的數(shù)據(jù)處理任務(wù)。
- 編寫技術(shù)文檔，分享技術(shù)知識，并指導(dǎo)初級開發(fā)人員成長。
[任職要求]
- 計算機科學(xué)或相關(guān)專業(yè)本科及以上學(xué)歷，3年以上大數(shù)據(jù)開發(fā)經(jīng)驗。
-熟練掌握Java/Python/Scala中至少一種編程語言，具備良好的算法基礎(chǔ)。
-精通Hadoop、Spark等大數(shù)據(jù)處理框架，熟悉其生態(tài)系統(tǒng)中的其他工具如Hive、Pig等。
-了解分布式系統(tǒng)原理，有實際的大規(guī)模數(shù)據(jù)處理項目經(jīng)驗者優(yōu)先。