崗位職責(zé)：
1、負(fù)責(zé)產(chǎn)品計(jì)算中心方案設(shè)計(jì)實(shí)施及hadoop/spark集群線上故障處理、性能調(diào)優(yōu)；
2、負(fù)責(zé)基于hadoop/spark生態(tài)系統(tǒng)的產(chǎn)品研發(fā)；
3、負(fù)責(zé)基于搜索引擎（elasticsearch）的產(chǎn)品研發(fā)；
4、負(fù)責(zé)基于redis，kafka集群調(diào)優(yōu)及產(chǎn)品研發(fā)；
5、參與海量數(shù)據(jù)處理和高性能分布式計(jì)算的架構(gòu)設(shè)計(jì)，負(fù)責(zé)數(shù)據(jù)處理流程的設(shè)計(jì)和代碼開發(fā)，撰寫相關(guān)文檔；
6、研究大數(shù)據(jù)、ai領(lǐng)域最新進(jìn)展，并應(yīng)用到業(yè)務(wù)中。
職位要求：
1、大學(xué)本科或以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，spark/hadoop全棧優(yōu)先，精通任意一棧者也可；
2、擁有實(shí)際apache hadoop/spark相關(guān)系統(tǒng)的調(diào)優(yōu)、運(yùn)維、開發(fā)經(jīng)驗(yàn)；
3、使用hadoop及hadoop生態(tài)圈中的常用組件，如spark、hive、zookeeper、sqoop、flume、kafka、storm、redis、spark、yarn、impala、hbase、presto、solr 等全部或者部分組件,最好精通其中1-2個(gè)；
4、熟練掌握java 、scala或者python語言，熟悉并行計(jì)算或者分布式計(jì)算，理解mapreduce、hdfs原理、spark rdd/dataframe原理。