数据挖掘工程师的岗位职责概述
来源:好兔宠物网
职责:
1、负责数据仓库架构、元数据、数据质量、血缘分析等环节的设计与实现,构建可扩展的数据仓库和分析解决方案;
2、负责将BI、运营、产品、客服等业务部门的需求抽象成数仓模型并落地;
3、负责参与智能用户画像体系开发与建设;
4、负责数据工具、数据产品及其他数据需求的开发。
技能要求:
1、有数据仓库需求调研和需求分析经验,能根据业务需求设计数据仓库模型,并对数据仓库数据模型进行管理,保证数据质量,熟悉kimball架构;
2、精通sql开发,有较丰富的Hive sql性能调优经验优先;
3、熟悉spark structured streaming、flink中至少一种流式处理计算框架,有相关开发经验;
4、熟悉大数据存储处理组件,包括但不限于Hive/HDFS/HBASE/presto/Druid/kylin/impala;
5、熟练掌握Linux各种命令行工具,良好的shell功底。
因篇幅问题不能全部显示,请点此查看更多更全内容