10000元以上
* 专业要求:
* 职位描述:
岗位职责
1、需求分析、概要/详细设计、需求实现,功能开发;
2、负责公司大数据体系建设,参与公司内部大数据平台、大数据应用系统的建设及日常运维;
3、参与基于Doris生态的统一数仓的规划、架构及研发,大数据处理、高性能分布式计算架构设计,参与各类面向内外部用户的数据产品研发,并支持各种业务查询、取数求;
4、负责大规模分布式批(spark)、流(flink)计算,并保证数据质量,负责实时/离线/调度等数据计算平台的建设;负责元数据管理平台、数据模型平台的研发;
5、构建强大的OLAP系统,提供实时、离线的分析数据以及数据服务。
任职要求
1、具备扎实计算机编程基础,包括算法、数据结构、计算机网络等领域基础知识;
2、熟悉Oracle、MySQL等数据库,灵活运用SQL实现数据ETL加工处理,熟练使用OGG、Informatica ETL配置及开发;
3、熟悉Hadoop、Hive、HBase、Spark、Flink、Kafka、Kudu、doris等常用组件的一种或几种,了解其中的架构与技术原理;
4、熟悉Java开发,具备良好的面向对象和函数式编程思想,了解常用的设计模式,掌握springboot、springCloud、mybatis等开发框架;熟悉Linux操作系统,掌握shell脚本编写;
5、具备良好的沟通技巧和意识,具备团队协作精神,学习能力强,善于思考钻研,认真严谨,主动积极,具有高度责任心及抗压能力。