职位描述
该职位还未进行加V认证,请仔细了解后再进行投递!
工作职责:
1、负责数据平台的交付实施,包括安装部署、数据采集、清洗、存储、处理和分析等工作;
2、基于数据模型设计完成ETL的开发工作,完成标签、报表、指标体系等开发工作;
3、负责对客户进行相关培训、协助项目经理完成项目验收工作;
4、负责数据平台/数据仓库的维护工作、解决平台使用过程中客户碰到的问题;
5、负责数据质量的监控和优化,保证数据的准确性和及时性。
任职要求:
1、本科及以上学历,计算机,软件工程或其他相关专业;
2、拥有 3 年以上的大数据平台的部署和实施经验,具备大数据ETL的开发经验;
3、有责任意识,有一定的业务理解能力及沟通能力,能够顺畅地和内外部及其他团队沟通合作,可以独立承接需求并完成部分SQL开发相关工作;
4、熟悉数据仓库常见分层(ODS、DWD、DWS、DM)建设方法,数据仓库架构和数据模型设计,有一定的数仓运维经验;
5、熟悉HiveSQL/SparkSQL的使用,以及常见的优化技巧,有一定的Python、Shell等脚本开发能力;
6、熟悉Hadoop生态、不限于Hadoop、Hive、Sqoop、Datax、Spark、Kafka等大数据相关技术;
7、熟悉 Linux 系统和常用的命令行工具,具备Shell/Python等脚本语言开发经验,具有很强的 Troubleshooting 能力;
8、至少使用过一种自动化部署工具:Ansible、Saltstack、Chef、Puppet、Terraform 等;
9、熟悉 Docker、K8S/Istio 等容器技术和工具者优先;
10、有用户画像建设经验、 Tableau、Power BI开发经验优先。