职位描述

岗位职责

1.进行需求分析，收集业务特定数据需求。

2.开发和维护数据管道，以实现数据提取、转换和复制到数据湖中。

3.使用Python、Scala和Spark验证数据格式和质量；清洗、丰富和转换数据。

4.使用Apache Airflow管理整个数据管道的编排。

5.参与数据建模，并协助形式化数据对象之间的关系。

6.支持测试、监控和数据治理活动。

7.与现场团队协作，确保项目顺利执行并遵守项目时间表。

任职要求

1.计算机科学、数据科学、信息技术或相关领域的学士或硕士学位。

2.数据工程或相关领域的实际经验，具有金融服务或政府项目的经验优先。

3.精通Python、Scala和Java等编程语言。

4.熟练使用Apache Airflow、Dremio等数据工程工具及数据存储技术。

5.对数据建模、ETL过程和数据仓库原理有深入了解。

6.出色的问题解决能力和团队合作能力。

7.至少2年相关数据工程或相关领域的经验。