负责不同应用场景下的数据采集、解析、清理,为数据挖掘和机器学习提供支持
探索、开发并维护数据基础设施,提供各种高效数据访问和处理工具
搭建数据管道,自动化数据处理流程,以及ETL开发平台
计算机、数学、统计、物理及相关专业本科以上学历,有互联网相关数据研发工作经历
熟悉Python
熟悉云平台大数据框架经验(Hadoop、Hive、Spark等)
熟悉正则表达式,能够进行各类文本数据的解析
对数据敏感,理解数据应用的各个环节,能够与数据科学家和产品运营同学无缝合作
数据爬虫经验
熟悉Numpy,Pandas,Matplotlib,Scikit-learn等
熟悉数据挖掘、机器学习的基本概念和流程