岗位职责

1、负责当前定向爬虫工具的维护和更新；

2、参与分布式爬虫的设计和研发；

3、参与公司python公共库的开发与维护；

4、参与采集数据的预处理及ETL工作。

任岗要求：

1、计算机或数学与应用数学相关专业，本科及以上学历；

2、精通Python，熟悉TCP/UDP/HTTP等基础网络协议，具备2年以上的python爬虫经验，熟悉了解http2/3和grpc-web优先；

3、熟悉关系型数据库（SQL Server、MySQL或PostgreSQL）和非关系型数据库（MongoDB、HBase），熟练各种基本SQL语句和NoSQL的操作，有OLAP或者OLTP或者HATP经验者优先；

4、熟悉flask，fastapi等基于python的web框架；

5、熟悉MapReduce和Spark，并使用其进行数据清洗及ETL工作；

8、熟悉Linux系统，具备Linux系统编程经验优先；

9、责任心强、学习能力强，能承受一定工作压力，具有良好的沟通能力和团队合作精神；

10、信奉Python哲学。