职位描述

岗位职责：
1. 负责数据采集，维护和改进现有爬虫代码，研究网站反爬机制，做到有效应付；
2. 设计爬虫策略和反爬策略，提升网页抓取的有效性和质量；
3. 负责数据的采集与爬取、解析处理、数据入库备份等常用日常工作；
4. 负责数据的清洗、整理、整合等工作；
5. 负责需求分析、设计文档、代码的编写；
6. 根据工作安排，能按时按质完成需求；
7. 上级交办的其他临时性工作。

任职要求：
1. 大专以上学历，计算机或相关专业优先；
2. 具有3年以上Python/PHP/GO等语言编程经验；
3. 熟悉Linu系统，熟悉SQL、熟悉主流关系型及非关系型数据库（Mysql、Mongodb、Redis)
4. 熟悉Scrapy、协程、多线程、Xpath、正则表达式原理、处理反爬机制等；
5. 有分布式爬虫部署经验，APP反编译/模拟操作、各种加密解密，熟悉数据算法优先；