职位描述

技能要求:
python爬虫 爬虫架构前端开发Python
我们需要你做这些事:
1.负责分布式网络爬虫系统的架构设计与开发;
2.负责海量数据的爬取、 清洗、解析、入库;
3.负责破解各类反爬机制;
4.不断提升数据抓取系统的自动化水平;
5. 执行测试脚本在每周运行和调试测试脚本的基础上每周运行;
6.能够报告, 优先级和评估自动化工具错误;
7.参 与改进/扩展测试自动化框架。
我们希望你有这些能力:
1.本科以 上学历，计算机相关专业，了解车联网发展方向者优先; 2.至少2年的java脚本/python开发Git测试用例和编写经验,熟悉Scrapy或Webmagic等抓取框架的机制和实现;
3. 了解常见的反爬手段，了解前端知识;
4.有大规模爬虫系统实现的经验，能够独立开发测试工具;
5.英语读写良好。