职位描述

1.负责设计和开发分布式网络爬虫系统，进行数据抓取和分析
2.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量
3.熟悉Scrapy或pyspider,有爬虫经验,熟悉爬虫调度策略,进行多平台信息的抓取和分析
4.实现数据提取、清洗、结构化、入库
5.研究优化算法，提升爬虫系统的稳定性、可扩展性
职位要求:
熟练掌握Python,Javascript,html,css,并有实际开发经验
熟练掌握至少种数据库， 有MongoDB或MySQL开发和维护经验者优先
熟悉HTTP协议,熟悉正则表达式、XPath. CSS选择器等，了 解常用验证码识别技术
有外贸数据爬虫开发或数据挖掘经验者优先