职位描述

岗位职责：
1、负责开发网络爬虫系统以及优化爬虫策略，进行多平台信息的抓取和分析；
2、完成数据采集与爬取、解析处理、入库等数据日常工作；
3、积极主动思考探索爬虫在实际业务中的价值，参与设计数据有效利用策略，从数据合理性、完整性角度提供建议；
4、把握网络爬虫核心技术研究方向，研究优化算法，提升爬虫系统的稳定性、可扩展性；
5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量。
岗位要求：
1、专科及以上学历，计算机相关专业，1年以上爬虫开发工作经验；
2、熟悉html/css/xpath/ajax/xml等技术，熟悉HTTP传输协议，精通网页抓取原理和整合技术，熟悉正则表达式；
3、精通Python，熟悉Scrapy爬虫框架，熟悉Crawlab的安装、部署和运维，有丰富的反爬经验；
4、掌握相关的数据存储工作，mysql、Redis、MongoDB有数据库调优的经验；
5、熟悉APP（熟悉APP数据爬取为必须）、PC端等数据采集；
6、熟悉反爬虫机制，处理账号限制、复杂验证码、模拟登陆等疑难问题。

任职资格：
1、本科及以上学历，计算机相关专业，5年以上爬虫开发工作经验；
2、熟悉html/css/xpath/ajax/xml等技术，熟悉HTTP传输协议，精通网页抓取原理和整合技术，熟悉正则表达式；
3、精通Python，熟悉Scrapy爬虫框架，有丰富的反爬经验；
4、熟悉MySQL/MongoDB/Redis/Hbase/PQ其中至少一种；
5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；
6、有金融行业数据、体育数据、电竞数据采集经验者优先
7、熟悉了解人工智能、机器学习、深度学习等领域的前沿方向与研究动向；

办公地点：可远程办公


福利：90%以上员工可以获得3个月以上年终绩效奖金