职位描述

负责爬虫系统的总体架构、爬取策略设计和研发；
负责反爬、风控对抗策略的研究与实现，提升抓取效率和质量；
根据业务需求实现 Web/App 端的文本、图片、视频数据抓取、清洗、存储等工作。
我们希望你
两年以上爬虫开发经验，精通常用的爬虫技术及架构，并能快速实现；
精通 Python/Go/Java 中的一种或多种，熟悉常用的数据存储（ES、NoSQL、MySQL 等）；
熟悉主流爬取技术及工具，熟练使用 Selenium/Puppeteer/Scrapy/Splash/PhantomJS 等至少一种工具；
熟悉 HTTP/TCP 协议，熟悉 Fiddler/Charles/BurpSuite/TCPDump/Wireshark/Mitmproxy 等至少一种网络分析工具；
有较丰富反爬实践经验，能解决图片验证码/滑块/账号限制/IP 限制等问题；
良好的代码习惯，结构清晰，命名规范，逻辑性强，代码冗余率低；
强烈的自我驱动，学习能力强，靠谱。
以下是加分项
有国内外短视频平台或其他社媒、电商平台爬虫经验优先；
有大规模爬虫及风控对抗实践经验优先；
有 App 逆向经验，熟悉 Xposed 框架、常见 Hook技术，熟悉 Smali、Dedexer、Dexdump、Apktool、Dex2jar、IDA、OLLYDBG 等至少一种；
代码洁癖、严谨、刨根问底；
不喜欢卷，崇尚工具与效率、自由与责任。