1. 负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作;
2.研究各种网站、链接的形态,发现它们的特点和规律;
3.解决技术疑难问题,包括反反爬、验证码、压力控制等,提升抓取的效率和质量。
4.负责爬虫逻辑的开发,以及API接口的对接,快速响应业务变动。
1. 专科及以上学历,计算机相关专业,3年以上数据采集经验,1年以上Python开发和管理经验;
2. 有扎实的算法和数据结构能力,有扎实python语言基础;
3. 熟悉爬虫原理,常见的反爬虫技术,有公众号、小程序等爬虫项目开发经验,能够解决封账号、封IP、验证码识别、图像识别等问题;
4. 熟悉Linux操作,Re、Xpath等页面解析工具,selenium、Appnium、Airtest等模拟工具,MySQL、Redis等常用数据库;
5. 熟悉flask、Django后端技术,有APP逆向;
6.对技术热衷,工作积极主动,沟通交流能力强,具有良好的团队合作精神;
7.有淘系等其他电商平台采集经验优先;
8.有浏览器插件开发经验优化;
9.熟悉CEF,Webkit内核,有浏览器开发经验优先。