岗位职责：
1、负责多平台信息爬取和页面内容的提取分析，负责破解各类反爬机制；
2、负责网页的数据抓取和爬取链路优化（包括逆向分析、脱壳、加密参数破解、抓取攻防等），提升抓取能力；
3、负责日常业务系统运营支撑工作（bsp, vsim-core，web 网站，终端系统，业务应用监控系统等），相关运营支撑工具的开发(python、go)；
4、负责业务运营支撑系统的部署、发布、变更以及持续优化； 针对各系统编写并维护自动化运维脚本；

任职要求：
1、3年以上python爬虫经验，本科及以上学历，计算机相关专业，有电商类数据经验优先；
2、熟练掌握python语言或java语言，熟练掌握js语言、有app数据采集经验者优先；
3、精通数据采集技术，熟悉httpclient/jsoup/xpath/css/正则表达式/验证码加密处理/代理池等网页信息抽取技术，熟悉http底层协议；熟悉mysql、redis、elasticsearch、clickhouse等数据，熟悉linux，mysql，有一定的公有云经验，了解spark sql，spark mllib， spark streaming以及spark graphx，hadoop、hive等大数据工具，amazon sagemaker；
4、精通各种反爬技术，并能够通过多种应对策略（如代理池、模拟登录、验证码与滑块的处理、浏览器渲染等）来保证数据的持续交付；
5、熟悉网页数据采集原理及技术，熟悉基于cookie的网站登录原理；