数据招聘|上海+介末数据+JAVA爬虫架构师+20-40K

我们（上海介末数据科技有限公司）是一家技术核心驱动的商用数据服务公司。依托人工智能与大数据技术致力于帮助我们的客户提升商业效率，制定精准决策。主要为包括政府单位、500强企业、大型B2B平台等对象在内的企业级合作伙伴提供数据内容、软件工具、专业咨询、综合解决方案等服务。介末数据团队具备诸多大型项目研发经验，在相关领域内名列前茅，并曾多次囊获人工智能及大数据领域内相关奖项。

需要具备的素质：

1、熟练掌握至少一门及以上开发语言，熟悉语言特性，如java，c++，python等；

2、对网络编程，http协议，web开发有一定了解，熟练掌握正则表达式、CSS 选择器、XPath中的一种或几种。

3、善于学习新事物，善于沟通和表达，有良好的团队合作意识。

4、至少3年以上一线爬虫或网络机器人开发经验，精通第三方登陆，对ip封锁处理，浏览器伪装和app行为伪装有大量实际经验。

5、对浏览器内核，安卓和ios操作系统有深入认识，熟悉客户端应用，能独立分析源码，找到各类参数逻辑和加密方式。

6、精通tcp协议以及其他高级协议，能够独立抓包解析通讯过程并进行模拟。

7、有大规模分布式应用开发经验，对保证数据一致性，高性能和稳定有实际经验。

8、熟悉selenium，phantomjs，adb和zookeeper。

9、熟悉垂直搜索爬虫、分布式网络爬虫，有过网络爬虫、浏览器抓取项目经验者优先。

10、有较强数据分析与建模能力，精通至少一种关系数据库系统，熟悉MongoDB优先。