崗位職責:
1、 三年以上Python網絡爬蟲開發經驗,熟悉python java JavaScript等編程語言;
2、負責公司有關網絡抓取方面的工作,處理網絡數據抓取規劃、匯總,具備搭建數據采集平臺,建立爬蟲系統,對數據的抓取、解析、調度、存儲、維護等開發工作;
3、爬蟲核心算法和策略優化,熟悉采集系統的調度策略,分析爬蟲系統瓶頸設計實現相應策略和算法,提升爬蟲的抓取效率和質量;
4、負責服務器的網絡設置、維護和優化、安全監控、設備系統性能管理和優化、網絡性能管理和優化保障服務器與數據庫安全等。
任職要求:
1、熟悉熟悉 Python generator, lucence , scrapy,pyspider,Selenium 等框架及系統,掌握基本的Xpath,Selenium等用法及Requests,lxml庫,Selenium;或熟悉httpclient、htmlparser、lucene、slor等相關技術,Lucene/Nutch/等開源工具;
2、 精通抓包工具至少一種,熟悉使用網頁抓取原理及技術,異步編程, 多線程,多進程編程, 事件驅動編程;
3、 熟悉Windows和linux系統,基本網絡設備的簡單配置和管理及計算機硬件、操作系統維護;
4、 具有較強的分析和解決問題能力,以解決技術難題為樂趣,有想法,敢于挑戰;
5、熟悉MySQL,MongoDB及有集群數據庫開發經驗;
6、 有 simPy 仿真經驗者優先。
1、 三年以上Python網絡爬蟲開發經驗,熟悉python java JavaScript等編程語言;
2、負責公司有關網絡抓取方面的工作,處理網絡數據抓取規劃、匯總,具備搭建數據采集平臺,建立爬蟲系統,對數據的抓取、解析、調度、存儲、維護等開發工作;
3、爬蟲核心算法和策略優化,熟悉采集系統的調度策略,分析爬蟲系統瓶頸設計實現相應策略和算法,提升爬蟲的抓取效率和質量;
4、負責服務器的網絡設置、維護和優化、安全監控、設備系統性能管理和優化、網絡性能管理和優化保障服務器與數據庫安全等。
任職要求:
1、熟悉熟悉 Python generator, lucence , scrapy,pyspider,Selenium 等框架及系統,掌握基本的Xpath,Selenium等用法及Requests,lxml庫,Selenium;或熟悉httpclient、htmlparser、lucene、slor等相關技術,Lucene/Nutch/等開源工具;
2、 精通抓包工具至少一種,熟悉使用網頁抓取原理及技術,異步編程, 多線程,多進程編程, 事件驅動編程;
3、 熟悉Windows和linux系統,基本網絡設備的簡單配置和管理及計算機硬件、操作系統維護;
4、 具有較強的分析和解決問題能力,以解決技術難題為樂趣,有想法,敢于挑戰;
5、熟悉MySQL,MongoDB及有集群數據庫開發經驗;
6、 有 simPy 仿真經驗者優先。
職位類別: 大數據挖掘
舉報
- 公司性質:民營企業
- 所在地區:廣東-深圳市-寶安區
- 聯系人:何小姐
- 手機:會員登錄后才可查看
- 郵箱:會員登錄后才可查看
- 郵政編碼:
工作地址
- 地址:寶安創業二路七星創意工場創新樓202室






