爬蟲工程師/中臺數據負責人

崗位職責?：
1、負責網站、APP等多類型數據源的爬蟲系統規劃與開發，依據實際需求制定科學的采集方案，保障數據高效精準抓取。
2、對采集的原始數據實施清洗、去重及格式標準化處理，確保數據質量達標，為后續分析和業務應用提供堅實的數據基礎。
3、構建并維護爬蟲配套數據庫，合理設計數據存儲結構，保障數據完整與安全，同時提升數據庫查詢效率。
4、持續監控爬蟲運行情況，快速識別并處理程序異常、數據丟失等問題，確保系統長期穩定運行。
5、與數據分析、產品等團隊緊密配合，深入理解業務需求，動態優化采集策略與數據處理邏輯，適配多樣業務場景，持續提升系統性能。
6、精通數據處理與分析技術。

任職要求?：
1、本科及以上學歷，計算機相關專業背景，具備2年以上爬蟲開發經驗，有大型站點或復雜數據源采集經驗者優先考慮。
2、熟練掌握Python、Java編程語言，熟悉Scrapy、BeautifulSoup、Requests、Selenium及Java接口調用等主流爬蟲工具與庫，能獨立完成爬蟲程序開發與維護。
3、掌握HTTP/HTTPS協議原理，了解網頁構成與前端技術（HTML、CSS、JavaScript），可熟練解析網頁代碼與接口，準確提取目標數據。
4、熟悉常見反爬策略及其應對方案，至少掌握一種數據庫（如MySQL、MongoDB等）的使用方法，了解數據庫性能優化與存儲架構設計。
5、具備較強的故障排查與問題解決能力，能迅速定位并修復爬蟲運行中的各類技術問題。
6、擁有良好的溝通意識和團隊合作精神，能夠協同團隊高效推進項目任務。