您當(dāng)前的位置: 首頁(yè) > 職位列表 > 職位詳情

        Python數(shù)據(jù)采集高級(jí)工程師[急聘]

        1-2萬(wàn)元/月
        投遞簡(jiǎn)歷
        四川-成都-雙流區(qū)
        5-10年 團(tuán)隊(duì)管理經(jīng)驗(yàn) · Linux開(kāi)發(fā)/部署經(jīng)驗(yàn) · 爬蟲(chóng)經(jīng)驗(yàn) · 運(yùn)維開(kāi)發(fā)經(jīng)驗(yàn) · 機(jī)器學(xué)習(xí)經(jīng)驗(yàn) Python · Java Scrapy · Docker · Kafka · Nginx · Selenium MySQL · Redis · Oracle · MongoDB
        2025-10-29 11:40:00 更新 被瀏覽:727 次
        成都博海悅意科技有限公司
        最近在線時(shí)間:2025-10-29 11:40:00
        電話:145********
        地址:四川省成都市錦江區(qū)匯泉北路155號(hào)5樓5008號(hào)
        職位描述

        職位基本信息
        ?職位名稱:Python數(shù)據(jù)采集高級(jí)工程師(Python技術(shù)棧)
        ?所屬部門:研發(fā)部
        ?工作地點(diǎn):成都天府新區(qū)
        ?團(tuán)隊(duì)規(guī)模:初期研發(fā)團(tuán)隊(duì)100+人,公司規(guī)模還將快速增長(zhǎng)

        #崗位職責(zé)
        *使用Python設(shè)計(jì)、實(shí)現(xiàn)并維護(hù)穩(wěn)定、高并發(fā)的數(shù)據(jù)采集系統(tǒng)與爬蟲(chóng)框架。
        *負(fù)責(zé)采集數(shù)據(jù)的清洗、入庫(kù)與分發(fā)(MongoDB/Redis作緩存或隊(duì)列)。
        *負(fù)責(zé)反爬與反封禁策略的研究與應(yīng)對(duì),提升抓取成功率與穩(wěn)定性。
        *針對(duì)特定采集目標(biāo),分析客戶端與服務(wù)端交互(如加密、簽名、請(qǐng)求校驗(yàn)等),設(shè)計(jì)可維護(hù)的模擬客戶端/代理方案。
        *針對(duì)AndroidApp或Web應(yīng)用進(jìn)行合理的協(xié)議分析/流量分析,提出合規(guī)的數(shù)據(jù)獲取方案
        *搭建監(jiān)控、報(bào)警與日志體系,確保爬蟲(chóng)性能與穩(wěn)定。
        *與產(chǎn)品、后端、測(cè)試溝通,推動(dòng)數(shù)據(jù)質(zhì)量與采集效率的持續(xù)改進(jìn)。

        #任職要求
        *熟練掌握Python,熟悉常用網(wǎng)絡(luò)庫(kù)(requests、httpx、aiohttp等)與并發(fā)模型(協(xié)程/多進(jìn)程/線程)。
        *熟悉MongoDB、Redis的使用與調(diào)優(yōu)(包括索引設(shè)計(jì)、聚合查詢、持久化策略、緩存/消息隊(duì)列用法)。
        *熟悉Linux操作與常見(jiàn)運(yùn)維工具,能編寫自動(dòng)化腳本,熟悉Docker優(yōu)先。
        *有良好的系統(tǒng)設(shè)計(jì)能力、代碼質(zhì)量與單元測(cè)試習(xí)慣,能夠處理高并發(fā)、大數(shù)據(jù)量場(chǎng)景。
        *良好的溝通能力與團(tuán)隊(duì)合作精神,關(guān)注安全與合規(guī)。

        有以下經(jīng)驗(yàn)優(yōu)先:
        #AndroidApp
        *熟悉Android應(yīng)用的網(wǎng)絡(luò)行為與請(qǐng)求流程,理解應(yīng)用與后端通訊的常見(jiàn)模式(REST/HTTP、WebSocket、protobuf、binarypayload等)。
        *熟悉常用抓包/代理工具與流量分析思路(流量抓取、請(qǐng)求構(gòu)造、請(qǐng)求重放、證書(shū)信任鏈分析等)。
        *理解常見(jiàn)的請(qǐng)求加密/簽名/防篡改機(jī)制的原理(例如簽名流程、時(shí)間戳/nonce、防重放)并能實(shí)現(xiàn)對(duì)接或模擬。
        *能把抓包/分析結(jié)果轉(zhuǎn)化為可復(fù)用的Python模塊或中間件,保證請(qǐng)求構(gòu)造的可讀性與可維護(hù)性。

        #Web端
        *理解各種驗(yàn)證碼類型(圖形驗(yàn)證碼、行為/滑動(dòng)驗(yàn)證碼、短信/動(dòng)態(tài)碼、基于JS的挑戰(zhàn)等)的工作原理與設(shè)計(jì)理念。
        *熟悉瀏覽器自動(dòng)化工具(如Playwright、Selenium)等。
        *理解常見(jiàn)前端加密/簽名(JS層加密、動(dòng)態(tài)token、challenge-response)的原理,并能提出工程可行的解決方案。
        *能實(shí)現(xiàn)穩(wěn)定的重試、限速、IP/UA策略與隊(duì)列控制以降低被封風(fēng)險(xiǎn)。

        求職提醒:求職過(guò)程請(qǐng)勿繳納費(fèi)用,謹(jǐn)防詐騙!若信息不實(shí)請(qǐng)舉報(bào)。
        該公司的其他職位
        跨境電商平臺(tái)產(chǎn)品經(jīng)理
        1-1.8萬(wàn)元/月
        四川-成都
        2025-10-27 15:37:37
        投遞簡(jiǎn)歷
        JAVA電商平臺(tái)架構(gòu)師
        2-3.5萬(wàn)元/月
        四川-成都
        2025-10-27 15:34:53
        投遞簡(jiǎn)歷
        Java高級(jí)研發(fā)工程師
        8000-25000元/月
        四川-成都
        2025-10-27 15:32:23
        投遞簡(jiǎn)歷
        前端高級(jí)工程師
        6000-20000元/月
        四川-成都
        2025-10-27 15:29:39
        投遞簡(jiǎn)歷
        推薦企業(yè) 職位專題
        成都博海悅意科技有限公司
        公司主頁(yè) >
        微信求職找工作
        手機(jī)掃一掃
        手機(jī)掃一掃
        隨時(shí)隨地找工作

        海量高薪崗位在線免費(fèi)直招 招聘者/求職者電話直聊

        微信小程序
        手機(jī)也能找工作
        在线免费观看黄色网站_一级A一级a爱片免费免免_国产欧美日韩被窝一区二区_日本一区视频在线观看

              日韩一区精品视频在线观看蜜桃 | 一级午夜理论片日本在线 | 中文字幕乱码久久午夜 | 亚洲国产一级视频免费观看 | 日韩精品一区二区中文在线 | 久久亚洲精精品中文字幕 |