Python數(shù)據(jù)采集高級(jí)工程師[急聘]

職位基本信息
?職位名稱：Python數(shù)據(jù)采集高級(jí)工程師（Python技術(shù)棧）
?所屬部門：研發(fā)部
?工作地點(diǎn)：成都天府新區(qū)
?團(tuán)隊(duì)規(guī)模：初期研發(fā)團(tuán)隊(duì)100+人，公司規(guī)模還將快速增長(zhǎng)

#崗位職責(zé)
*使用Python設(shè)計(jì)、實(shí)現(xiàn)并維護(hù)穩(wěn)定、高并發(fā)的數(shù)據(jù)采集系統(tǒng)與爬蟲(chóng)框架。
*負(fù)責(zé)采集數(shù)據(jù)的清洗、入庫(kù)與分發(fā)（MongoDB/Redis作緩存或隊(duì)列）。
*負(fù)責(zé)反爬與反封禁策略的研究與應(yīng)對(duì)，提升抓取成功率與穩(wěn)定性。
*針對(duì)特定采集目標(biāo)，分析客戶端與服務(wù)端交互（如加密、簽名、請(qǐng)求校驗(yàn)等），設(shè)計(jì)可維護(hù)的模擬客戶端/代理方案。
*針對(duì)AndroidApp或Web應(yīng)用進(jìn)行合理的協(xié)議分析/流量分析，提出合規(guī)的數(shù)據(jù)獲取方案
*搭建監(jiān)控、報(bào)警與日志體系，確保爬蟲(chóng)性能與穩(wěn)定。
*與產(chǎn)品、后端、測(cè)試溝通，推動(dòng)數(shù)據(jù)質(zhì)量與采集效率的持續(xù)改進(jìn)。

#任職要求
*熟練掌握Python，熟悉常用網(wǎng)絡(luò)庫(kù)（requests、httpx、aiohttp等）與并發(fā)模型（協(xié)程/多進(jìn)程/線程）。
*熟悉MongoDB、Redis的使用與調(diào)優(yōu)（包括索引設(shè)計(jì)、聚合查詢、持久化策略、緩存/消息隊(duì)列用法）。
*熟悉Linux操作與常見(jiàn)運(yùn)維工具，能編寫自動(dòng)化腳本，熟悉Docker優(yōu)先。
*有良好的系統(tǒng)設(shè)計(jì)能力、代碼質(zhì)量與單元測(cè)試習(xí)慣，能夠處理高并發(fā)、大數(shù)據(jù)量場(chǎng)景。
*良好的溝通能力與團(tuán)隊(duì)合作精神，關(guān)注安全與合規(guī)。

有以下經(jīng)驗(yàn)優(yōu)先：
#AndroidApp
*熟悉Android應(yīng)用的網(wǎng)絡(luò)行為與請(qǐng)求流程，理解應(yīng)用與后端通訊的常見(jiàn)模式（REST/HTTP、WebSocket、protobuf、binarypayload等）。
*熟悉常用抓包/代理工具與流量分析思路（流量抓取、請(qǐng)求構(gòu)造、請(qǐng)求重放、證書(shū)信任鏈分析等）。
*理解常見(jiàn)的請(qǐng)求加密/簽名/防篡改機(jī)制的原理（例如簽名流程、時(shí)間戳/nonce、防重放）并能實(shí)現(xiàn)對(duì)接或模擬。
*能把抓包/分析結(jié)果轉(zhuǎn)化為可復(fù)用的Python模塊或中間件，保證請(qǐng)求構(gòu)造的可讀性與可維護(hù)性。

#Web端
*理解各種驗(yàn)證碼類型（圖形驗(yàn)證碼、行為/滑動(dòng)驗(yàn)證碼、短信/動(dòng)態(tài)碼、基于JS的挑戰(zhàn)等）的工作原理與設(shè)計(jì)理念。
*熟悉瀏覽器自動(dòng)化工具（如Playwright、Selenium）等。
*理解常見(jiàn)前端加密/簽名（JS層加密、動(dòng)態(tài)token、challenge-response）的原理，并能提出工程可行的解決方案。
*能實(shí)現(xiàn)穩(wěn)定的重試、限速、IP/UA策略與隊(duì)列控制以降低被封風(fēng)險(xiǎn)。