1.負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)與開發(fā)（如抓取調(diào)度，多樣化抓取，頁面解析和結(jié)構(gòu)化抽取，海量數(shù)據(jù)存儲(chǔ)和讀取等）；負(fù)責(zé)數(shù)據(jù)的抓取、解析、清洗、入庫；

2.設(shè)計(jì)和優(yōu)化爬蟲策略與算法,提升數(shù)據(jù)抓取效果；

3.設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量；

4.負(fù)責(zé)爬蟲邏輯的開發(fā)，快速響應(yīng)業(yè)務(wù)變動(dòng)，并持續(xù)優(yōu)化系統(tǒng)，提高系統(tǒng)的穩(wěn)定性；

5.能夠根據(jù)客戶需求，進(jìn)行需求分析，完成接口設(shè)計(jì)、詳細(xì)設(shè)計(jì)以及相應(yīng)的開發(fā)及測(cè)試任務(wù)。

崗位要求:

1. 計(jì)算機(jī)、軟件工程等相關(guān)專業(yè)，2年以上爬蟲開發(fā)經(jīng)驗(yàn)，熟悉linux和Java開發(fā)，熟悉shell/perl/python等腳本語言，熟練掌握正則表達(dá)式。

2. 精通一種開源爬蟲框架，如scrapy、webmagic、nutch、heritrix等，有開發(fā)爬蟲框架經(jīng)驗(yàn)優(yōu)先；熟悉反爬蟲、驗(yàn)證碼識(shí)別技術(shù)者優(yōu)先；熟悉網(wǎng)絡(luò)編程（TCP、HTTP、Soket）有多線程、網(wǎng)絡(luò)數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先。

3. 學(xué)習(xí)能力強(qiáng)，具備良好的分析和解決問題能力，對(duì)技術(shù)抱有熱情，愿意研究新技術(shù)。

4. 思維敏捷，邏輯清晰，有較強(qiáng)的分析和解決問題的能力。

5. 有數(shù)據(jù)清洗經(jīng)驗(yàn)優(yōu)先。

我們?yōu)槟峁?/p>

競(jìng)爭(zhēng)力的薪酬：

崗位工資+午餐補(bǔ)貼+交通補(bǔ)貼+年終獎(jiǎng)+優(yōu)秀員工獎(jiǎng)

完善的福利：

養(yǎng)老保險(xiǎn)+醫(yī)療保險(xiǎn)+工傷保險(xiǎn)+失業(yè)保險(xiǎn)+生育保險(xiǎn)+公積金

員工假期：

周末雙休+帶薪年假+法定公眾假期+婚假+產(chǎn)假+陪產(chǎn)假+病假等

個(gè)人發(fā)展及額外福利：

定制性的培訓(xùn)計(jì)劃+不定期的內(nèi)、外部培訓(xùn)

部門活動(dòng)+不定期旅游+電影/英語沙龍+黨支部活動(dòng)+運(yùn)動(dòng)會(huì)+知識(shí)競(jìng)賽+每周羽毛球活動(dòng)等

給予優(yōu)秀員工出國(guó)培訓(xùn)學(xué)習(xí)的機(jī)會(huì)

公司提供咖啡、冰箱與微波爐，有專人為員工熱飯

歡迎各有志之士與公司共創(chuàng)下一個(gè)輝煌十年！

       廣州市西美信息科技有限公司是一家民營(yíng)科技企業(yè)，成立于2009年，注冊(cè)資本301萬元，是廣州地區(qū)最大的專注于物質(zhì)關(guān)系數(shù)據(jù)搜索技術(shù)與應(yīng)用、知識(shí)管理與應(yīng)用的公司，在國(guó)內(nèi)信息知識(shí)管理與應(yīng)用研發(fā)行業(yè)中，產(chǎn)量及各項(xiàng)經(jīng)濟(jì)指標(biāo)均名列前茅。公司位于廣州市黃花崗科技園匯華商貿(mào)大廈，擁有1500平方米的辦公場(chǎng)地，是一家集信息技術(shù)、電子商務(wù)、數(shù)據(jù)分析、軟件開發(fā)等業(yè)務(wù)于一身的公司，致力于為不同行業(yè)的投資者以及企業(yè)提供世界一流的全球軟件、數(shù)據(jù)分析、資訊提取等服務(wù)。涉及的行業(yè)側(cè)重于農(nóng)業(yè)、生命科學(xué)、化工能源等領(lǐng)域。