亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費注冊 查看新帖 |

Chinaunix

  平臺 論壇 博客 文庫
最近訪問板塊 發(fā)新帖
查看: 2138 | 回復(fù): 2
打印 上一主題 下一主題

[其他] 我寫的高效爬蟲組件 [復(fù)制鏈接]

論壇徽章:
2
程序設(shè)計版塊每日發(fā)帖之星 日期:2015-12-23 06:20:00每日論壇發(fā)貼之星 日期:2015-12-23 06:20:00
跳轉(zhuǎn)到指定樓層
1樓 [收藏(0)] [報告]
發(fā)表于 2016-01-17 20:23 |只看該作者 |倒序瀏覽
地址 github*com/alwaysR9/webPageCollector

這個爬蟲的目標是：
1. 盡可能的提高爬取速度
2. 盡可能的降低漏爬率
3. 盡可能的設(shè)計簡單的接口

有興趣朋友可以試試在你的網(wǎng)絡(luò)環(huán)境下爬蟲的效率如何。

另外，我用這個組件構(gòu)建了一個美團爬蟲，地址： github*com/alwaysR9/meituan_crawler

還未工作的小白一枚，歡迎大家提任何意見，我會非常高興能從大家的意見中學(xué)習到新的東西

論壇徽章:
6
數(shù)據(jù)庫技術(shù)版塊每日發(fā)帖之星 日期:2015-11-27 06:20:00程序設(shè)計版塊每日發(fā)帖之星 日期:2015-12-01 06:20:00每日論壇發(fā)貼之星 日期:2015-12-01 06:20:0015-16賽季CBA聯(lián)賽之佛山 日期:2017-03-26 23:38:0315-16賽季CBA聯(lián)賽之江蘇 日期:2017-07-17 10:08:4415-16賽季CBA聯(lián)賽之北京 日期:2018-03-04 17:01:50
2樓 [報告]
發(fā)表于 2016-01-21 14:22 |只看該作者
看了非常不錯，
收藏了。

論壇徽章:
2
程序設(shè)計版塊每日發(fā)帖之星 日期:2015-12-23 06:20:00每日論壇發(fā)貼之星 日期:2015-12-23 06:20:00
3樓 [報告]
發(fā)表于 2016-01-23 11:13 |只看該作者
回復(fù) 2# dorodaloo


   感謝關(guān)注
您需要登錄后才可以回帖 登錄 | 注冊

本版積分規(guī)則 發(fā)表回復(fù)

  

北京盛拓優(yōu)訊信息技術(shù)有限公司. 版權(quán)所有 京ICP備16024965號-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報專區(qū)
中國互聯(lián)網(wǎng)協(xié)會會員  聯(lián)系我們：huangweiwei@itpub.net
感謝所有關(guān)心和支持過ChinaUnix的朋友們 轉(zhuǎn)載本站內(nèi)容請注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP