亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

^{<blockquote id="5h0jz"></blockquote>}

Chinaunix

標(biāo)題: Python爬蟲淘寶數(shù)據(jù)問題 [打印本頁]

作者: lion_lol 時(shí)間: 2015-02-28 17:33
標(biāo)題: Python爬蟲淘寶數(shù)據(jù)問題
寫了個(gè)小爬蟲去爬一下淘寶任意商品的首頁排行
代碼如下
#!/usr/bin/python
#-*- coding: UTF-8 -*-
import urllib,urllib2
htmlurl = "s.taobao.com/search?q="
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
kw='IPHONE'
#kw = raw_input("Please input the keywords: ")
kwords = urllib.quote(kw.encode('gbk'))
request = urllib2.Request(htmlurl+kwords,headers=headers)
response = urllib2.urlopen(request)
print response.read()

問題來了,抓回來的html和在瀏覽器打開的不一樣,少了很多,求教是不是有什么限制

QQ圖片20150228173257.jpg (39.66 KB, 下載次數(shù): 75)

作者: bikong0411 時(shí)間: 2015-03-01 09:12
數(shù)據(jù)是由js回填的，你的爬蟲不會(huì)執(zhí)行js，所以沒數(shù)據(jù)

作者: anthonyfeng 時(shí)間: 2015-03-02 22:19
可用firebug 看一下關(guān)注的內(nèi)容是從哪個(gè)url 中來的。

作者: lion_lol 時(shí)間: 2015-03-03 23:15
回復(fù) 2# bikong0411

請(qǐng)問怎么做才能把這些數(shù)據(jù)渲染出來?
需要什么模塊

作者: bikong0411 時(shí)間: 2015-03-04 09:58
回復(fù) 4# lion_lol

可以研究下phantomjs，或者python的selenium這個(gè)自動(dòng)化測(cè)試模塊

作者: 游牧民族V 時(shí)間: 2016-05-25 11:19
我也使用javascript編寫了爬蟲源碼
在神箭手云爬蟲開發(fā)平臺(tái)上可以直接運(yùn)行

QQ圖片20160525111835.png (36.02 KB, 下載次數(shù): 55)

歡迎光臨 Chinaunix (http://www.72891.cn/)

^{<blockquote id="mio1g"></blockquote>}