Python爬蟲淘寶數(shù)據(jù)問題

lion_lol

寫了個小爬蟲去爬一下淘寶任意商品的首頁排行
代碼如下
#!/usr/bin/python
#-*- coding: UTF-8 -*-
import urllib,urllib2
htmlurl = "s.taobao.com/search?q="
headers = {
    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
kw='IPHONE'
#kw = raw_input("Please input the keywords: ")
kwords = urllib.quote(kw.encode('gbk'))
request = urllib2.Request(htmlurl+kwords,headers=headers)
response = urllib2.urlopen(request)  
print response.read()

問題來了,抓回來的html和在瀏覽器打開的不一樣,少了很多,求教是不是有什么限制

bikong0411

數(shù)據(jù)是由js回填的，你的爬蟲不會執(zhí)行js，所以沒數(shù)據(jù)

anthonyfeng

可用firebug 看一下關(guān)注的內(nèi)容是從哪個url 中來的。

lion_lol

回復(fù) 2# bikong0411

請問怎么做才能把這些數(shù)據(jù)渲染出來?
需要什么模塊


   

bikong0411

回復(fù) 4# lion_lol


    可以研究下phantomjs，或者python的selenium這個自動化測試模塊

游牧民族V

我也使用javascript編寫了爬蟲源碼
在神箭手云爬蟲開發(fā)平臺上可以直接運行