LWP::UserAgent抓取問題 [復制鏈接]

電梯直達

1樓 [收藏(0)] [報告]

發(fā)表于 2013-07-03 15:34 |只看該作者 |倒序瀏覽

http://www.haibao.com/star/明星風云榜
這個頁面我通過瀏覽器能得到全部頁面內(nèi)容。通過LWP::UserAgent只返回了2500多行。
直接通過curl也是如此。有人碰到過，知道是什么原因嗎？

2樓 [報告]

發(fā)表于 2013-07-03 16:47 |只看該作者

請上代碼

3樓 [報告]

發(fā)表于 2013-07-03 17:46 |只看該作者

回復 2# grshrd49

不用上代碼。你curl http://www.haibao.com/star/明星風云榜/
得到的就不是全部的頁面代碼。跟本地的機器設置有關？

4樓 [報告]

發(fā)表于 2013-07-31 09:06 |只看該作者

回復 3# bernana

沒問題呀我用getstore函數(shù)是可以取到所有內(nèi)容的

5樓 [報告]

發(fā)表于 2013-07-31 09:47 |只看該作者

curl和lwp只會獲取首頁的框架html代碼,而不會去渲染頁面,不包含frame,js動態(tài)加載內(nèi)容
那些動態(tài)的東西都是瀏覽器根據(jù)首頁代碼另外下載和加載的
你用瀏覽器自帶的開發(fā)者工具看看就知道了.

積分 0, 距離下一級還需積分

亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区