亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標題: LWP::UserAgent抓取問題 [打印本頁]

作者: bernana    時間: 2013-07-03 15:34
標題: LWP::UserAgent抓取問題
http://www.haibao.com/star/明星風云榜
這個頁面我通過瀏覽器能得到全部頁面內(nèi)容。通過LWP::UserAgent只返回了2500多行。
直接通過curl也是如此。有人碰到過,知道是什么原因嗎?
作者: grshrd49    時間: 2013-07-03 16:47
請上代碼      
作者: bernana    時間: 2013-07-03 17:46
回復 2# grshrd49


    不用上代碼。你curl http://www.haibao.com/star/明星風云榜/
得到的就不是全部的頁面代碼。跟本地的機器設置有關?
作者: zk1878    時間: 2013-07-31 09:06
回復 3# bernana

沒問題呀 我用getstore函數(shù)是可以取到所有內(nèi)容的
   
作者: laputa73    時間: 2013-07-31 09:47
curl和lwp只會獲取首頁的框架html代碼,而不會去渲染頁面,不包含frame,js動態(tài)加載內(nèi)容
那些動態(tài)的東西都是瀏覽器根據(jù)首頁代碼另外下載和加載的
你用瀏覽器自帶的開發(fā)者工具看看就知道了.




歡迎光臨 Chinaunix (http://www.72891.cn/) Powered by Discuz! X3.2