網(wǎng)頁(yè)抓取問(wèn)題

huang6894

不知道大家有沒(méi)有好的建議。我想抓取一下：https://decipher.sanger.ac.uk/syndrome/2#phenotype這個(gè)頁(yè)面的如圖部分的三個(gè)信息，可是使用perl和wget一直抓取不了，瀏覽器讀取的源代碼也不行，可是瀏覽器的“審閱元素”是可以的，求助各位大神幫忙提供一個(gè)建議�。�！
非常感謝，非常感謝！

李滿滿

學(xué)生黨:飄過(guò)~因?yàn)槟阌龅搅薃JAX,要抓取數(shù)據(jù)就要模擬瀏覽器取數(shù)據(jù)可以用python寫用scrapy抓取一抓一個(gè)準(zhǔn)等會(huì)兒我把cygwin安裝個(gè)scrapy先

huang6894

回復(fù) 2# 李滿滿


    表示都不是我接觸過(guò)的，非常抱歉哈，能不能提供一個(gè)例子呢？

huang6894

已用perl解決，謝謝

Shell_HAT

回復(fù) 4# huang6894


    代碼發(fā)出來(lái)分享一下吧

reb00t

ajax傳的參數(shù)與鏈接怎么找到的呢？ 求代碼。{:3_189:}

好像是這個(gè)URL    https://decipher.sanger.ac.uk/sy ... ype?_=1413786729543

huang6894

@Shell_HAT@reb00t其實(shí)不是解決ajax的問(wèn)題，而是我之前單純用wget得不到源代碼，看了一下http://www.72891.cn/forum.p ... mp;fromuid=29097174這位大神的代碼之后再去獲取就得到了，然后就是重啟大大說(shuō)的頁(yè)面。。。

李滿滿

嘿嘿可以用抓包工具分析networking~python中很多模塊也可以很方便獲取不用抓包的干活~回復(fù) 6# reb00t