ruby 蜘蛛模塊

shijiang1130

1. require 'rubygems'
   
2. require 'anemone'
   
3. 
   
4. Anemone.crawl("http://www.72891.cn/forum-116-1.html") do |page|
   
5. page.on_every_page do |p|
   
6. puts p.url
   
7. end
   
8. 
   
9. end

復(fù)制代碼

1. ruby spider.rb
   
2. http://www.72891.cn/forum-116-1.html
   
3. http://www.72891.cn/
   
4. http://www.72891.cn/member.php?mod=logging&action=login&logsubmit=yes
   
5. http://www.72891.cn/member.php?mod=register.php
   
6. http://www.72891.cn/forummodule-7-116-1.html
   
7. http://www.72891.cn/forummodule-8-116-1.html
   
8. http://www.72891.cn/forummodule-5-0-1.html
   
9. http://www.72891.cn/listthread.php
   
10. http://www.72891.cn/forummodule-6-116-1.html
    
11. http://www.72891.cn/thread-4085530-1-1.html
    
12. http://www.72891.cn/thread-4085563-1-1.html
    
13. http://www.72891.cn/thread-4084951-1-1.html
    
14. http://www.72891.cn/thread-4084352-1-1.html
    
15. http://www.72891.cn/thread-4085161-1-1.html
    
16. http://www.72891.cn/thread-4084648-1-1.html
    
17. http://www.72891.cn/thread-4085138-1-1.html
    
18. http://www.72891.cn/thread-4084117-1-1.html
    
19. http://www.72891.cn/thread-4083590-1-1.html
    
20. http://www.72891.cn/thread-4073559-1-1.html
    
21. http://www.72891.cn/thread-4066941-1-1.html
    
22. http://www.72891.cn/thread-4071696-1-1.html
    
23. http://www.72891.cn/thread-4073563-1-1.html
    
24. http://www.72891.cn/thread-4069592-1-1.html
    
25. http://www.72891.cn/thread-4073561-1-1.html
    
26. http://www.72891.cn/thread-4069836-1-1.html
    
27. http://www.72891.cn/thread-4071205-1-1.html
    
28. http://www.72891.cn/thread-4073564-1-1.html
    
29. http://www.72891.cn/thread-3556368-1-1.html
    
30. http://www.72891.cn/thread-3578635-1-1.html
    
31. http://www.72891.cn/thread-1828414-1-1.html
    
32. http://www.72891.cn/thread-3600440-1-1.html
    
33. http://www.72891.cn/thread-2003541-1-1.html
    
34. http://www.72891.cn/thread-1839514-1-1.html
    
35. http://www.72891.cn/thread-1825155-1-1.html
    
36. http://www.72891.cn/thread-955875-1-1.html
    
37. http://www.72891.cn/thread-1824205-1-1.html
    
38. http://www.72891.cn/thread-953289-1-1.html
    

復(fù)制代碼

yakczh_cu

怎么樣爬指定特證的url,還有怎么樣處理內(nèi)容,
能不能象python的scrapy那樣自定義

rubyish

學(xué)習(xí)了