shell 爬蟲

Piaomiao139

爬糗事一個(gè)小程序 很簡答
昨天開始在看py 爬蟲
但是tm 的 看不懂。
例子運(yùn)行也失敗了
想了想 用shell 寫了個(gè)入門的

1. #!/bin/bash
   
2. page=1
   
3. 
   
4. function get_html(){
   
5. 
   
6.    curl -A "Mozilla/4.0 ￡šcompatible￡» MSIE 6.0￡» Windows NT 5.0￡©" qiushibaike/8hr/page/$page>fun
   
7. 
   
8.     echo "This is page$1"
   
9. 
   
10.     sed -n '/<div class="content">/,/<\/div>/p' fun|sed 's/^<.*//g' |sed '/^ *$/d'>f
    
11.     read_by_line
    
12. 
    
13.     let page=$1+1
    
14. 
    
15.     have_fun $page
    
16. 
    
17. }
    
18. 
    
19. 
    
20. 
    
21. function have_fun()
    
22. 
    
23. {
    
24. 
    
25. for i in `seq 10`
    
26. 
    
27. do
    
28.    
    
29. 
    
30.     Input_user=n
    
31. 
    
32.     i=$page
    
33. 
    
34.     Input_user=0
    
35. 
    
36.     if [ $i -eq 1 ]
    
37. 
    
38.     then
    
39. 
    
40.         echo "have fun"
    
41. 
    
42.         get_html $i
    
43. 
    
44.     else
    
45. 
    
46.         echo "Continue? [y|N]"
    
47. 
    
48.         read Input_user
    
49. 
    
50.     fi
    
51. 
    
52. 
    
53. 
    
54.     if [[ $Input_user == N ]]
    
55. 
    
56.     then
    
57. 
    
58.         exit
    
59. 
    
60.     else
    
61. 
    
62.         get_html $i
    
63. 
    
64.     fi
    
65. 
    
66. done       
    
67. 
    
68. }
    
69. 
    
70. 
    
71. function read_by_line()
    
72. {   
    
73.     clear
    
74.     while read line
    
75.     do
    
76.         echo
    
77.         echo $line |sed 's/<br\/>/\n/g'
    
78.         echo
    
79.         echo "Continue [y|N]"
    
80. 
    
81.         read Input_user</dev/tty
    
82.         if [[ $Input_user == N ]]
    
83.         then
    
84.             exit
    
85.         fi
    
86.     done <f
    
87. }
    
88. 
    
89. 
    
90. have_fun
    
91. 
    
92. rm -rf f fun

復(fù)制代碼

Piaomiao139

把網(wǎng)址改一下就好了

Tianny_Xie

學(xué)習(xí)了回復(fù) 2# Piaomiao139


   

zhonghua7896321

用curl和sed提取頁面還特別巧，贊一個(gè)