請(qǐng)大家給個(gè)思路，用java分析html文件

amu23

要我做這么一個(gè)東西。用戶有幾個(gè)網(wǎng)站，大部份是　htm,讓我做個(gè)程序，批量讀這些東西，并分出欄目，內(nèi)容，圖片等等放到庫里。就是說，原來用戶沒有庫，現(xiàn)在要把原來的文件，按網(wǎng)站的結(jié)構(gòu)，放到相應(yīng)字段中。
之后，從庫里讀出這些東西，再用我們的模板（xsl）顯示出來。
并且，還要可以修改已經(jīng)導(dǎo)入庫的網(wǎng)站內(nèi)容。
這個(gè)任務(wù)一周完成，我想老板是想開了我，又不想直說。

現(xiàn)在首先要做的就是分析html,取出其中的title,body,img等東西，最好能取出它的結(jié)構(gòu)樹。

我現(xiàn)在還沒什么想法，請(qǐng)大家給個(gè)思路。

sakulagi

http://tertius.org/software/javahtml/

amu23

非常感謝版主。貼出我的測試代碼，也讓大家了解下htmlparser。代碼可以正確運(yùn)行，但有的地方可以簡化，有的地方考慮不多，比如異常。吾現(xiàn)只要這點(diǎn)功能，沒多想。請(qǐng)大家指教。

[code]import org.htmlparser.* ;
import org.htmlparser.tags.* ;
import java.io.* ;

public class TestHtmlParser{
        public static void main(String[] args) throws Exception {

                //Parser parser = new Parser("file://localhost/F:/study/htmlparser/html/1.htm" ;

                FileReader fr = null ;
                BufferedReader br = null ;
               
                try{
                        fr = new FileReader("html/objects.html";
                        br = new BufferedReader(fr) ;
                        StringBuffer html = new StringBuffer() ;
                        String s = br.readLine() ;
                        while(s!=null){
                                html.append(s);
                                s = br.readLine() ;
                        }

                        s = new String(html.toString().getBytes("gb2312","8859_1" ;
                       
                        Parser parser = new Parser() ;
                                                  parser.setInputHTML(s) ;
//parser.setEncoding("gb2312";

                        //Get title
                        Node[] titles = parser.extractAllNodesThatAre(TitleTag.class) ;
                        TitleTag title = (TitleTag)titles[0];
                        System.out.println("title is :"+ new String(title.getTitle().getBytes("gb2312","gb2312");
                       
                        //Reset the parser to start from the beginning again.
                        parser.reset() ;                       
                        //Get <img>; as a Array
                        Node[] images =  parser.extractAllNodesThatAre (ImageTag.class);
                        if (images.length!=0){
                                for (int i = 0; i < images.length; i++)    {
                                        ImageTag imageTag = (ImageTag)images;
                                        System.out.println("imagesURl="+new String(imageTag.getImageURL().getBytes(),"gb2312");                 
                                }
                        }else{
                                System.out.println("

sakulagi

amu23鉆研和共享的精神都很值得學(xué)習(xí) 啊

hmkart

我所知道的，實(shí)用的都是用c寫的。java提供了大量的類庫，
不過算法應(yīng)該可以借鑒。 ：)

mills

我把代碼拿下來試了一下
import org.htmlparser.* ;
import org.htmlparser.tags.* ;
是哪來的呀

sakulagi

原帖由 "mills" 發(fā)表：
我把代碼拿下來試了一下
import org.htmlparser.* ;
import org.htmlparser.tags.* ;
是哪來的呀

看2樓，我的回復(fù)

mills

是不是要把那個(gè)下載后編譯了呀，我才學(xué)了三天的java不是很清楚

amu23

不用，這里只用了htmlparser.jar這個(gè)包。下載后，加到classpath中就行了。
程序簡化了下，上面的程序我是想練習(xí)下File.

1. 
   
2. import org.htmlparser.* ;
   
3. import org.htmlparser.tags.* ;
   
4. import org.htmlparser.util.ParserException ;
   
5. import java.io.IOException;
   
6. 
   
7. public class TestHtmlParser{
   
8.         public static void main(String[] args){
   
9. 
   
10.                 String[] url= new String[4] ;
    
11.                 url[0] = "http://www.72891.cn/forum/viewtopic.php?p=2371454#2371454pp";
    
12.                 url[1] = "http://www.cgs.gov.cn/NEWS/Geology%20News/2004/20040629/20040629001.htm";
    
13.                 url[2] = "http://www.mmot.com.tw1/" ;
    
14.                 url[3] = "file://localhost/F:/study/htmlparser/html/8859.htm" ;
    
15.                 String currentUrl = url[0] ;
    
16.                
    
17.                 String[] encoding = new String[4] ;
    
18.                 encoding[0] = "8859_1";
    
19.                 encoding[1] = "gb2312";
    
20.                 encoding[2] = "big5" ;
    
21.                 encoding[3] = "EUC-CN" ;
    
22.                 String currentEncoding = encoding[1] ;
    
23.                
    
24.                 //Get <img>; as a Array
    
25.                 Parser parser = new Parser() ;
    
26.                
    
27.                 try{
    
28.                         parser.setURL(currentUrl) ;
    
29.                         parser.setEncoding(currentEncoding) ;
    
30.                         Node[] images =  parser.extractAllNodesThatAre (ImageTag.class);
    
31.                         if (images.length!=0){
    
32.                                 for (int i = 0; i < images.length; i++)    {
    
33.                                         ImageTag imageTag = (ImageTag)images[i];
    
34.                                         System.out.println("imageURl="+imageTag.getImageURL());                 
    
35.                                 }
    
36.                         }else{
    
37.                                 System.out.println("not found <img>;!") ;
    
38.                         }
    
39.                 }catch(ParserException parserException){
    
40.                         System.out.println("parserException in parsing <img>; ") ;
    
41.                         System.out.println(parserException.getMessage());
    
42.                 }catch(Exception e){
    
43.                         System.out.println("java exception in parsing <img>;") ;
    
44.                         System.out.println(e.getClass());                       
    
45.                 }
    
46.                                        
    
47.                 //Get <title>;
    
48.                 try{
    
49.                         parser.setURL(currentUrl);
    
50.                         parser.setEncoding(currentEncoding);
    
51.                         Node[] titles = parser.extractAllNodesThatAre(TitleTag.class) ;
    
52.                         if (titles.length>;=1){
    
53.                                 TitleTag title = (TitleTag)titles[0];
    
54.                                 System.out.println("title is :"+ title.getTitle());
    
55.                         }else{
    
56.                                 System.out.println("not found <table>;!") ;
    
57.                         }               
    
58.                         //System.out.println("title is :"+ new String(title.getTitle().getBytes("EUC-CN"),"gb2312"));                                
    
59.                 }catch(ParserException parserException){
    
60.                         System.out.println("parserException in parsing <title>; ") ;
    
61.                         System.out.println(parserException.getMessage());
    
62.                 }catch(Exception e){
    
63.                         System.out.println("java exception in parsing <title>;") ;
    
64.                         System.out.println(e.getClass());                       
    
65.                 }       
    
66.         }
    
67.        
    
68. }

復(fù)制代碼

wangbin

我剛剛做完練習(xí)