這里有兩個為了查找A HREF來解析HTML文件方法——一個麻煩的方法和一個簡單的方法。

如果你選擇麻煩的方法，你將使用Java的StreamTokenizer類創(chuàng)建你自己的解析規(guī)則。使用這些技術(shù)，你必須為StreamTokenizer對象指定單詞和空格，接著去掉<和>符號來查找標(biāo)簽，屬性，在標(biāo)簽之間分割文字。太多的工作要做。

簡單的方法是使用內(nèi)置的ParserDelegator類，一個HTMLEditorKit.Parser抽象類的子類。這些類在Java文檔中沒有完善的文檔。使用ParserDelegator有三個步驟：首先為你的URL創(chuàng)建一個InputStreamReader對象，接著創(chuàng)建一個ParserCallback對象的實例，最后創(chuàng)建一個ParserDelegator對象的實例并調(diào)用它的public方法parse()：


UrlTreeNode newnode = new UrlTreeNode(url); // Create the data node
InputStream in = url.openStream(); // Ask the URL object to create an input stream
InputStreamReader isr = new InputStreamReader(in); // Convert the stream to a reader
DefaultMutableTreeNode treenode = addNode(parentnode, newnode);
SpiderParserCallback cb = new SpiderParserCallback(treenode); // Create a callback object
ParserDelegator pd = new ParserDelegator(); // Create the delegator
pd.parse(isr,cb,true); // Parse the stream
isr.close(); // Close the stream
parse()接受一個InputStreamReader，一個ParseCallback對象實例和一個指定CharSet標(biāo)簽是否忽略的標(biāo)志。parse()方法接著讀和解碼HTML文件，每次完成解碼一個標(biāo)簽或者HTML元素后調(diào)用ParserCallback對象的方法。

在示例代碼中，我實現(xiàn)了ParserCallback作為Spider的一個內(nèi)部類，這樣就允許ParseCallback訪問Spider的方法和屬性。基于ParserCallback的類可以覆蓋下面的方法：

■ handleStartTag()：當(dāng)遇到起始HTML標(biāo)簽時調(diào)用，比如>A <

■ handleEndTag()：當(dāng)遇到結(jié)束HTML標(biāo)簽時調(diào)用，比如>/A<

■ handleSimpleTag()：當(dāng)遇到?jīng)]有匹配結(jié)束標(biāo)簽時調(diào)用

■ handleText()：當(dāng)遇到標(biāo)簽之間的文字時調(diào)用


在示例代碼中，我覆蓋了handleSimpleTag()以便我的代碼可以處理HTML的BASE和IMG標(biāo)簽。BASE標(biāo)簽告訴當(dāng)處理相關(guān)的URL引用時使用什么URL。如果沒有BASE標(biāo)簽出現(xiàn)，那么當(dāng)前URL就用來處理相關(guān)的引用。HandleSimpleTag()接受三個參數(shù)，一個HTML.Tag對象，一個包含所有標(biāo)簽屬性的MutableAttributeSet，和在文件中的相應(yīng)位置。我的代碼檢查標(biāo)簽來判斷它是否是一個BASE對象實例，如果是則HREF屬性被提取出來并保存在頁面的數(shù)據(jù)節(jié)點中。這個屬性以后在處理鏈接站點的URL地址中被用到。每次遇到IMG標(biāo)簽，頁面圖片數(shù)就被更新。

我覆蓋了handleStartTag以便程序可以處理HTML的A和TITLE標(biāo)簽。方法檢查t參數(shù)是否是一個事實上的A標(biāo)簽，如果是則HREF屬性將被提取出來。

fixHref()被用作清理大量的引用(改變反斜線為斜線，添加缺少的結(jié)束斜線)，鏈接的URL通過使用基礎(chǔ)URL和引用創(chuàng)建URL對象來處理。接著遞歸調(diào)用searchWeb()來處理鏈接。如果方法遇到TITLE標(biāo)簽，它就清除存儲最后遇到文字的變量以便標(biāo)題的結(jié)束標(biāo)記具有正確的值(有時網(wǎng)頁的title標(biāo)簽之間沒有標(biāo)題)。

我覆蓋了handleEndTag()以便HTML的TITLE結(jié)束標(biāo)記可以被處理。這個結(jié)束標(biāo)記指出前面的文字(存在lastText中)是頁面的標(biāo)題文字。這個文字接著存在頁面的數(shù)據(jù)節(jié)點中。因為添加標(biāo)題信息到數(shù)據(jù)節(jié)點中將改變樹中數(shù)據(jù)節(jié)點的顯示，nodeChanged()方法必須被調(diào)用以便樹可以更新。

我覆蓋了handleText()方法以便HTML頁面的文字可以根據(jù)被搜索的任意關(guān)鍵字或者短語來檢查。HandleText()接受一個包含一個子符數(shù)組和該字符在文件中位置作為參數(shù)。HandleText()首先將字符數(shù)組轉(zhuǎn)換成一個String對象，在這個過程中全部轉(zhuǎn)換為大寫。接著在搜索列表中的每個關(guān)鍵字/短語根據(jù)String對象的indexof()方法來檢查。如果indexof()返回一個非負(fù)結(jié)果，則關(guān)鍵字/短語在頁面的文字中顯示。如果關(guān)鍵字/短語被顯示，匹配被記錄在匹配列表的節(jié)點中，統(tǒng)計數(shù)據(jù)被更新：

public class SpiderParserCallback extends HTMLEditorKit.ParserCallback {

/**

* Inner class used to html handle parser callbacks

*/


public class SpiderParserCallback extends HTMLEditorKit.ParserCallback {

/** URL node being parsed */

private UrlTreeNode node;

/** Tree node */

private DefaultMutableTreeNode treenode;

/** Contents of last text element */

private String lastText = "";

/**

* Creates a new instance of SpiderParserCallback

* @param atreenode search tree node that is being parsed
*/

public SpiderParserCallback(DefaultMutableTreeNode atreenode) {

treenode = atreenode;
node = (UrlTreeNode)treenode.getUserObject();

}

/**
* Handle HTML tags that don‘t have a start and end tag
* @param t HTML tag
* @param a HTML attributes
* @param pos Position within file
*/
public void handleSimpleTag(HTML.Tag t,

MutableAttributeSet a,
int pos)

{
if(t.equals(HTML.Tag.IMG))

{
node.addImages(1);
return;
}

if(t.equals(HTML.Tag.BASE))
{
Object value = a.getAttribute(HTML.Attribute.HREF);

if(value != null)
node.setBase(fixHref(value.toString()));
}
}

/**

* Take care of start tags

* @param t HTML tag

* @param a HTML attributes

* @param pos Position within file
*/
public void handleStartTag(HTML.Tag t,

MutableAttributeSet a,

int pos)
{
if(t.equals(HTML.Tag.TITLE))
{

lastText="";
return;

}

if(t.equals(HTML.Tag.A))

{

Object value = a.getAttribute(HTML.Attribute.HREF);
if(value != null)
{
node.addLinks(1);
String href = value.toString();
href = fixHref(href);
try{
URL referencedURL = new URL(node.getBase(),href);
searchWeb(treenode, referencedURL.getProtocol()+"://"+referencedURL.getHost()+referencedURL.getPath());
}
catch (MalformedURLException e)

{
messageArea.append(" Bad URL encountered : "+href+"\n\n"); return;
}
}
}
}
/**
* Take care of start tags
* @param t HTML tag
* @param pos Position within file

*/
public void handleEndTag(HTML.Tag t,
int pos)

{
if(t.equals(HTML.Tag.TITLE) && lastText != null)
{
node.setTitle(lastText.trim());
DefaultTreeModel tm = (DefaultTreeModel)searchTree.getModel();

tm.nodeChanged(treenode);

}

}

/**

* Take care of text between tags, check against keyword list for matches, if
* match found, set the node match status to true
* @param data Text between tags
* @param pos position of text within Webpage
*/
public void handleText(char[] data, int pos)
{

lastText = new String(data);
node.addChars(lastText.length());
String text = lastText.toUpperCase();
for(int i = 0; i < keywordList.length; i++)
{
if(text.indexOf(keywordList) >= 0)
{
if(!node.isMatch())
{
sitesFound++;
updateStats();
}
node.setMatch(keywordList);
return;
}
}
}

}