小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

使用HttpClient+Regex抓取第三方網(wǎng)站信息(三)

 hailong_qin 2011-07-17

在這里,介紹一種解決抓取后網(wǎng)頁內(nèi)容顯示為亂碼的辦法。

前幾天,在抓取某網(wǎng)站的信息時(http://www./Price/Price/Default.aspx),第一次碰到了這種應用下的亂碼問題。于是上網(wǎng)查了一下,提供的解決辦法大致有兩種:

1>  private static final String CONTENT_CHARSET = "GBK";

 httpClient.getParams().setContentCharset("UTF-8");

 or

 httpClient.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, CONTENT_CHARSET);

2>  private static final String CONTENTTYPE = " text/html; charset=GBK";

  getMethod.setRequestHeader("Content-Type", CONTENTTYPE);

測試了,沒有任何效果(換成UTF-8也不行)。也用了String result = new String(pageSrc.getBytes("UTF-8"),"GBK"),依然無效。

在焦頭爛額時想到了以前在學校時經(jīng)常用的一句話:找問題要會追根溯源。仔細想想,字符串里面的文本內(nèi)容也是通過文件流獲取的,既然轉換字符串字符編碼不起作用,那可以設置文件流的默認編碼嗎?查了jdk,是可行的。

private static final String CHARSET = "UTF-8";

InputStream ins = getMethod.getResponseBodyAsStream();

//按指定的字符集構建文件流
BufferedReader br = new BufferedReader(new InputStreamReader(ins,CHARSET));
StringBuffer sbf = new StringBuffer();
String line = null;
while ((line = br.readLine()) != null)
{
sbf.append(line);
}
/** 回收資源 */
br.close();
getMethod.releaseConnection();

/** 頁面源文件 */
pageSource = sbf.toString();

問題解決,^_^。這里的CHARSET要根據(jù)實際情況設置

    本站是提供個人知識管理的網(wǎng)絡存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權內(nèi)容,請點擊一鍵舉報。
    轉藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多