|
mechanize是對urllib2的部分功能的替換，能夠更好的模擬瀏覽器行為，在web訪問控制方面做得更全面。結(jié)合beautifulsoup和re模塊，可以有效的解析web頁面，我比較喜歡這種方法。
下面主要總結(jié)了使用mechanize模擬瀏覽器的行為和幾個例子（谷歌搜索，百度搜索和人人網(wǎng)登錄等）
1.初始化并建立一個瀏覽器對象
如果沒有mechanize需要easy_install安裝，以下代碼建立瀏覽器對象并作了一些初始化設(shè)置，實際使用過程可以按需開關(guān)。其實只用默認(rèn)的設(shè)置也可以完成基本任務(wù)。
-
#!/usr/bin/env python
-
import sys,mechanize
-
-
#Browser
-
br = mechanize.Browser()
-
-
#options
-
br.set_handle_equiv(True)
-
br.set_handle_gzip(True)
-
br.set_handle_redirect(True)
-
br.set_handle_referer(True)
-
br.set_handle_robots(False)
-
-
#Follows refresh 0 but not hangs on refresh > 0
-
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
-
-
#debugging?
-
br.set_debug_http(True)
-
br.set_debug_redirects(True)
-
br.set_debug_responses(True)
-
-
#User-Agent (this is cheating, ok?)
-
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
2.模擬瀏覽器行為
瀏覽器對象建立并初始化完畢之后即可使用了，下面給出幾個例子（代碼承接以上部分）
獲取web網(wǎng)頁
分行打印可以逐個查看詳細(xì)信息，就不贅述
-
r = br.open(sys.argv[1])
-
html = r.read()
-
print html
-
print br.response().read()
-
print br.title()
-
print r.info()
模擬谷歌和百度查詢
打印和選擇forms，然后填寫相應(yīng)鍵值，通過post提交完成操作
-
for f in br.forms():
-
print f
-
-
br.select_form(nr=0)
谷歌查詢football
-
br.form['q'] = 'football'
-
br.submit()
-
print br.response().read()
百度查詢football
-
br.form['wd'] = 'football'
-
br.submit()
-
print br.response().read()
相應(yīng)鍵值名，可以通過打印查出
回退（Back）
非常簡單的操作，打印url即可驗證是否回退
-
# Back
-
br.back()
-
print br.geturl()
3.http基本認(rèn)證
-
br.add_password('http://', 'username', 'password')
-
br.open('http://')
4.form認(rèn)證
以登陸人人網(wǎng)為例，打印forms可以查出用戶名和密碼鍵信息
-
br.select_form(nr = 0)
-
br['email'] = username
-
br['password'] = password
-
resp = self.br.submit()
5.cookie支持
通過導(dǎo)入cookielib模塊，并設(shè)置瀏覽器cookie，可以在需要認(rèn)證的網(wǎng)絡(luò)行為之后不用重復(fù)認(rèn)證登陸。通過保存session cookie即可重新訪問，Cookie Jar完成了該功能。
-
#!/usr/bin/env python
-
import mechanize, cookielib
-
-
br = mechanize.Browser()
-
cj = cookielib.LWPCookieJar()
-
br.set_cookiejar()
6.proxy設(shè)置
設(shè)置http代理
-
#Proxy
-
br.set_proxies({"http":"proxy.com:8888"})
-
br.add_proxy_password("username", "password")
-
-
#Proxy and usrer/password
-
br.set_proxies({"http":"username:password@proxy.com:8888"})
|
