def view(url):

     '''
     :param url: 待爬取的url鏈接
     :return:
     '''
     # 從url中獲取host
     protocol, s1 = urllib.splittype(url)
     host, s2 = urllib.splithost(s1)

     # 偽裝瀏覽器，避免被kill
     headers = {
         'Host': host,
         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36',
         'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
         'Accept-Encoding': 'gzip, deflate',
         'Accept-Language': 'zh-CN,zh;q=0.8',
     }

     # 代理
     proxies = {
         "http": "dev-proxy.oa.com:8080",
         "https": "dev-proxy.oa.com:8080",
     }
     # 利用requests封裝的get方法請求url，并添加請求頭和代理，獲取并返回請求結(jié)果。并進行異常處理
     try:
         res = requests.get(url, headers=headers, proxies=proxies)
         res.encoding = 'utf-8'

         if res.status_code == 200:
             # 請求成功
             # 獲取網(wǎng)頁內(nèi)容，并返回
             content = res.text
             return content
         else:
             return None
     except requests.RequestException as e:
         # 異常處理
         print(e)
         return None

def search_baidu_song(song_name):
     '''
     獲取百度音樂搜索歌曲結(jié)果
     :param song_name: 待搜索歌曲名
     :return: 搜索結(jié)果
     '''

     def analyse():
         '''
         靜態(tài)網(wǎng)頁分析，利用BeautifulSoup，輕松獲取想要的數(shù)據(jù)。需要對html有了解。
         :return:
         '''

         # 初始化BeautifulSoup對象，并指定解析器為 lxml。還有其他的解析器：html.parser、html5lib等
         # 詳細教程可訪問：http://cuiqingcai.com/1319.html《Python爬蟲利器二之Beautiful Soup的用法》
         html = BeautifulSoup(content, "lxml")
         # beautifulsoupzui常用方法之一: find_all( name , attrs , recursive , text , **kwargs )
         # find_all() 方法搜索當前tag的所有tag子節(jié)點, 并判斷是否符合過濾器的條件
         # tag標簽名為'div'的并且標簽類名為class_參數(shù)（可為 str、 list、 tuple）,
         search_result_divs = html.find_all('div', class_=['song-item clearfix ', 'song-item clearfix yyr-song'])

         for div in search_result_divs:
             # find() 方法搜索當前tag的所有tag子節(jié)點, 并返回符合過濾器的條件的第一個結(jié)點對象
             song_name_str = div.find('span', class_='song-title')
             singer = div.find('span', class_='singer')
             album = div.find('span', class_='album-title')

             # 此部分需要對html頁面進行分析，一層層剝開有用數(shù)據(jù)并提取出來
             if song_name_str:
                 # 獲取結(jié)點對象內(nèi)容，并清洗
                 song_name_str = song_name.text.strip()
             else:
                 song_name_str = ''
             if singer:
                 singer = singer.text.strip()
             else:
                 singer = ''
             if album:
                 album = album.find('a')
                 if album:
                     # 獲取標簽屬性值
                     # 方法二：屬性值 = album['屬性名']
                     album = album.attrs.get('title')
                     if album and album != '':
                         album = album.strip()
                 else:
                     album = ''
             else:
                 album = ''
             # print song_name + " | " + singer + " | " + album
             songInfoList.append(SongInfo(song_name_str, singer, album))

     songInfoList = []
     url = urls.get('baidu_song')
     url1 = url.format(song_name=song_name, start_idx=0)
     content = self.view(url1)
     if not content:
         return []
     analyse(content)
     url2 = url.format(song_name=song_name, start_idx=20)
     content = self.view(url2)
     analyse(content)
     return songInfoList[0:30]

def dynamic_view(url):
     '''
     使用自動化工具獲取網(wǎng)頁數(shù)據(jù)
     :param url: 待獲取網(wǎng)頁url
     :return: 頁面數(shù)據(jù)
     '''

     # 初始化瀏覽器driver
     driver = webdriver.PhantomJS()
     # 瀏覽器driver訪問url
     driver.get(url)
     # 坑：不同frame間的轉(zhuǎn)換(網(wǎng)易云在數(shù)據(jù)展示中會將數(shù)據(jù)動態(tài)添加到'g_iframe'這個框架中，如果不切換，會報"元素不存在"錯誤。)
     driver.switch_to.frame("g_iframe")
     # 隱式等待5秒，可以自己調(diào)節(jié)
     driver.implicitly_wait(5)
     # 設置10秒頁面超時返回，類似于requests.get()的timeout選項，driver.get()沒有timeout選項
     driver.set_page_load_timeout(10)
     # 獲取網(wǎng)頁資源（獲取到的是網(wǎng)頁所有數(shù)據(jù)）
     html = driver.page_source
     # 坑：退出瀏覽器driver，必須手動退出driver。
     driver.quit()
     # 返回網(wǎng)頁資源
     return html

def search_163_song(song_name):
     pass

def spotify_view(url):
     '''
     使用自動化工具獲取網(wǎng)頁數(shù)據(jù)
     :param url: 待獲取網(wǎng)頁url
     :return: 頁面數(shù)據(jù)
     '''
     spotify_name = 'manaxiaomeimei'
     spotify_pass = 'dajiagongyong'
     spotify_login = 'https://accounts./en/login'
     # 初始化瀏覽器driver
     driver = webdriver.PhantomJS()

     # 模擬用戶登錄()
     # 瀏覽器driver訪問登錄url
     driver.get(spotify_login)
     # 休息一下等待網(wǎng)頁加載。(還有另一種方式：driver.implicitly_wait(3))
     time.sleep(3)

     # 獲取頁面元素對象方法（本次使用如下）：
     #   find_element_by_id : 通過標簽id獲取元素對象 可在頁面中獲取到唯一一個元素，因為在html規(guī)范中。一個DOM樹中標簽id不能重復
     #   find_element_by_class_name : 通過標簽類名獲取元素對象，可能會重復（有坑）
     #   find_element_by_xpath : 通過標簽xpath獲取元素對象，類同id，可獲取唯一一個元素。
     # 獲取頁面元素對象--用戶名
     username = driver.find_element_by_id('login-username')
     # username.clear()
     # 坑：獲取頁面元素對象--密碼
     #   在通過類名獲取標簽元素中，遇到了無法定位復合樣式，這時候可采用僅選取最后一個使用的樣式作為參數(shù)，即可（穩(wěn)定性不好不建議使用。盡量使用by_id）
     # password = driver.find_element_by_class_name('form-control input-with-feedback ng-dirty ng-valid-parse ng-touched ng-empty ng-invalid ng-invalid-required')
     password = driver.find_element_by_class_name('ng-invalid-required')
     # password.clear()
     # 獲取頁面元素對象--登錄按鈕
     login_button = driver.find_element_by_xpath('/html/body/div[2]/div/form/div[3]/div[2]/button')
     # 通過WebDriver API調(diào)用模擬鍵盤的輸入用戶名
     username.send_keys(spotify_name)
     # 通過WebDriver API調(diào)用模擬鍵盤的輸入密碼
     password.send_keys(spotify_pass)
     # 通過WebDriver API調(diào)用模擬鼠標的點擊操作，進行登錄
     login_button.click()
     # 休息一下等待網(wǎng)頁加載
     driver.implicitly_wait(3)

     # 搜索打開歌曲url
     driver.get(url)
     time.sleep(5)
     # 搜索獲取網(wǎng)頁代碼
     html = driver.page_source
     return html