免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

Python爬蟲中設置代理的方法-創新互聯

小編給大家分享一下Python爬蟲中設置代理的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!

發展壯大離不開廣大客戶長期以來的信賴與支持,我們將始終秉承“誠信為本、服務至上”的服務理念,堅持“二合一”的優良服務模式,真誠服務每家企業,認真做好每個細節,不斷完善自我,成就企業,實現共贏。行業涉及成都攪拌罐車等,在成都網站建設成都營銷網站建設、WAP手機網站、VI設計、軟件開發等項目上具有豐富的設計經驗。

urllib2 默認會使用環境變量 http_proxy 來設置 HTTP Proxy。假如一個網站它會檢測某一段時間某個 IP 的訪問次數,如果訪問次數過多,它會禁止你的訪問。所以你可以設置一些代理服務器來幫助你做工作,每隔一段時間換一個代理,網站君都不知道是誰在搗鬼了,這酸爽! 下面一段代碼說明了代理的設置用法

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

拓展:Timeout 設置

上一節已經說過 urlopen 方法了,第三個參數就是 timeout 的設置,可以設置等待多久超時,為了解決一些網站實在響應過慢而造成的影響。 例如下面的代碼,如果第二個參數 data 為空那么要特別指定是 timeout 是多少,寫明形參,如果 data 已經傳入,則不必聲明。

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)

看完了這篇文章,相信你對Python爬蟲中設置代理的方法有了一定的了解,想了解更多相關知識,歡迎關注創新互聯行業資訊頻道,感謝各位的閱讀!

分享標題:Python爬蟲中設置代理的方法-創新互聯
文章分享:http://newbst.com/article26/dgiocg.html

成都網站建設公司_創新互聯,為您提供企業建站靜態網站Google響應式網站手機網站建設外貿網站建設

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

成都定制網站建設