小編給大家分享一下Python爬蟲中設置代理的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
urllib2 默認會使用環境變量 http_proxy 來設置 HTTP Proxy。假如一個網站它會檢測某一段時間某個 IP 的訪問次數,如果訪問次數過多,它會禁止你的訪問。所以你可以設置一些代理服務器來幫助你做工作,每隔一段時間換一個代理,網站君都不知道是誰在搗鬼了,這酸爽! 下面一段代碼說明了代理的設置用法
import urllib2 enable_proxy = True proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'}) null_proxy_handler = urllib2.ProxyHandler({}) if enable_proxy: opener = urllib2.build_opener(proxy_handler) else: opener = urllib2.build_opener(null_proxy_handler) urllib2.install_opener(opener)
拓展:Timeout 設置
上一節已經說過 urlopen 方法了,第三個參數就是 timeout 的設置,可以設置等待多久超時,為了解決一些網站實在響應過慢而造成的影響。 例如下面的代碼,如果第二個參數 data 為空那么要特別指定是 timeout 是多少,寫明形參,如果 data 已經傳入,則不必聲明。
import urllib2 response = urllib2.urlopen('http://www.baidu.com', timeout=10)
import urllib2 response = urllib2.urlopen('http://www.baidu.com',data, 10)
看完了這篇文章,相信你對Python爬蟲中設置代理的方法有了一定的了解,想了解更多相關知識,歡迎關注創新互聯行業資訊頻道,感謝各位的閱讀!
分享標題:Python爬蟲中設置代理的方法-創新互聯
文章分享:http://newbst.com/article26/dgiocg.html
成都網站建設公司_創新互聯,為您提供企業建站、靜態網站、Google、響應式網站、手機網站建設、外貿網站建設
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯