PTT數位生活區 / Python

[問題] request 如何實現多重代理

看板Python作者 (jasonhome)時間9年前 (2016/05/04 02:50), 9年前編輯推噓1(1推 0噓 15→)
留言16則, 4人參與, 最新討論串1/1
大家好 我有個問題想請教一下 就是關於python Request的proxy單層代理已經實現了 現在我想實現多重代理去匿蹤 這是我的code 請問我這樣有算實現嗎?? Proxy List是來自於 http://goo.gl/xhX32M 我是以這個查詢IP的網站做測試 http://dir.twseo.org/ip-check.php 因為如果使用單層代理的話就會顯示你的來源代理位置 下列是單層代理的程式碼 https://goo.gl/80WK6s 他會跟我說我的來源IP位置 然後我再試著使用下列的程式碼 https://goo.gl/0bdm8k 它就不會顯示我的來源IP位置了 這樣是否達到多重IP的效果呢?? . 然後當我需要再實現第三層的proxy代理時 就出現 ConnectionError: ('Connection aborted.', BadStatusLine("''",) 沒有使用Tor網路的關係是因為我要爬取的網站會鎖定境外IP 請問是否有比使用此種方式去多重代理更好的方式呢?? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.227.164.60 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1462301421.A.4A7.html
→
05/04 10:49, , 1F
1. 你的程式碼內，沒有用到 requests.Session() 產生的
05/04 10:49, 1F
→
05/04 10:50, , 2F
res 項目。一般要用到 http keep-alive 的話，通常
05/04 10:50, 2F
→
05/04 10:50, , 3F
就是 res=requests.Session() 之後用 res.get(...)
05/04 10:50, 3F
→
05/04 10:50, , 4F
2. 你的程式碼看不出來所謂多層 proxy 代理的功能
05/04 10:50, 4F
→
05/04 10:50, , 5F
只是分別用不同的 proxy server 讓 requests 去連結
05/04 10:50, 5F
→
05/04 10:57, , 6F
3. Connection aborted 看起來應該是你用的 proxyserver
05/04 10:57, 6F
→
05/04 10:57, , 7F
本身有問題所以存取失敗無法連線成功
05/04 10:57, 7F
→
05/04 10:58, , 8F
4. 對方是否可以看到你的真正連線來源，基本上是取決
05/04 10:58, 8F
→
05/04 10:58, , 9F
在 proxy server 本身是否會把用戶端來源的 ip 放在
05/04 10:58, 9F
→
05/04 10:59, , 10F
X-Forwarded-For 的 http header 內
05/04 10:59, 10F
回覆kenduest: proxies={ "http":"http://203.66.159.45:3128" } proxies2={ "http":"http://122.147.24.103:8080" } r=requests.Session() res=r.get("http://dir.twseo.org/ip-check.php",proxies=proxies) res2=r.get("http://dir.twseo.org/ip-check.php",proxies=proxies2) 所以依照你的建議修改了 Session的設定 主要思路是先對網站進行第一次跳板 然後再使用同樣的session去get 就可以第二層跳板嗎?? ※ 編輯: yf9000555 (61.230.178.141), 05/04/2016 13:43:21
→
05/04 17:24, , 11F
這樣看起來還是一樣分成兩次不同代理去送request欸
05/04 17:24, 11F
→
05/04 23:40, , 12F
你叫 A 座 1 號機去美國，叫 B 搭 2 號機去美國
05/04 23:40, 12F
→
05/04 23:41, , 13F
這樣 A 和 B 有任何一個人搭到 2 台飛機才到美國?
05/04 23:41, 13F
→
05/04 23:52, , 14F
沒辦法這樣子達成所謂兩層 proxy 代理這種功能
05/04 23:52, 14F
→
05/04 23:53, , 15F
只有單層的 proxy 功能使用
05/04 23:53, 15F
推
05/07 00:13, , 16F
我記得 tor 不是可以指定 exit node 國籍？
05/07 00:13, 16F
謝謝 grapherd 我後來在 Tor Browser\Browser\TorBrowser\Data\Tor\ 這個資料夾位置找到 torrc 這個檔案 然後用記事本開啟後 在最後面加上 StrictExitNodes 1 ExitNodes {TW} 成功跳板回台灣 謝謝 參考網址 : 使用tor指定出口国家的IP (簡體中文) http://goo.gl/hDVc7Z 維基百科國家代碼表 https://goo.gl/HmTGBv ※ 編輯: yf9000555 (61.230.166.30), 05/09/2016 13:57:49
‣ 更多 yf9000555 的文章
文章代碼(AID): #1NAFBjId (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 yf9000555 的文章
文章代碼(AID): #1NAFBjId (Python)