PTT數位生活區 / Python

[問題] 爬蟲 非同步的post請求

看板Python作者 (渾沌與秩序)時間9年前 (2016/04/13 21:03), 9年前編輯推噓0(0推 0噓 8→)
留言8則, 4人參與, 最新討論串1/1
大家好 最近在利用免費的雲端主機去做網頁爬蟲 Openshite 遇到的問題就是他主機架設在美洲 所以每一個post的反應時間還蠻久的 這樣跑回圈下來的執行時間很長 想知道是不是有機會可以做到非同步的大量post要求 在回傳事件中解決到回應 這樣應該就可以解決主機在美國的問題了 謝謝大家 補充: 我是版本是2.7 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.141.5.141 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1460552609.A.20C.html
→
04/13 21:43, , 1F
選擇很多, Python 3.4 以上可以用 aiohttp, 其他版本也
04/13 21:43, 1F
→
04/13 21:43, , 2F
可以用 Tornado 或 Twisted 等等
04/13 21:43, 2F
※ 編輯: aaa7513231 (114.42.51.132), 04/13/2016 22:15:19
→
04/13 22:16, , 3F
因為我是使用cron去跑腳本，上面提供的好像是Web框架
04/13 22:16, 3F
→
04/13 22:16, , 4F
U大，我這樣應該沒辦法套用吧@@?
04/13 22:16, 4F
→
04/13 22:19, , 5F
可以套用啊，都可以非同步等待對方 server 回應
04/13 22:19, 5F
→
04/13 22:21, , 6F
例如：Twisted Web Client / Aiohttp Client
04/13 22:21, 6F
→
04/13 22:31, , 7F
剛剛看過範例，應該是有搞頭，謝謝大家!!!
04/13 22:31, 7F
→
04/14 00:57, , 8F
python 2 簡單方式一般可以用 gevent 來處理
04/14 00:57, 8F
‣ 更多 aaa7513231 的文章
文章代碼(AID): #1N3aEX8C (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 aaa7513231 的文章
文章代碼(AID): #1N3aEX8C (Python)