[問題] NodeJS Crawler behind company proxy

看板Ajax作者 (Big9)時間7年前 (2017/03/01 23:58), 編輯推噓0(002)
留言2則, 1人參與, 最新討論串1/1
各位好 最近在學NodeJS 打算寫一隻Crawler 參照此文章 如何撰寫Crawler http://yhsiang.logdown.com/posts/2014/05/10/how-to-write-a-crawler 也完成了一隻Crawler 在家中一般網路環境時順利抓下資料 但是 拿到公司網路環境運作 竟然無法爬資料 深入追查下才發現 公司連網站都會透過Proxy 導致爬網頁時都會失敗 上網找了許多相關問題 也是無法順利解決 上來求教各位 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.139.229.14 ※ 文章網址: https://www.ptt.cc/bbs/Ajax/M.1488383903.A.487.html

03/02 12:39, , 2F
那就讓你的crawler也過proxy
03/02 12:39, 2F
文章代碼(AID): #1Ojk-VI7 (Ajax)
文章代碼(AID): #1Ojk-VI7 (Ajax)