[問題] BeautifulSoup連線問題

看板Python作者 (匈牙利=Hungary)時間6年前 (2019/07/01 13:33), 編輯推噓1(101)
留言2則, 2人參與, 6年前最新討論串1/1
Hi各位強者大大,小弟Python外加IT新手,最近嘗試用BeautifulSoup抓取博客來書店資料(ISBN和分類),目前已經寫好一個相對完整的程式但遇到一個問題。 我在程式加了一個判斷式判斷如果某Class存在才會繼續抓取資料。但執行後發現有時候明明網頁有資料的卻不會去抓取。我試著把連線參數調整後抓的到,但因為要抓8萬筆資料不可能讓參數放得太寬。 請問如果像這樣的狀況我該怎麼辦呢? 附上程式碼請各位強者大大參考 https://tinyurl.com/y3yvqshf -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.234.54.180 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1561959237.A.DFB.html

07/01 13:59, 6年前 , 1F
買多台 cloud 有不同 ip 分散連線抓取
07/01 13:59, 1F

07/01 15:33, 6年前 , 2F
不先檢查status_code嗎?
07/01 15:33, 2F
文章代碼(AID): #1T6Pj5tx (Python)
文章代碼(AID): #1T6Pj5tx (Python)