[問題] BeautifulSoup連線問題
Hi各位強者大大,小弟Python外加IT新手,最近嘗試用BeautifulSoup抓取博客來書店資料(ISBN和分類),目前已經寫好一個相對完整的程式但遇到一個問題。
我在程式加了一個判斷式判斷如果某Class存在才會繼續抓取資料。但執行後發現有時候明明網頁有資料的卻不會去抓取。我試著把連線參數調整後抓的到,但因為要抓8萬筆資料不可能讓參數放得太寬。
請問如果像這樣的狀況我該怎麼辦呢?
附上程式碼請各位強者大大參考
https://tinyurl.com/y3yvqshf
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.234.54.180 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1561959237.A.DFB.html
→
07/01 13:59,
6年前
, 1F
07/01 13:59, 1F
推
07/01 15:33,
6年前
, 2F
07/01 15:33, 2F
Python 近期熱門文章
PTT數位生活區 即時熱門文章