PTT數位生活區 / Python

[問題] python 爬取pchome資料

看板Python作者 (吳小帥)時間9年前 (2016/04/11 11:42), 編輯推噓3(3推 0噓 11→)
留言14則, 3人參與, 最新討論串1/3 (看更多)
大家好 小弟最近剛開始學網路爬蟲 剛好看到有老師在網路上教學 教學連結如下 http://www.largitdata.com/course/9/ 由於範例影片是用淘寶舉例 我就想說那改來爬Pchome 最近剛好想買電動刮鬍刀 於是在Pchome首頁搜尋電動刮鬍刀 跑出項目後寫以下的程式 import requests import bs4 from BeautifulSoup as bs res = requests.get(' http://ecshweb.pchome.com.tw/search/v3.3/?q=%E9%9B%BB%E5%8B%95%E5%88%AE%E9%AC%8D%E5%88%80') soup = bs(res.text, "html.parser") print soup 想說先看一下soup列印出來後有沒有包含網業上的品項資訊 但卻沒有 之後的步驟也不知道怎麼進行下去了 上述的網址是在搜尋頁面按右鍵→檢查→Network→類型選擇Doc 得到的url 不知道有沒有版友爬過Pchome 可以教教小弟嗎 謝謝大家~~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.248.2.226 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1460346166.A.9D2.html
推
04/11 13:34, , 1F
我看是在<dd id="ItemContainer">裡面 撈不到嗎?
04/11 13:34, 1F
推
04/11 13:38, , 2F
剛剛試了一下，應該是JS的問題，所以我改用selenium
04/11 13:38, 2F
→
04/11 13:39, , 3F
之後就搞定了 http://codepad.org/QeZAV5HO
04/11 13:39, 3F
→
04/11 13:41, , 4F
pip 可以直接裝，然後抓這個放入在同目錄:
04/11 13:41, 4F
→
04/11 13:41, , 5F
04/11 13:41, 5F
→
04/11 16:41, , 6F
謝謝T大回答 我現在出現錯誤訊息
04/11 16:41, 6F
→
04/11 16:41, , 7F
'phantomjs' executable needs to be in PATH
04/11 16:41, 7F
→
04/11 16:42, , 8F
我不知道要把載下來的selenium丟到哪裡 ~
04/11 16:42, 8F
→
04/11 16:42, , 9F
再麻煩T大了 謝謝 ~
04/11 16:42, 9F
→
04/11 17:48, , 10F
說錯是phantomjs~
04/11 17:48, 10F
推
04/11 20:51, , 11F
耶? 解壓縮之後會是一個資料夾對吧? 裡面有bin資料
04/11 20:51, 11F
→
04/11 20:51, , 12F
夾，裡面有phantomjs。 把路徑改成他就可以了，或是
04/11 20:51, 12F
→
04/11 20:52, , 13F
把這個phantomjs抓出來放在同木錄下他就會找得到了
04/11 20:52, 13F
→
04/11 20:53, , 14F
應該有這個就搞得定了。
04/11 20:53, 14F
‣ 更多 kobe52072200 的文章
文章代碼(AID): #1N2nqsdI (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 kobe52072200 的文章
文章代碼(AID): #1N2nqsdI (Python)