[問題] aspx爬蟲翻頁問題
https://www.mittw.org.tw/products/manufacturer.aspx
想要將這個網頁的公司名稱爬蟲下來,但發現有翻頁問題
已經在stackoverflow等等網站找尋資訊,還是無法解決,
想請問各位py神有沒有方法可以解決這個問題。
以下是程式碼
from bs4 import BeautifulSoup
import requests
url = 'https://www.mittw.org.tw/products/manufacturer.aspx'
url_get = requests.get(url)
soup = BeautifulSoup(url_get.content, 'lxml')
col = soup.find_all('div',{'class': "name"})
for ix in col:
print(ix.get_text())
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.117.248.4
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1544670049.A.FB6.html
→
12/13 11:17,
6年前
, 1F
12/13 11:17, 1F
推
12/13 12:18,
6年前
, 2F
12/13 12:18, 2F
→
12/13 12:18,
6年前
, 3F
12/13 12:18, 3F
→
12/13 13:13,
6年前
, 4F
12/13 13:13, 4F
→
12/13 13:13,
6年前
, 5F
12/13 13:13, 5F
→
12/13 13:13,
6年前
, 6F
12/13 13:13, 6F
推
12/13 15:30,
6年前
, 7F
12/13 15:30, 7F
→
12/13 16:53,
6年前
, 8F
12/13 16:53, 8F
→
12/13 16:53,
6年前
, 9F
12/13 16:53, 9F
→
12/13 16:53,
6年前
, 10F
12/13 16:53, 10F
Python 近期熱門文章
PTT數位生活區 即時熱門文章