PTT數位生活區 / Python

[問題] 神秘金字塔爬蟲問題

看板Python作者 (Poker Face)時間5年前 (2019/10/26 13:54), 5年前編輯推噓2(2推 0噓 2→)
留言4則, 3人參與, 5年前最新討論串1/2 (看更多)
請問有人會爬神秘金字塔的網頁嗎? 例如下面這個頁面 https://norway.twsthr.info/StockHolders.aspx?stock=0050 我想把這些資訊爬出來 20191025 703,000 89,452 7.86 450,780 64.12 75 20 5 5 45 61.57 88.80 20191018 753,500 90,255 8.35 498,135 66.11 72 16 5 5 46 64.01 87.95 ... 我觀察網頁原始碼, 這些資訊大概在這兩種標籤的<td>裡面. <tr class='lDS'> 與 <tr class='lLS'> 不過我用beautifulSoup 去撈<tr class='lDS'>這個tag, 似乎也會撈到<tr class='lLS'>這個tag裡面的<td>的資訊 code如下, soup = BeautifulSoup(respStr,'html.parser') tr_list = soup.find_all('tr') for idx,tr in enumerate(tr_list): if tr.get('class') == ['lDS']: td_list = tr.find_all('td') for idx2,td in enumerate(td_list): print(td.text) 想問是不是有可能beautifulSoup有機會parse錯誤? 如果是的話 有大大知道怎麼解決這個問題嗎? 或者給我個建議 可以用什麼其他的方式把這些資訊爬出來? 感謝. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.72.97.13 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1572069268.A.785.html
推
10/26 15:02, 5年前 , 1F
div.get => tr.get ?
10/26 15:02, 1F
→
10/26 15:23, 5年前 , 2F
div.get 是我打文章筆誤 code是tr.get
10/26 15:23, 2F
※ 編輯: kakar0to (42.72.97.13 臺灣), 10/26/2019 15:23:50
→
10/26 15:24, 5年前 , 3F
已修正文章
10/26 15:24, 3F
推
10/29 12:04, 5年前 , 4F
使用pandas 處理應該會簡單點吧
10/29 12:04, 4F
‣ 更多 kakar0to 的文章
文章代碼(AID): #1Tiz-KU5 (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 kakar0to 的文章
文章代碼(AID): #1Tiz-KU5 (Python)