[問題] 關於使用for迴圈挖掘資料時出錯-換頁問題
各位好,最近使用for迴圈寫了一隻功能有自動換頁且挖掘資料的程式碼,可是當使用for迴圈換頁時一直抓錯頁面。
例如當我在links =[]裡的range()輸入2時,就會出現抓錯頁面的狀況。
主程式碼在這裡:
http://dpaste.com/18VP2HA
主程式的pseudocode:
List = [ 想要抓的網頁 ]
for a in list: #網頁切換地
for link in links:印出現在切換到哪個網頁
for link in links#抓出使用者的名稱
for shop_ink in shop_table:#用regex找出名稱
break#跳出
for link in links#抓出使用者tag
for n in name_list#用regex找出tag
Output 使用者帳號 、使用的標籤
Output 使用者帳號 、使用的標籤
Output 使用者帳號 、使用的標籤
['mkitchen', 'heatherperkinson',]
['mkitchen', 'heatherperkinson',]
================================================
['ela', 'elementary', ']
若錯誤時則會出現
[]
[]
輸出為類似上述的list,依序為帳號和標籤
我試著修改後大概知道,我過多的for迴圈導致後面的res = requests.get(link)抓錯位置和name_list接收錯誤的資料,以至於無法準確的使用正規表示法處理,印出我想要的輸出,但是我實在無法確定到底是哪一個for出現問?
--
Sent from my Windows
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.172.97.181
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.172.97.181
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1460209038.A.F86.html
→
04/09 21:44, , 1F
04/09 21:44, 1F
※ 編輯: busystudent (223.140.224.116), 04/09/2016 21:56:12
※ 編輯: busystudent (223.140.224.116), 04/09/2016 22:21:48
※ 編輯: busystudent (223.140.224.116), 04/09/2016 22:42:31
→
04/10 00:13, , 2F
04/10 00:13, 2F
討論串 (同標題文章)
以下文章回應了本文:
完整討論串 (本文為第 1 之 2 篇):
Python 近期熱門文章
PTT數位生活區 即時熱門文章