[範例] 用WebChuan抓取無名相簿的相片

看板Python作者 (Victor)時間16年前 (2008/10/22 21:40), 編輯推噓5(5022)
留言27則, 4人參與, 最新討論串1/2 (看更多)
http://0rz.tw/4c4Vp 我用WenChuan寫了一個小程式 用來抓取無名的相簿 這其實還算蠻簡單的 還可以有更複雜很多的應用 有興趣可以參考看看 我也有包成.exe 想抓無名照片的也可以直接使用喔 :P -- 易記學 程式設計教學 http://ez2learn.com/ 易記學 程式設計討論區 http://forum.ez2learn.com VICTOR's 個人Blog http://blog.ez2learn.com/ 財報分析王 http://victorlin.serveftp.org/stock/ -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 118.170.176.176

10/22 23:41, , 1F
程式碼沒看 請問這能應付yahoo 999 error嗎
10/22 23:41, 1F

10/22 23:41, , 2F
我對999 error的處理比較有興趣:P
10/22 23:41, 2F

10/23 00:10, , 3F
看來不只有我一個人遇到yahoo 999 = =
10/23 00:10, 3F

10/23 00:10, , 4F
我沒預料到居然有那種鬼機制 XD
10/23 00:10, 4F

10/23 00:10, , 5F
抓了一陣子居然999 我沒研究他判斷999的方式
10/23 00:10, 5F

10/23 00:11, , 6F
還有它到底是禁止了什麼 我猜應該是ip
10/23 00:11, 6F

10/23 00:11, , 7F
我重新播號換個ip就好了
10/23 00:11, 7F

10/23 00:11, , 8F
我覺得應該是抓圖的方式太密集 = =
10/23 00:11, 8F

10/23 00:12, , 9F
我想... 如果User-Agent用亂數決定
10/23 00:12, 9F

10/23 00:12, , 10F
不知道它會不會認定是不同電腦
10/23 00:12, 10F

10/23 00:12, , 11F
但如果只認ip 大概就只能延長抓的間格吧?
10/23 00:12, 11F

10/23 00:26, , 12F
還能換 proxy XD
10/23 00:26, 12F

10/23 00:36, , 13F
喔喔 對厚 XD
10/23 00:36, 13F

10/23 00:37, , 14F
那ok阿~ 遇到999就換個proxy 應該就ok吧@@?
10/23 00:37, 14F

10/24 02:26, , 15F
google search 也檔的超嚴格 可以玩玩看:p
10/24 02:26, 15F

10/24 02:26, , 16F
random user-agent, referer, sleep interval都沒啥用
10/24 02:26, 16F

10/24 02:26, , 17F
或許只看ip ~ ~
10/24 02:26, 17F

10/24 12:45, , 18F
google search我沒玩過 不過它那個自動完成我有玩過
10/24 12:45, 18F

10/24 12:45, , 19F
我以前有撈過上百萬筆的關聯詞資料
10/24 12:45, 19F

10/24 12:45, , 20F
現在可能不行了 我猜應該現在撈沒多久就被鎖了 XD
10/24 12:45, 20F

10/24 12:55, , 21F
我先丟一系列常見的單字 然後把它列出來的字詞
10/24 12:55, 21F

10/24 12:55, , 22F
全部加進去繼續找關聯字詞 這樣就會越來越多
10/24 12:55, 22F

10/24 12:56, , 23F
最後應該是所有字詞都會撈出來
10/24 12:56, 23F

10/24 18:52, , 24F
看來我們在玩的東西很類似 嘿嘿嘿
10/24 18:52, 24F

10/24 21:42, , 25F
後來那些關聯詞好像沒有我想像中的有用= =
10/24 21:42, 25F

10/24 21:43, , 26F
又或著我沒有更仔細去研究 就沒在玩了= .=
10/24 21:43, 26F

10/25 21:42, , 27F
可以跟你伸data嗎?:p
10/25 21:42, 27F
文章代碼(AID): #18_oq_0q (Python)
文章代碼(AID): #18_oq_0q (Python)