PTT數位生活區 / Python

[問題] 記憶體不足

看板Python作者 (凱西)時間4年前 (2020/10/29 05:21), 4年前編輯推噓4(4推 0噓 18→)
留言22則, 5人參與, 4年前最新討論串1/2 (看更多)
請問執行會對網頁重覆執行爬蟲的腳本 它在執行一段時間後 chrome瀏覽器就會顯示out of memory 程式就停止了 (電腦記憶體32g) 請問這個問題有辦法解決嗎? (除了重啟瀏覽器，還有其他方法嗎?) 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.95.138 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1603920107.A.036.html
→
10/29 06:18, 4年前 , 1F
你的問題敘述沒頭沒尾的。純粹執行 Python 腳本通常是直接
10/29 06:18, 1F
→
10/29 06:18, 4年前 , 2F
丟請求取東西回來，要嘛就是取頁面原始碼再透過 selector
10/29 06:18, 2F
→
10/29 06:18, 4年前 , 3F
或 xpath 定位，又或是直接字串透過正則表達式做 parsing，
10/29 06:18, 3F
→
10/29 06:18, 4年前 , 4F
這時的記憶體不足會是腳本可能有 memory leak 或者是讀入過
10/29 06:18, 4F
→
10/29 06:18, 4年前 , 5F
量的資料。如果還需要開瀏覽器，通常是有需要加載 js 才會
10/29 06:18, 5F
→
10/29 06:18, 4年前 , 6F
渲染頁面，要嘛 headless 要嘛 seleium，至少要交代一下吧
10/29 06:18, 6F
→
10/29 06:18, 4年前 , 7F
？瀏覽器跳記憶體不足的原因有很多啊，你腳本是不是會一直
10/29 06:18, 7F
→
10/29 06:18, 4年前 , 8F
開新分頁？又或者是要一直下拉載入新內容？還是其他？
10/29 06:18, 8F
→
10/29 06:22, 4年前 , 9F
如果是開太多分頁或記憶體沒清，就去找文件看看那個方法可
10/29 06:22, 9F
→
10/29 06:22, 4年前 , 10F
以調用去關分頁或者是清理瀏覽器的記憶體，然後在腳本裡呼
10/29 06:22, 10F
→
10/29 06:22, 4年前 , 11F
叫。如果清了記憶體就不能爬了，那就找其他的爬法…
10/29 06:22, 11F
→
10/29 06:24, 4年前 , 12F
搞不好是對方網站載入的 js 有沒寫好的東西一直堆上去…
10/29 06:24, 12F
→
10/29 06:32, 4年前 , 13F
如果你需要爬的東西，是重啟瀏覽器之後直接運行腳本繼續爬
10/29 06:32, 13F
→
10/29 06:32, 4年前 , 14F
也沒差，容錯率比較高的話。寫個腳本定期去殺掉進程，然後
10/29 06:32, 14F
→
10/29 06:32, 4年前 , 15F
重啟會比較快速無腦
10/29 06:32, 15F
抱歉 是用seleium 不需要開新分頁 只是會定時重新整理 謝謝您的意見分享＞＜ 請問您說的有沒有哪裡可以查詢相關資訊 我再試看看 謝謝 ※ 編輯: cathy0610 (114.36.95.138 臺灣), 10/29/2020 08:24:03
→
10/29 09:10, 4年前 , 16F
有辦法解決，辦法就是把腳本內錯誤的程式碼修正
10/29 09:10, 16F
推
10/29 10:11, 4年前 , 17F
一樓回答完了...下次發問記得多提供點資訊
10/29 10:11, 17F
→
10/29 10:12, 4年前 , 18F
selenium沒開新分頁，應該就先往程式碼找看看
10/29 10:12, 18F
推
10/29 10:43, 4年前 , 19F
用Selenium爬，那可能會是有點消耗資源，因為開太多
10/29 10:43, 19F
→
10/29 10:43, 4年前 , 20F
頁面
10/29 10:43, 20F
推
10/29 11:19, 4年前 , 21F
之前碰到過開太多分頁，導致chrome記憶體爆炸，供參考
10/29 11:19, 21F
推
11/01 19:29, 4年前 , 22F
se拼錯?
11/01 19:29, 22F
‣ 更多 cathy0610 的文章
文章代碼(AID): #1VcU3h0s (Python)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 2 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共2篇)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 cathy0610 的文章
文章代碼(AID): #1VcU3h0s (Python)