PTT數位生活區 / DataScience

[問題] 關於資料量太大 硬體跑不動的問題

看板DataScience作者 (nujabes)時間2年前 (2021/06/07 15:43), 2年前編輯推噓4(4推 0噓 11→)
留言15則, 8人參與, 2年前最新討論串1/1
最近接到個面試 需要先完成一個檔案大小約5GB的 預測分析project 但就我個人的laptop ram:8gb ssd:256gb 光檔案loading就耗費幾分鐘了 更別說要開始feature engineering or modeling 想請問 有任何雲端 不太需要訂閱功能的方式 可以完成這個project嗎 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.176.92.165 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1623051796.A.01A.html
推
06/07 16:32, 2年前 , 1F
不能分batch嗎？
06/07 16:32, 1F
→
06/07 16:41, 2年前 , 2F
不是，你這電腦也太弱了吧
06/07 16:41, 2F
→
06/07 16:41, 2年前 , 3F
我3年前做 ML，就已經最少 16GB 起跳了
06/07 16:41, 3F
→
06/07 16:42, 2年前 , 4F
碩班提供 16GB 電腦，我還覺得太弱，自己組 32 GB
06/07 16:42, 4F
→
06/07 16:43, 2年前 , 5F
如果是用 pandas，可以先讀前1萬筆就好
06/07 16:43, 5F
→
06/07 16:47, 2年前 , 6F
呃..個人電腦大概2015 fall的macbook pro 都跑些小專案
06/07 16:47, 6F
→
06/07 16:48, 2年前 , 7F
在lab 就用蘋果骨灰罈 沒這困擾
06/07 16:48, 7F
→
06/07 16:49, 2年前 , 8F
可能就只嘗試用部分dataset去跑
06/07 16:49, 8F
→
06/07 19:50, 2年前 , 9F
資料格式寫一下啊
06/07 19:50, 9F
是csv file ※ 編輯: Mutibil (180.176.92.165 臺灣), 06/07/2021 21:58:07
推
06/08 04:43, 2年前 , 10F
5G很小呀，你資料要先分割
06/08 04:43, 10F
→
06/08 11:20, 2年前 , 11F
既然是csv 應該可以分批吃吧? 注意batch的影響就好
06/08 11:20, 11F
→
06/08 11:22, 2年前 , 12F
不然就先看看能不能降維 說不定有一堆值全部相同的特徵XD
06/08 11:22, 12F
→
06/09 00:57, 2年前 , 13F
COLAB
06/09 00:57, 13F
推
06/09 22:24, 2年前 , 14F
做簡單的EDA，然後抽個5-10%做做看搞不好結果不錯?
06/09 22:24, 14F
推
06/11 02:50, 2年前 , 15F
colab
06/11 02:50, 15F
‣ 更多 Mutibil 的文章
文章代碼(AID): #1WlSuK0Q (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 Mutibil 的文章
文章代碼(AID): #1WlSuK0Q (DataScience)