[討論] csv檔案大小1.7G, 該用什麼免費資料庫

看板Database (資料庫)作者 (ml919)時間1年前 (2023/08/21 23:20), 編輯推噓5(5011)
留言16則, 7人參與, 最新討論串1/1
請教一下 我有csv檔案大小從125mb到1.7G不等, 有什麼免費的資料庫可以上傳嗎? 或是需要付費,但價格不貴的. 我是學校系上的project要用的,需要彙整這些csv檔案 我有試過MS sql server express and Matlab, 但有資料跑掉或out of memory的問題. Oracle express edition則有其他問題,像是 ORA12560 有什麼其他建議嗎? 謝謝!! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 74.96.114.184 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Database/M.1692631215.A.640.html

08/21 23:39, 1年前 , 1F
posgresql
08/21 23:39, 1F

08/22 00:22, 1年前 , 2F
先想辦法把csv分切成小檔,這尺寸匯入容易發生錯誤
08/22 00:22, 2F

08/22 12:38, 1年前 , 3F
如果是table類型的資料,可以考慮轉成 parquet 格式
08/22 12:38, 3F

08/22 12:38, 1年前 , 4F
,能有效降低空間
08/22 12:38, 4F

08/29 23:39, , 5F
你的ora listener 沒啟動成功 上篇很明顯
08/29 23:39, 5F

08/29 23:40, , 6F
建議拿簡單的11gXE來玩
08/29 23:40, 6F

08/29 23:41, , 7F
電腦名稱、win帳號避免中文
08/29 23:41, 7F

08/29 23:41, , 8F
網卡IP請設定不是DHCP的固定ip
08/29 23:41, 8F

08/29 23:43, , 9F
不然就玩postgresql ,巨量資料又肯學,NoSQL的mong
08/29 23:43, 9F

08/29 23:43, , 10F
o也行
08/29 23:43, 10F

08/29 23:44, , 11F
sql還是ora的express都有資源先天限制
08/29 23:44, 11F

08/29 23:45, , 12F
cpu ram跟空間都有限制,不管你的電腦買多好都沒用
08/29 23:45, 12F

08/31 09:47, , 13F
可以參考各DB提供的大檔匯入工具,如sqlload,bcp等
08/31 09:47, 13F

09/23 17:43, , 14F
postgredql 我跟你情況差不多 每個csv都破百 放postgr
09/23 17:43, 14F

09/23 17:43, , 15F
esql還能合在一起處理
09/23 17:43, 15F

09/24 14:11, , 16F
sqlite3,很容易取得,雖然我手邊的資料庫沒破G
09/24 14:11, 16F
文章代碼(AID): #1auu2lP0 (Database)
文章代碼(AID): #1auu2lP0 (Database)