[發問] CSV檔案輸入

看板Python作者 (矛盾與平衡)時間5年前 (2020/04/05 10:40), 5年前編輯推噓4(4022)
留言26則, 6人參與, 5年前最新討論串1/1
請問各位先進,我有檔案僅紀錄一連串X,Y座標但可能出現多個重複值,也就是說可以畫成heap map 我想要將這個檔案依照對應出現次數轉成list,例如 [原始檔案] X Y 1 2 2 1 1 1 1 1 0 0 1 1 [預期輸出] [[1,0,0], [0,3,1], [0,1,0]] 主要是要用於深度學習預處理資料,想請問大家改如何切入? 謝謝! ---- Sent from BePTT on my Samsung SM-J610G -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.141.108.205 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1586054439.A.144.html ※ 編輯: LibrainAir (223.141.108.205 臺灣), 04/05/2020 10:42:16

04/05 11:29, 5年前 , 1F
先掃一次X, Y可能的最大值 宣告一個2維陣列
04/05 11:29, 1F

04/05 11:30, 5年前 , 2F
初值為0然後for迴圈去this_heat_map_array[x][y] += 1
04/05 11:30, 2F

04/05 11:30, 5年前 , 3F
你自己有寫寫看一些了嗎?
04/05 11:30, 3F

04/05 12:25, 5年前 , 4F
謝謝回覆,是的有嘗試過,但資料是百萬尺寸所以RAM爆
04/05 12:25, 4F

04/05 12:25, 5年前 , 5F
掉了
04/05 12:25, 5F

04/05 12:25, 5年前 , 6F
所以想請問是否Panda或是Numpy有提供類似功能或是能
04/05 12:25, 6F

04/05 12:25, 5年前 , 7F
改善的架構?
04/05 12:25, 7F

04/05 12:25, 5年前 , 8F
再次感謝
04/05 12:25, 8F

04/05 15:31, 5年前 , 9F
numpy.unique搭配return_counts參數
04/05 15:31, 9F

04/05 15:55, 5年前 , 10F
前面一頁內有人問過.還有貼出你的code才知你怎寫的
04/05 15:55, 10F

04/05 19:32, 5年前 , 11F
可以看一下 sparse matrix 有沒有滿足你的需求
04/05 19:32, 11F

04/06 01:10, 5年前 , 12F

04/06 01:10, 5年前 , 13F
主要處理到這邊,目前卡在資料量太大如何處理,我會
04/06 01:10, 13F

04/06 01:10, 5年前 , 14F
參考上述的建議
04/06 01:10, 14F

04/06 01:10, 5年前 , 15F
再次感謝!
04/06 01:10, 15F

04/06 01:45, 5年前 , 16F
電腦上的畫面請用電腦擷,除非其他方式能一樣清楚
04/06 01:45, 16F

04/06 01:50, 5年前 , 17F
code有的人可能想try幫你debug,貼文字(或pastebin
04/06 01:50, 17F

04/06 01:50, 5年前 , 18F
這兩項,我覺得是提問者對潛在可能會幫助者的禮貌
04/06 01:50, 18F

04/06 02:18, 5年前 , 19F
好的,十分感謝建議!
04/06 02:18, 19F

04/06 02:18, 5年前 , 20F
我之後會更正程式碼,謝謝
04/06 02:18, 20F

04/06 13:29, 5年前 , 21F

04/06 13:29, 5年前 , 22F
更正程式碼
04/06 13:29, 22F

04/07 02:40, 5年前 , 23F
目前的code一樣是爆在memory嗎? 錯誤訊息也可以幫助
04/07 02:40, 23F

04/07 02:40, 5年前 , 24F
大家幫忙看
04/07 02:40, 24F

04/30 16:51, 5年前 , 25F
先找 x, y 的最大值, 用以上值宣告一個output 2d array
04/30 16:51, 25F

04/30 16:53, 5年前 , 26F
遍歷全部座標(i,j) ;output[i][j]+=1
04/30 16:53, 26F
文章代碼(AID): #1UYKKd54 (Python)
文章代碼(AID): #1UYKKd54 (Python)