[問題] 比HashSet<Long>更好的容器

看板java作者 (貝里斯)時間9年前 (2015/12/17 16:20), 編輯推噓9(9023)
留言32則, 9人參與, 最新討論串1/1
想請教一下各位前輩 小弟目前 有上萬筆形態爲long的資料,從json data 轉換爲object 時 會依照分類放在HashSet<Long> 裡面 會用HashSet的原因是免排序, 但是需要快速查出某個值是不是成員 (使用contain(long id)這個方法 因爲資料蠻多的,又把long wrap爲Long,佔用了不少記憶體 想請問有沒有更節省記憶體也可以快速判斷的方式來存放這些資料呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.125.98.71 ※ 文章網址: https://www.ptt.cc/bbs/java/M.1450340429.A.28E.html

12/17 18:32, , 1F
要省記憶體可能要將Set分類 而不是全部用同一個存
12/17 18:32, 1F

12/17 18:32, , 2F
當然還有個偷懶方式丟給DB去處理
12/17 18:32, 2F

12/17 19:52, , 3F
丟給db只可能更慢 囧
12/17 19:52, 3F

12/17 19:53, , 4F
還有你的顧慮是多餘的,這種單一變數的東西,即使上萬筆,
12/17 19:53, 4F

12/17 19:54, , 5F
也不會吃多少效能跟記憶體,大概吃料 8*10000~ 80kb而已
12/17 19:54, 5F

12/17 23:30, , 6F
bloom filter, radix sort, 還有自己手動切partition
12/17 23:30, 6F

12/17 23:31, , 7F
幾萬個Long是應該沒問題, 有疑慮的話先measure吧
12/17 23:31, 7F

12/18 01:12, , 8F
你直接用吧 真的發現慢在這裡再說吧
12/18 01:12, 8F

12/18 01:15, , 9F
沒記錯的話HashSet找內容是O(1) 才幾萬筆應該還好
12/18 01:15, 9F

12/18 10:23, , 10F
一個set 約萬筆,然後有10 個set 左右 XD
12/18 10:23, 10F

12/18 10:24, , 11F
HashSet 搜尋真的很快,我不懷疑的
12/18 10:24, 11F

12/18 10:25, , 12F
目前發現從json 字串轉成 object 超花時間 orz
12/18 10:25, 12F

12/18 12:15, , 13F
json 轉成 long 會多花時間?
12/18 12:15, 13F

12/18 12:16, , 14F
資料簡單就寫個簡易 parser處理就好
12/18 12:16, 14F

12/18 12:18, , 15F
json轉物件是用哪一套? java的json轉換有一堆libary
12/18 12:18, 15F

12/18 12:18, , 16F
要轉物件的話大多是用反射去弄的吧
12/18 12:18, 16F

12/18 15:53, , 17F
目前是Gson, 這些code是在android 跑的
12/18 15:53, 17F

12/18 15:53, , 18F
在部分手機上來說,真的不太快
12/18 15:53, 18F

12/18 15:54, , 19F
基本上會讓用戶感到有點延遲
12/18 15:54, 19F

12/18 19:34, , 20F
Martin Fowler最近有篇文章 refactoring document load
12/18 19:34, 20F

12/18 19:36, , 21F
剛好就是在談字串轉object的問題 好像是要用時再轉
12/18 19:36, 21F

12/18 19:43, , 22F
Gson還蠻快的阿.... 你是不是轉換一次就new一次Gson?
12/18 19:43, 22F

12/18 23:29, , 23F
gson是tread safe
12/18 23:29, 23F

12/19 02:19, , 24F
Retrofit 應該不會幹這種事XD
12/19 02:19, 24F

12/19 02:22, , 25F
@yyc1217 馬上就需要用到XD 而且是經常性的
12/19 02:22, 25F

12/19 02:23, , 26F
@asdhhhman 我是一次就拿到好幾筆的set
12/19 02:23, 26F

12/19 13:54, , 27F
當字串來處理不要轉成Long呢?
12/19 13:54, 27F

12/19 14:21, , 28F
有個library叫Trove4j,有個TLongHashSet
12/19 14:21, 28F

12/19 14:22, , 29F
可以用primitive value當key
12/19 14:22, 29F

12/20 18:14, , 30F
@yyc1217 我會試試看 謝謝!
12/20 18:14, 30F

12/24 09:21, , 31F
看要不要試試Guava的ImmutableSet
12/24 09:21, 31F

02/05 02:34, , 32F
Guava整包 太肥了,不太適合在android 上跑
02/05 02:34, 32F
文章代碼(AID): #1MSd1DAE (java)
文章代碼(AID): #1MSd1DAE (java)