[問題] 有關Hadoop的上傳

看板Cloud作者 (菠蘿麵包)時間13年前 (2011/03/23 10:40), 編輯推噓4(408)
留言12則, 3人參與, 最新討論串1/1
因為沒實際用過Hadoop,所以請問一下 我們將一檔案上傳到一個hadoop伺服器上,他是如何儲存這個檔案? 假設我們有3個node而當我們上傳至其中一個伺服器時Hadoop會自動做切分 分散到這3個node上嗎?然後可用name Node追蹤資料位置? Hadoop並不允許使用者指定檔案在切分段後所擺放的節點? 以上謝謝回答~~~ -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.116.130.168

03/23 18:53, , 1F
先SURVEY HDFS
03/23 18:53, 1F

03/23 21:55, , 2F
記得64MB一個trunk~存到最後一個會記錄用了多少動態存取
03/23 21:55, 2F

03/23 22:07, , 3F
好奇原po想要做什麼XD
03/23 22:07, 3F

03/23 22:07, , 4F
因為使用HDFS很簡單 只要上傳下載就對了 背後hadoop都幫你弄
03/23 22:07, 4F

03/23 22:36, , 5F
想對有儲存資料的node做平行上傳和下載
03/23 22:36, 5F

03/23 22:37, , 6F
這樣看來大概下載才能夠追蹤到資料,做平行下載
03/23 22:37, 6F

03/23 22:38, , 7F
上傳的話就不知怎麼辦了
03/23 22:38, 7F

03/23 22:52, , 8F
HDFS也是open source吧 翻翻看吧XDDDDDDDDDDDD
03/23 22:52, 8F

03/23 22:56, , 9F
好像真的沒有提供類似的API
03/23 22:56, 9F

03/23 22:57, , 11F
問問JAZZ大
03/23 22:57, 11F

03/23 23:01, , 12F
保險起見問一下好了
03/23 23:01, 12F
文章代碼(AID): #1DYLsG4y (Cloud)
文章代碼(AID): #1DYLsG4y (Cloud)