大型網站淘寶網的儲存架構

看板Storage_Zone (儲存裝置)作者laptop (空中飛熊)時間15年前 (2010/09/08 12:19)推噓0(0推 0噓 1→)

留言1則, 1人參與討論串1/1

原文請看這 http://storage.it168.com/a2010/0829/1096/000001096373.shtml http://www.taobao.com/ 淘寶網排位約在alexa 15名上下 2006 時淘寶網所需空間容量約為200TB ,平均都是20K bytes 左右圖片檔大量小檔案對於多機共用的 Cluster Storage Disk I/O會是不小挑戰再加上每年2~3 倍在成長... 原有的頂級Netapp 也無法兼具系統效能與成長性. (像"有名"當初買了Sun StorageTek ...其實整體規劃不是好架構) 因此Taobao 便自行研發Cluster Storage system 名為:TFS (Taobao File System) 同類型opensources 專案還有 hdfs http://hadoop.apache.org/hdfs/ 分散式儲存架構等於將DATA 用普通Server 多台分散存放 Taobao 目前約有600台一般 x86 Server .1800TB 空間並沒有額外買昂貴Storage Server做主力儲存 TFS file block 在別台Server 都有多一份備份本身不太依賴Raid做安全備份我是有點懷疑這樣佔用空間會怎樣..2倍? TFS 原理請看link 不過 Sources code近期會公開..到時就可更瞭解其架構參考資料 1.http://doulexiang.com/redirect.php?tid=220&goto=lastpost&sid=P7T37S 2. Taobao CDN 架構 http://storage.it168.com/a2010/0829/1096/000001096374.shtml ※ 編輯: laptop 來自: 219.91.90.240 (09/08 12:34)