PTT數位生活區 / Linux

Re: [請益] Build code server的選擇？

看板Linux作者 (醉臥美人膝，醒掌天下權)時間14年前 (2011/10/29 22:12), 編輯推噓0(0推 0噓 73→)
留言73則, 5人參與, 最新討論串2/3 (看更多)
: 推 bitlife:主要跑編譯的話,就核心數多,RAM大,HD快. 後兩者還比較重要 10/29 10:37 : → bitlife:你要最佳化效率,從後兩者著手還比較有用. 前陣子不少VPS是 10/29 10:38 : → bitlife:用 atom 當 Server (省電優勢,大多數時間 loading 不高) 10/29 10:38 : → bitlife:Server又不跑3D圖形處理, 真的還是 RAM, HD速度為主. 10/29 10:39 : → comicsiew:最近公司都給我們一人一台core i7 用來build android系 10/29 10:54 : → comicsiew:統來了兩批電腦第一批是舊製程core i7 配24G ram 第二批 10/29 10:55 : → comicsiew:第二批是新製程core i7 配8G ram 第二批build的比較快 10/29 10:55 : → comicsiew:硬碟和ram 到達一定程度 應該還是CPU速度會有影響 10/29 10:56 : → comicsiew:不過你們用的人太多ram 應該要多一點 10/29 10:58 : 推 griffenchen:人多硬碟影響很大，建議你看是要用raid或是把大家打散 10/29 11:18 : → griffenchen:在不同硬碟上，要不然一推人編譯時，光是object files 10/29 11:20 : → griffenchen:寫入硬碟，就夠拖慢你速度了 10/29 11:21 : → bitlife:c大的case確實RAM已超過臨界點(連當cache都不完)時,再多不 10/29 13:55 : → bitlife:有差異. 如果預算無限,當然CPU,RAM,HD都加最頂級.如果有限 10/29 13:56 : → bitlife:時,RAM數量和HD速度考量是優先於CPU的. 10/29 13:56 : → comicsiew:公司也有曾經準備一台2x萬的server 來給我們build code 10/29 14:55 : → comicsiew:當時規劃3~4人用一台該server 是2顆cpu各8核16緒兩顆硬 10/29 14:57 : → comicsiew:碟組的raid 0 試用只要有兩個人同時build code 其實就不 10/29 14:57 : → comicsiew:敵 個人用core i7的個人電腦 10/29 14:59 : → comicsiew:所以server 後來還不如一人配一個電腦 10/29 15:01 : → bitlife:如果只用 raid 0 不用 RAM disk 做中間檔暫存, raid 0還是 10/29 16:01 : → bitlife:瓶頸. 寫入時一次要寫兩顆. 反正朝build的特性去思考,一切 10/29 16:02 : → bitlife:能在RAM完成是最好.儘量減少HD I/O瓶頸. 10/29 16:03 首先感謝以上幾位前輩的意見， 稍微總結一下，在預算有限(無限的話就直接call Dell/HP/IBM了囧)的情況下， 若是在CPU/RAM/HD之間要做取捨，後兩者的重要性會高於CPU之上對吧？ 我把我完整的配備列一下好了： (其實在這po這個好像有點怪怪的，阿不過電蝦版那邊都在討論拿來打電動看影片用的0rz) [AMD版] CPU: X6-1100T(3.3 GHz) MB: ASUS M-5A88M RAM: A-DATA DDR3 4G X4 SSD: Micron M4 64GB(掛根目錄和swap) HD: Hitachi 7K3000 2TB X4(掛家目錄，用softraid跑raid5) [Intel版] CPU: i7-960(3.2G, 4C/8T) MB: ASROCK X58 Extreme3 RAM: A-DATA DDR3 4G X6 SSD: 同上 HD: 7K3000 2TB X2(做RAID1) 上面列出來的最大的差別大概就在記憶體和硬碟吧囧 因為照各位前輩的說法，CPU姑且不論，RAM和HD比較容易會是瓶頸。 偏偏一般家用市場能上超過四隻RAM的目前我只看到X58晶片組的囧 可是如果採用Intel的方案的話，那買硬碟的錢就不夠了，只能跑RAID1而已XDDD 另外我想再請教一下，在linux上(目前預計是跑ubuntu 10.04)做softraid會不妥嗎？ 當然我知道效能不可能跟真正的硬體raid相比，但會不會比較不安全容易炸掉這樣XD 另外除了使用者的家目錄會掛在普通的HD上以外， 整個根目錄和SWAP我都打算放在SSD想說應該會快一點， 但不知道這樣的配置妥當與否？還是說SSD需要換大一點容量的呢？ 再次感謝大家的意見，因為預計是下禮拜就得去把東西買齊了， 不然會計那邊會來不及報帳.........XD -- 其實我也知道真正的server應該還是要讓專業的來啦， 阿不過新單位人數不夠能分的預算還很有限就只好將就一下了XD 還請各位多多提供一下意見，感激不盡阿0rz -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 122.116.40.101
→
10/29 22:32, , 1F
其實把買SSD錢省下來去把ram插滿會比較快
10/29 22:32, 1F
→
10/29 22:35, , 2F
我更正一下上面的推文,raid0的讀寫效率是比單一hd好的.
10/29 22:35, 2F
→
10/29 22:35, , 3F
當時回推文的時候腦袋跳針了.
10/29 22:35, 3F
→
10/29 22:36, , 4F
comicsiew大提到的問題,應該是 人數/HD效率 比的問題.
10/29 22:36, 4F
→
10/29 22:37, , 5F
access speed Ram:60ns HDD:5ms SSD:100-500us
10/29 22:37, 5F
→
10/29 22:37, , 6F
raid0快2倍,但人數超過2倍,不會比單人使用機快.
10/29 22:37, 6F
→
10/29 22:37, , 7F
RAM已經都是插滿了，AMD平台較少是因為插槽只有四根囧
10/29 22:37, 7F
→
10/29 22:39, , 8F
最理想的架構是SSD再用大量的RAM做read cache,一部分RAM
10/29 22:39, 8F
→
10/29 22:40, , 9F
做中間檔(compiler視設計,可能會產生不少中間檔)的存放,
10/29 22:40, 9F
→
10/29 22:40, , 10F
就效率會增加.
10/29 22:40, 10F
→
10/29 22:46, , 11F
至於soft raid,我目前用raid 1,還沒遇到麻煩.
10/29 22:46, 11F
→
10/29 23:17, , 12F
那可以再請教一下，通常那些中間檔會放哪呢@@
10/29 23:17, 12F
→
10/30 00:35, , 13F
/tmp
10/30 00:35, 13F
→
10/30 01:17, , 14F
感謝樓上的提點..那有辦法觀察build code時，
10/30 01:17, 14F
→
10/30 01:17, , 15F
tmp會長多大嗎XD
10/30 01:17, 15F
→
10/30 09:21, , 16F
或許試看看 watch du -s /tmp
10/30 09:21, 16F
→
10/30 09:25, , 17F
tmp沒增加也不代表沒中間檔,古代RAM超小,中間檔一定放儲存
10/30 09:25, 17F
→
10/30 09:26, , 18F
設備,現代RAM大,有些中間檔就直接一直在RAM裏. /tmp 也是
10/30 09:26, 18F
→
10/30 09:26, , 19F
用 RAM 做的. 反正都是 RAM
10/30 09:26, 19F
→
10/30 09:27, , 20F
還有看 make file 怎麼寫, 是不是一定先產生 .o .a 之類的
10/30 09:27, 20F
→
10/30 09:28, , 21F
如果是,那就一定得把 .o .a 寫入檔妹系統, 或許 make file
10/30 09:28, 21F
→
10/30 09:28, , 22F
可以考慮把中間需要,最後不需要的檔寫入 /tmp
10/30 09:28, 22F
→
10/30 09:28, , 23F
上面所謂 make file 是以 C/C++ 做例子
10/30 09:28, 23F
→
10/30 10:30, , 24F
感謝b大的指點，我會在去研究一下我們的make file XD
10/30 10:30, 24F
→
10/30 11:08, , 25F
如果真這麼做,開機第一次build會變rebuild all.如果無法忍
10/30 11:08, 25F
→
10/30 11:08, , 26F
受,可能要shutdown前,把/tmp中的.o .a之類的 backup 到
10/30 11:08, 26F
→
10/30 11:08, , 27F
HD,然後開機後copy回去.
10/30 11:08, 27F
→
10/30 11:49, , 28F
完全不要用 softraid, 免得出問題...
10/30 11:49, 28F
→
10/30 11:52, , 29F
/tmp 可以用 tmpfs 掛載, 不要用預設的 hdd
10/30 11:52, 29F
→
10/30 11:55, , 30F
linux一般建議用softraid,不要用hw raid, 後者優勢是效率
10/30 11:55, 30F
→
10/30 11:56, , 31F
但前者彈性大,且也相當穩定可靠.我用raid 1前有綜合過外國
10/30 11:56, 31F
→
10/30 11:57, , 32F
各大討論區的使用心得,hw raid掛卡的也不少.又被綁硬體.
10/30 11:57, 32F
→
10/30 12:08, , 33F
還是一樣,不建議用softraid,kernel改很快..
10/30 12:08, 33F
→
10/30 12:09, , 34F
hw raid 當然也會掛卡,世上有不會死的硬體嗎?
10/30 12:09, 34F
→
10/30 12:15, , 35F
重點是hw改朝換代/公司消失更快啊, 將來也很麻煩.
10/30 12:15, 35F
→
10/30 12:17, , 36F
linux舊版自己就能保存,資料只要raid還能recover就有救.
10/30 12:17, 36F
→
10/30 12:18, , 37F
掛卡發現廠商已消失,(或onboard,主板已停產)就欲器無淚了.
10/30 12:18, 37F
→
10/30 12:18, , 38F
欲哭無淚
10/30 12:18, 38F
→
10/30 12:20, , 39F
如果是大公司,買IBM/Oracle提供的total solution,長期維護
10/30 12:20, 39F
→
10/30 12:21, , 40F
那hw raid絕對首選. 用linux的窮光蛋如我,小心買得起的hw
10/30 12:21, 40F
→
10/30 12:21, , 41F
廠商死得比LTS版還早.
10/30 12:21, 41F
→
10/30 12:34, , 42F
你沒預算是你的問題, 況且合格的 hw raid 也沒你想像的貴
10/30 12:34, 42F
→
10/30 12:34, , 43F
腦補一堆廠商會死有何意義?
10/30 12:34, 43F
→
10/30 12:35, , 44F
資料要有救還要加上filesystem 選對的大前提,不然也白搭
10/30 12:35, 44F
→
10/30 12:40, , 45F
阿..樓上的前輩別激動，不過小弟的預算真的有限，
10/30 12:40, 45F
→
10/30 12:40, , 46F
還是感謝您的建議，我會再評估一下看看的XD
10/30 12:40, 46F
→
10/30 12:54, , 47F
保險就不要用 SSD..
10/30 12:54, 47F
→
10/30 13:35, , 48F
d先生，你客氣點，你用RAID不就腦補HD會死？
10/30 13:35, 48F
→
10/30 13:36, , 49F
本來用RAID就是避免single point of failure，你連這個都
10/30 13:36, 49F
→
10/30 13:36, , 50F
都搞不清楚，在這裏嗆人做什麼?
10/30 13:36, 50F
→
10/30 13:36, , 51F
廠商倒，就是single point of failure的因素
10/30 13:36, 51F
→
10/30 13:38, , 52F
每個人提各人觀點，針對意見不同討論就好，講什麼腦補?
10/30 13:38, 52F
→
10/30 13:41, , 53F
懶的跟你講那麼多...用 hw raid 就一定比 LTS support 爛?
10/30 13:41, 53F
→
10/30 13:42, , 54F
我看你連為什麼要用RAID都搞不清楚，我也懶得跟你講那麼多
10/30 13:42, 54F
→
10/30 13:42, , 55F
你才搞不懂啥 single point of failure, kernel 常改你懂?
10/30 13:42, 55F
→
10/30 13:42, , 56F
我以前專搞fault torerlant，SPOF是自然反應.不懂就再回去
10/30 13:42, 56F
→
10/30 13:42, , 57F
況且kernel一改,多數人只會 upgrade,有多少人會去看source
10/30 13:42, 57F
→
10/30 13:43, , 58F
讀一點書
10/30 13:43, 58F
→
10/30 13:43, , 59F
你要不要先把字拼對再來講
10/30 13:43, 59F
→
10/30 13:43, , 60F
你用語尊重別人，我也尊重你，你若嗆人，我也不客氣
10/30 13:43, 60F
→
10/30 13:43, , 61F
變成挑打字錯誤啦？
10/30 13:43, 61F
→
10/30 13:44, , 62F
我不認同你用softraid 就沒問題,實際上有不少問題
10/30 13:44, 62F
→
10/30 13:45, , 63F
你講的問題，人家他們用production system，都會注意。
10/30 13:45, 63F
→
10/30 13:46, , 64F
我Ubuntu 10.04 LTS升級僅做官方建議updates,kernel也昇了
10/30 13:46, 64F
→
10/30 13:46, , 65F
不知幾次，我就跟你講沒出過問題。
10/30 13:46, 65F
→
10/30 13:47, , 66F
我表達到這裏，懶得浪費時，原po自行參考，不好意思污染你
10/30 13:47, 66F
→
10/30 13:47, , 67F
的文章。
10/30 13:47, 67F
→
10/30 13:49, , 68F
你講的是你的情況,實際上就真的 softraid 有不少問題..
10/30 13:49, 68F
→
10/30 13:50, , 69F
你也一樣，我就說過，國外討論區也一樣一堆抱怨raid控制器
10/30 13:50, 69F
→
10/30 13:50, , 70F
掛掉，要比有人出問題，誰也沒少過。
10/30 13:50, 70F
→
10/30 13:52, , 71F
還有建議用貴貴最高檔貨，然後有人嗆RAID的I就是不貴，幹
10/30 13:52, 71F
→
10/30 13:52, , 72F
嘛反其道而行?
10/30 13:52, 72F
→
10/30 14:04, , 73F
要用softraid 只有一個情況, 請確定不要不正常斷電..
10/30 14:04, 73F
‣ 更多 RouterHsieh 的文章
文章代碼(AID): #1Eh0daMj (Linux)
討論串 (同標題文章)
本文引述了以下文章的的內容：
以下文章回應了本文：
完整討論串 (本文為第 2 之 3 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共3篇)
Linux 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 RouterHsieh 的文章
文章代碼(AID): #1Eh0daMj (Linux)