[心得] PCIe Maximum Payload Size與SSD效能問題

看板Storage_Zone (儲存裝置)作者 (yuu)時間2年前 (2021/06/28 21:33), 2年前編輯推噓16(16037)
留言53則, 10人參與, 2年前最新討論串1/1
網頁好讀版 https://www.ptt.cc/bbs/Storage_Zone/M.1624887210.A.021.html PTT的標題長度不夠。 老實說我原本想下的題目應該是以下這串。 淺談PCIe Maximun Payload Size大小與SSD效能之間的問題 暨ASUS TUF GAMING X570-PLUS (WIFI)實測與回溯研究 因為整篇廢文很多,所以把一點也不懶人的懶人包直接寫在最前面。               不是摘要 本文研究目的僅在證實PCIe Maximum Payload Size(MPS)對SSD效能之影響, 當系統處於MPS於較低的128 bytes時,會導致SSD的寫入及讀取速度,較256 bytes時有所不足。 就測試結果來看,WD SN750 於MPS: 128 bytes時似乎有天花板限制。 參照網路上其他人的測試,例如PCIe 4.0的SN850或980PRO也有相同的狀況。 深入研究後,發現是由於主機板晶片組所提供之PCIe Maxmium Payload Size 雖然支援到512 bytes,但接在主機板晶片組後方的設備大多為256 bytes, 少部份僅支援128 bytes。 由於主機板晶片組的Maxmium Payload Size協定,會以所有接在晶片組後方的 設備中最低的MPS值為準。故在使用ASUS TUF GAMINMG X570-PLUS (WIFI)這張 主機板時,在一般正常狀態下。 所有接在晶片組後方的裝置,僅能運作於128 bytes。 會導致此問題,是由於主機板上的LAN及WIFI&藍芽裝置,僅支援PCIe Max Payl oad Size: 128 bytes。故若於BIOS內將LAN, WIFI, Bluetooth之功能關閉之後 。所有接在主機板後方的裝置,皆可運作於PCIe Maxmium Payload Size: 256 bytes。 且由於各家SSD廠商及主控對於PCIe Maximum Payload Size的支援度不同, 各家主機板廠商也從未於產品規格內,說明產品於主機板晶片組的PCIe Maxi mum Payload Size的值,導致有些消費者購入SSD後效能無法完整發揮。 是故在此拋磚引玉,希望有空能幫忙做測試的熱心鄉民,一起來統計各家產品 的MPS值,以供消費者購入時的參考。 好了寫完了又臭又長的summry之後感覺就開始有點懶了, 所以下面的正文我就隨便打了。 https://i.imgur.com/bmaB9jR.png
一、引言與研究背景 之所以會發現這個不知道該說是Issue還是Problem的東西, 是因為這篇Reddit鄉民的文章: Fixed Maximum Payload Size. Now I don't have internet.[1] https://www.reddit.com/r/AverMedia/comments/hoq07g/fixed_maximum_payload_size_now_i_dont_have/ 縮網址 https://tinyurl.com/3jb3nzww 拿MPS隨便咕狗之後發現一篇更勁爆的: SN850 1TB NVME - slow write speeds (3100) on x570 using M2 Chipset slots (PCH) - confirmed as a problem on MSI, ASRock, Gigabyte and Asus motherboards [4] https://community.wd.com/t/sn850-1tb-nvme-slow-write-speeds-3100-on-x570-using-m2-chipset-slots-pch-confirmed-as-a-problem-on-msi-asrock-gigabyte-and-asus-motherboards/265038 縮網址 https://tinyurl.com/mwprpdah 整串看完無意識喊出一聲:晚了! 我不好容易存了一筆錢,買了SN850。 我還得把LAN關掉、還得連WIFI關掉、還得看他喵MPS的臉色。 那我不成了跪著要飯的嗎? https://i.imgur.com/6el2X6b.png
你要這麼說,買SSD測分數,還真就是跪著要飯的。 就這,多少人想跑3100以上還沒這個門子呢。 速度嘛,跑分,插直通! 不過網路文章畢竟是網路文章。 而消費級的直通通道真他喵少, 所以看起來只能驗證一下MPS與SSD效能之間的關系了。 口說無憑,就實際來開測吧。 二、PCIe Maxmium Payload Size 首先去下載HWiNFO64,來查看裝置的Maxmium Payload Size數值。 網站在此:https://www.hwinfo.com/download/ 按Run進去之後,在Bus欄位可以找到主機板的PCIe通道分配與連接方式。 順便附一下AMD X570晶片組的PCIe通道規畫 https://i.imgur.com/P1jttQY.jpg
以本次測試標的,華碩 TUF X570-PLUS (WIFI)來說, 可以看到第一條M.2 是CPU直通通道, 是穩穩的支援PCIe 4.0 x4, 以及Support Maxmium Payload Size: 512 bytes. https://i.imgur.com/5QkEIC5.png
可以看到X570晶片組本身,也支援Maximum Payload Size: 512 bytes. https://i.imgur.com/9aX7GU9.png
註:因為Maxmium Payload Size(MPS)打起來實在是有點長, 所以本文以後的段落皆使用縮寫MPS。 只是因為插在M.1_1上頭的,是有點年紀的Plextor M9PEG。 僅支援128bytes,所以只能跑MPS: 128bytes. https://i.imgur.com/XrIxt7x.png
再接著看接在X570晶片組後方的設備, 首先是也是本文的重點M.2_2, 在HWiNFO 顯示出的PCIe裝置, 是 "AMD 500-Series Chipset - PCIe GPP Bridge" 雖然支援MPS:512 bytes,但不意外地跑MPS: 128bytes。 https://i.imgur.com/G1Aokuv.png
可以看到SN750雖然支援MPS:512 bytes, 但運作模式被限制在128 bytes。 https://i.imgur.com/QFRoVcb.png
由於PCIe的設計原理,是在所有同通道內的裝置, 共用同一組MPS的數值,以最低的裝置為限。 因此所有接在主機板晶片組,以此例是接在X570後方的裝置, 其MPS值以連接裝置中最低的值為主。 所以就來找找所有接在X570後方的裝置,哪些是128bytes的。 可以看到與無線網卡連接的PCIe通道,是支援MPS: 256 bytes的。 https://i.imgur.com/DyKjjyB.png
但Intel AC 9260 僅支援MPS: 128bytes https://i.imgur.com/c1fEoYK.png
有線網卡的狀況也是類似,PCIe通道本身支援MPS: 256bytes. https://i.imgur.com/q9dg6Cx.png
但RTL8168_8111 僅支援MPS: 128bytes. https://i.imgur.com/tHlDLsr.png
X570連接USB3的PCIe通道,也支援MPS: 256bytes, 運作速度被限制在128bytes. https://i.imgur.com/qTj7N3a.png
兩個USB3的控制器都一樣狀態 https://i.imgur.com/hVV1oK6.png
接著來看SATA部份 AMD Internal PCIe GPP Bridge 支援MPS: 512bytes https://i.imgur.com/P9bEbt0.png
AMD FCH SATA AHCI Controller 支援MPS: 256bytes 運作速度被限制在128bytes https://i.imgur.com/lyit6r6.png
另一條AMD Internal PCIe GPP Bridge 的狀態也一樣 AMD Internal PCIe GPP Bridge 支援MPS: 512bytes https://i.imgur.com/Jf2f0vo.png
AMD FCH SATA AHCI Controller 支援MPS: 256bytes 但運作速度被限制在128bytes https://i.imgur.com/wQGO6NZ.png
所以在此可以得到一個結果: 由於LAN:RTL8168_8111 以及 WIFI:Intel AC 9260都僅支援MPS: 128bytes。 所以實驗的變因, 就是將這兩個裝置的功能開啟或關閉。 看看是否能將所有接在X570晶片組後方的裝置, MPS皆恢復成256bytes。 三、實驗結果 進BIOS將LAN、WIFI跟Bluetooh都關閉之後, 馬上可以看到X570晶片組的MPS,運作於256bytes。 https://i.imgur.com/2Uoc7ox.png
證實了Intel的說法[5] 也可以看到SN750終於運作於MPS: 256bytes。 https://i.imgur.com/u8Ay1Uf.png
接著來看USB3的部份, 關閉網卡功能後 AMD USB3 XHCI Controller 運作於MPS: 256bytes。 https://i.imgur.com/K9i1pOL.png
SATA的部份, AMD FCH SATA AHCI Controller 運作於MPS: 256bytes https://i.imgur.com/6Nc6AUr.png
已確認所有接在X570晶片組後方的裝置, 都處於Maximum Payload Size: 256 bytes之後, 來開測CDM快樂表: CDM 8.0.1 SN750 運作於MPS: 256bytes https://i.imgur.com/5WgsoS5.png
作為對比,SN750 1TB CDM 8.0.1 運作於MPS: 128bytes https://i.imgur.com/3i5EaU0.png
四、結論 CDM比較結果 https://i.imgur.com/Yf7sTND.png
可以看到循序讀取終於突破3100的大關,符合WD原廠標示的數值。 無論是大檔還是4K小檔,所有效能皆往上提升。 在去年的測試中,我一直以為是我測試環境不乾淨的關系。 reference: https://www.ptt.cc/bbs/PC_Shopping/M.1601213630.A.A5E.html 沒想到是PCIe Maximum Payload Size的問題。 所以如果要發揮SN750的實力,建議插在CPU直通通道的M.2_1, 跑滿速的MPS: 512bytes。 或是購買接在晶片組後方的裝置,皆是MPS: 256bytes的主機板。 不過我有點懷疑符合這項條件的主機板有多少? 因為主機板廠商沒有任何一家有標示關於MPS的這部份, 另外一點也是本篇文章的遺珠之憾,無法證實在SN850 980PRO 這類效能更高的PCIe 4.0 SSD,是否如文章所說有相同的狀況。 是故在此拋磚引玉, 希望如果有空能幫忙做測試的熱心鄉民,一起來統計各家產品 的MPS值,最好附上SSD的HWiNFO MPS狀態抓圖。 以供廣大消費者購入主機板時的參考。 以上。 參考文獻: 1. Fixed Maximum Payload Size. Now I don't have internet. https://www.reddit.com/r/AverMedia/comments/hoq07g/fixed_maximum_payload_size_now_i_dont_have/ https://tinyurl.com/3jb3nzww 2. Live Gamer 4K (GC573) not Operating at 256 bytes for Max Payload Size https://www.reddit.com/r/AverMedia/comments/g5mmhp/live_gamer_4k_gc573_not_operating_at_256_bytes/ https://tinyurl.com/2usrurem 3. BEWARE: If you have a internal WIFI card it may be limiting your Live Gamer 4K's bandwidth. https://www.reddit.com/r/AverMedia/comments/hop1qq/beware_if_you_have_a_internal_wifi_card_it_may_be/ https://tinyurl.com/8v8tducd 4. SN850 1TB NVME - slow write speeds (3100) on x570 using M2 Chipset slots (PCH) - confirmed as a problem on MSI, ASRock, Gigabyte and Asus motherboards https://community.wd.com/t/sn850-1tb-nvme-slow-write-speeds-3100-on-x570-using-m2-chipset-slots-pch-confirmed-as-a-problem-on-msi-asrock-gigabyte-and-asus-motherboards/265038 https://tinyurl.com/mwprpdah 5. Why does the IP compiler for PCI Express not support Max Payload Size (MPS) up to 4096 bytes as specified in the PCIe Specification? https://www.intel.com/content/www/us/en/programmable/support/support-resources/knowledge-base/solutions/rd08222011_674.html https://tinyurl.com/wzwaamvp -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.80.47 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1624887210.A.021.html ※ 編輯: yuu123 (114.36.80.47 臺灣), 06/28/2021 21:36:31 ※ yuu123:轉錄至看板 PC_Shopping 06/28 21:36

06/28 22:51, 2年前 , 1F
Intel AX200也還是128 bytes
06/28 22:51, 1F

06/28 22:51, 2年前 , 2F
這裝上去 無論是PCH還是FCH 不就難逃被拖累了嗎...
06/28 22:51, 2F

06/28 22:54, 2年前 , 3F
沒錯喔 所以才有這篇文章的產生吶
06/28 22:54, 3F

06/28 22:55, 2年前 , 4F
只要其中一個裝置MPS只吃128bytes
06/28 22:55, 4F

06/28 22:55, 2年前 , 5F
那整串晶片組後面的東西 都只能改跑128bytes 慘~~
06/28 22:55, 5F

06/28 22:57, 2年前 , 6F
呃 但是無線網路卡 目前似乎沒更好的選擇 真的囧了
06/28 22:57, 6F

06/28 23:43, 2年前 , 7F
而且問題是買含有wifi的主版就是為了wifi,要關掉的
06/28 23:43, 7F

06/28 23:44, 2年前 , 8F
的話我幹麻不一開始就買沒wifi的版子...
06/28 23:44, 8F

06/28 23:50, 2年前 , 9F
不過我看了一下,應該還是看廠商的配置,我是用TUF
06/28 23:50, 9F

06/28 23:50, 2年前 , 10F
B550-plus wifi,雖然有ax200,但我的usb3是256Bytes
06/28 23:50, 10F

06/28 23:52, 2年前 , 11F
AMD有的USB是直通CPU的,所以看USB不準
06/28 23:52, 11F

06/28 23:54, 2年前 , 12F
應該說要接在同一個bridge下才會有影響吧?
06/28 23:54, 12F

06/28 23:54, 2年前 , 13F
我這邊看了一下,不同bridge的MPS似乎是分開的y
06/28 23:54, 13F

06/28 23:54, 2年前 , 14F
最準就看AMD 500-Series Chipset Upstream in PCIe
06/28 23:54, 14F

06/28 23:55, 2年前 , 15F
就是你晶片組是跑啥 那接在後面的就都只能跑那樣
06/28 23:55, 15F

06/29 00:03, 2年前 , 16F
至於從CPU直通的像是音效 USB啥的 就各自獨立
06/29 00:03, 16F

06/29 00:10, 2年前 , 17F
效率問題、每個TLP帶24B無效標頭、簡單算一下就知
06/29 00:10, 17F

06/29 00:11, 2年前 , 18F
06/29 00:11, 18F

06/29 00:11, 2年前 , 19F
我看asus把wifi跟sata都塞到了PCI-e x8的bus去
06/29 00:11, 19F

06/29 00:12, 2年前 , 20F
然後M.2有兩個,一個大概也塞到這邊,另一個應該是
06/29 00:12, 20F

06/29 00:12, 2年前 , 21F
下面x16的通道?我還沒買m.2 ssd不確定
06/29 00:12, 21F

06/29 00:25, 2年前 , 22F
原來不同主機板對PCIe切的方式也不太一樣
06/29 00:25, 22F

06/29 00:25, 2年前 , 23F
受教了
06/29 00:25, 23F

06/29 00:41, 2年前 , 24F
我覺得asus這樣蠻合理的,低速就放一起
06/29 00:41, 24F

06/29 00:42, 2年前 , 25F
電蝦那個苦主真的太扯,高低速裝置還弄成雜燴...
06/29 00:42, 25F

06/29 02:01, 2年前 , 26F
推實測
06/29 02:01, 26F

06/29 21:44, 2年前 , 27F
在device manage裡的pci max payload size 00000001
06/29 21:44, 27F

06/29 21:44, 2年前 , 28F
對應是多少啊? 256?
06/29 21:44, 28F

06/29 22:11, 2年前 , 29F
0x00=128, 0x01=256, 0x02=512
06/29 22:11, 29F

06/29 23:07, 2年前 , 30F
轉電蝦推文,Clavius大貼Z490的組態
06/29 23:07, 30F

06/29 23:07, 2年前 , 31F

06/29 23:07, 2年前 , 32F
來比
06/29 23:07, 32F

06/29 23:07, 2年前 , 33F
會發現Intel晶片組能夠把下游通道掛到root bus上,
06/29 23:07, 33F

06/29 23:09, 2年前 , 34F
但AMD是很簡單的階層關係,所以後者的MPS只能從下游
06/29 23:09, 34F

06/29 23:09, 2年前 , 35F
端點中取最大公因數,但C大的Intel Z490,插上AX200
06/29 23:09, 35F

06/29 23:11, 2年前 , 36F
(MPS=128),而980pro(同樣接晶片組)MPS仍然能跑256
06/29 23:11, 36F

06/29 23:16, 2年前 , 37F
AMD的架構中有PCIe switch,Intel則好像能平面化?
06/29 23:16, 37F

06/30 10:05, 2年前 , 38F
那個跟是不是intel無關,單純是主機版廠商對PCI-e
06/30 10:05, 38F

06/30 10:05, 2年前 , 39F
通道的使用方式不同而已,我用b550的晶片組,廠商把
06/30 10:05, 39F

06/30 10:06, 2年前 , 40F
wifi跟sata這種低速的裝置放一起,我的m.2的MPS一樣
06/30 10:06, 40F

06/30 10:06, 2年前 , 41F
不會受限wifi的MPS
06/30 10:06, 41F

06/30 10:10, 2年前 , 42F
intel的優勢應該在chipset能提供的pci-e通道多很多
06/30 10:10, 42F

06/30 10:11, 2年前 , 43F
所以可以看到電蝦c版友的pci-e用的很大方
06/30 10:11, 43F

06/30 10:33, 2年前 , 44F
感謝解惑
06/30 10:33, 44F

06/30 11:59, 2年前 , 45F
我回了一篇比較完整的在電蝦了,可以去看看
06/30 11:59, 45F

06/30 18:33, 2年前 , 46F
to filia,除了x16、m.2_cpu、usb3 hub以外的功能
06/30 18:33, 46F

06/30 18:33, 2年前 , 47F
才是經晶片組的,你的板子也不例外,只是因為擴充少
06/30 18:33, 47F

06/30 18:35, 2年前 , 48F
所以誤認到直連CPU的裝置了~
06/30 18:35, 48F

06/30 19:59, 2年前 , 49F
話說插了AX200 讓整組MPS都變成128 除了SSD有影響
06/30 19:59, 49F

06/30 19:59, 2年前 , 50F
其他組件也會有影響嗎?
06/30 19:59, 50F

06/30 20:01, 2年前 , 51F
06/30 20:01, 51F

07/01 15:02, 2年前 , 52F
這篇impact factor有多少呢?
07/01 15:02, 52F

07/01 15:07, 2年前 , 53F
@lukesky,低速裝置不影響,SSD在意跑分的話才有差
07/01 15:07, 53F
文章代碼(AID): #1WsS-g0X (Storage_Zone)
文章代碼(AID): #1WsS-g0X (Storage_Zone)