[開箱] 打造高階工作站(5)-24x金士頓8GB ECC REG
目錄： 文章代碼(AID)
[閒聊] 打造高階工作站(1)-計畫 #1GAK0qnE (PC_Shopping)
[開箱] 打造高階工作站(2)-EE-ATX機殼 #1GBL9YOk (PC_Shopping)
[開箱] 打造高階工作站(3)-CPUx2 DIMMx24 主機板 #1GOrrXS6 (PC_Shopping)
[開箱] 打造高階工作站(4)-Xeon E5-2650 * 2 #1Hu0zJMG (PC_Shopping)
[開箱] 打造高階工作站(5)-24x金士頓8GB ECC REG 本篇
____________________________________________________________________________
Blog網頁版：http://hotdogee.blogspot.tw/2013/07/5-196gb-ddr3-ecc-reg.html
前言
本系列第五篇的主角是24條金士頓 8GB DDR3-1333MHz CL9 Dual-Rank ECC Registered
DIMM[http://goo.gl/SMf4Y (pdf)]，型號是KVR1333D3D4R9S/8G：
http://goo.gl/5ZZwV (圖)
平常買消費型電腦的記憶體模組大概只會看到"金士頓 8GB DDR3-1333MHz CL9"為止，
所以我在這邊先簡單介紹一下CL9之後那一串字("Dual-Rank ECC Registered")的意思
與其在選購本工作站的記憶體模組時的重要性：
‧Dual-Rank：選購一般記憶體模組時其實不會去在意它的Rank數，但是在選用這部
工作站的記憶體模組時，這卻是很重要的規格，因為如果錯買成Quad-Rank的
8GB記憶體(如金士頓的KVR1333D3Q8R9S/8G[http://goo.gl/pA1Nw (pdf)]，
型號只差兩個字)，我就只能插16條128GB，而不能插到24條192G。
Intel Xeon E5-2650[http://goo.gl/a2dJE]跟消費型LGA2011 CPU一樣都是四通道
的CPU，而因為每個記憶體通道只能支援8個Rank，四通道的CPU就可以支援32個Rank
，兩個CPU總共是64個Rank，所以如果用了Quad-Rank的記憶體(Quad=4)，每個CPU
最多就只能插32/4=8條記憶體模組，兩個CPU就可以插64/4=16條記憶體模組。
Supermicro X9DRi-LN4F+[http://goo.gl/x7VEz]這塊主機板每個通道都有3條DIMM
插槽，所以如果每個通道要插三條記憶體就必須要用Dual-Rank(Dual=2)的記憶體
模組。附帶一提，同樣是8GB的記憶體模組，Quad-Rank模組都會比Dual-Rank模組
來的便宜，是因為製造Quad-Rank記憶體模組所需的DRAM記憶體顆粒成本比較低。
[1] http://goo.gl/QH0Xo
[2] http://goo.gl/fcPXd
‧ECC：一般的記憶體模組上面會看到8的整數倍個DRAM記憶體顆粒，一次存取都是64-bit
的資料；但是在ECC記憶體模組上會看到9的整數倍個DRAM記憶體顆粒，一次存取都
是72-bit的資料，多出來的8-bit是用來儲存偵錯碼[http://goo.gl/U115H]
，記憶體控制器可以用偵錯碼修正64-bit資料裡面發生的所有1-bit的錯誤，
偵測所有2-bit的錯誤與部份3-bit的錯誤。Google於2009年發表的一篇
論文[http://goo.gl/xxhHM]裡提到，他們用兩年半的時間在實際的機房內量測到
的記憶體錯誤率約為2.5~7x10^-11 error/bit·h，以這台工作站的196GB記憶體
來說，每小時會發生40~110次錯誤；若拿一般電腦8GB記憶體來看，每小時會
發生1.6~4.5次錯誤。最後從價格上來看，因為相同容量下ECC記憶體模組要用到
更多DRAM記憶體顆粒所以成本會比較高。
[3] http://goo.gl/7S45g
[4] http://goo.gl/dF2Yy
‧Registered：從外觀上來看Registered記憶體模組上面會多一至數顆外觀與其他DRAM
記憶體顆粒長的不一樣的Register晶片，這顆晶片放在記憶體控制器與DRAM晶片
兩者之間，用來降低記憶體控制器的線路負載。一般沒有Register的記憶體模組
稱為Unbuffered Memory，此時記憶體控制器的RAS, CAS與其他控制線路是直接連
到每一顆DRAM晶片上，如果一個模組有18顆DRAM晶片，光4個模組就有72顆晶片需
要與記憶體控制器相連，連上來的晶片數量越多，負載越大，大過一個程度就會
造成電子訊號不穩，這是一個物理限制。所以解決的辦法就是在模組上多放一個
中間人(Register)，如此CPU上的記憶體控制器就等於只要跟每個模組上的這個
晶片溝通，不需要直接對每個DRAM晶片下指令。當CPU下記憶體存取指令時會先送
到Register，再由Register把指令傳給模組上的DRAM晶片，如此大幅降低線路負載
，增加穩定性，而間接增加可控制的記憶體容量上限。實際上來看，
Supermicro X9DRi-LN4F+[http://goo.gl/bDZSF]這塊主機板如果用Unbuffered模組
，只能支援到128GB的記憶體上限；採用Registered模組則可以支援到768GB的
記憶體上限。
[5] http://goo.gl/szAXp
[6] http://goo.gl/wn1lY
外盒
難得一次入手24條盒裝金士頓高階記憶體，不免俗地要來個疊疊樂，這是左側面：
http://goo.gl/tTDXS (圖)
這是上面：
http://goo.gl/6ru2W (圖)
這是右側面：
http://goo.gl/pe6jR (圖)
還可以排成一面金士頓記憶體牆：
http://goo.gl/Hk56M (圖)
這兩位是賣記憶體的(誤)：
http://goo.gl/oODAl (圖)
盒子正面：
http://goo.gl/VVHZ5 (圖)
盒上左下角標籤寫了：
商品名稱：遠東金士頓記憶體模組
商品型號：KVR1333D3D4R9S/8G
功能規格：8GB DDR3 1333 伺服器 1支裝記憶體裝置
產地：台灣
額定電壓：1.5V
http://goo.gl/CDp7T (圖)
盒子背面：
http://goo.gl/PpY0V (圖)
開箱
準備割開原廠封條：
http://goo.gl/PIAdi (圖)
把盒裡的塑膠盒拉出來：
http://goo.gl/LwWTB (圖)
塑膠盒背封條上的警告標誌：
http://goo.gl/0Zrc0 (圖)
把盒子翻過來：
http://goo.gl/gmRx4 (圖)
盒子正面封條印有本模組的型號、規格及產地：
http://goo.gl/vvC2r (圖)
封條側面的二維條碼：
http://goo.gl/8BtoZ (圖)
把24支內盒都拿出來排隊：
http://goo.gl/dQaKG (圖)
http://goo.gl/6v41L (圖)
24個記憶體內盒疊疊樂：
http://goo.gl/fdMZW (圖)
割開內盒封條，打開上蓋可以見到記憶體模組本體，正面有18個DRAM晶片與
1個Register晶片：
http://goo.gl/6KDyf (圖)
記憶體模組背面有18個DRAM晶片：
http://goo.gl/cvrJa (圖)
記憶體模組上的貼紙：
http://goo.gl/k0n6T (圖)
貼紙左邊的防偽圖樣：
http://goo.gl/Pu0nX (圖)
換個視角可以發現上面Kingston標誌是用變色油墨印的，也發現原本看似白色
的紙張上也印有微小的字：
http://goo.gl/TWe4O (圖)
每個模組上共有36顆Elpida J2104ECSE-DJ-F，日本爾必達[http://goo.gl/XvKYn]
去年(2012)破產被美光收購了，這是一顆512M x 4-bit的DRAM晶片，
代表每一顆有512M個可獨立定址的空間，每個空間大小是4-bit，所以一次
輸出72-bit就要72/4=18顆晶片，所以1個Rank就是18顆，而Dual-Rank就是36顆：
http://goo.gl/HoMAZ (圖)
每個模組上只有一顆Inphi INSSTE32882LV-GS02[http://goo.gl/VrmNQ]
負責前言所述Register的功能：
http://goo.gl/n7at4 (圖)
模組銅接腳：
http://goo.gl/qRlcz (圖)
http://goo.gl/p0luN (圖)
24條金士頓KVR1333D3Q8R9S/8G[http://goo.gl/pA1Nw (pdf)]模組疊疊樂：
http://goo.gl/E9hcZ (圖)
模組疊疊樂斜面照：
http://goo.gl/bSj0y (圖)
模組正面照：
http://goo.gl/CYscw (圖)
當初趁記憶體便宜的時候1支是2500元含稅，這一疊是6萬：
http://goo.gl/faOeo (圖)
開完箱留下的空盒疊疊樂：
http://goo.gl/AQdzb (圖)
安裝
上篇[http://goo.gl/a2dJE]已裝好兩顆CPU加兩個風扇，這篇就繼續安裝記憶體：
http://goo.gl/RUy8n (圖)
跟安裝一般DDR3記憶體一模一樣，先把兩邊白色卡榫打開，看好防呆方向，
兩邊平均施力下壓就完成第一條記憶體的安裝：
http://goo.gl/Y1KPC (圖)
還剩下23條要插：
http://goo.gl/CrHJn (圖)
過了5分鐘就裝好了：
http://goo.gl/vbB7c (圖)
24支記憶體模組安裝完成：
http://goo.gl/jW8Qu (圖)
CPU跟記憶體都裝好後就可以來安裝機殼附的導流罩，再裝上去前要先根據記憶體
安裝的數量做調整：
http://goo.gl/N1sGw (圖)
先拆下上方的壓克力片：
http://goo.gl/nj4u6 (圖)
將左下方的壓克力板向外移到最後一格：
http://goo.gl/YrmBX (圖)
右下方也一樣向外移到最後一格：
http://goo.gl/2exUc (圖)
根據24條記憶體而調整完成的導流罩：
http://goo.gl/db8kF (圖)
裝上導流罩，跟記憶體完全接合，有效利用前後各兩個機殼風扇幫助
CPU與記憶體的散熱：
http://goo.gl/W46BM (圖)
測試
裝完Win7後進到"系統"，確認有192GB的記憶體：
http://goo.gl/Yzehv (圖)
不過跑Windows體驗指數的時候卻遇到了問題，無法跑完：
http://goo.gl/wrAZP (圖)
錯誤訊息顯示"無法測量系統記憶體效能"：
http://goo.gl/0Blh1 (圖)
Google後發現這個bug只會出現在CPU的L3快取大於16MB時，目前(20130715)桌上型
CPU最強的i7-3970X也只有15MB，所以一般不會遇到這個問題，不過Intel 8核心的
CPU的L3快取就有20MB，超過16MB，所幸只要下載安裝這個Hotfix[http://goo.gl/bSmKQ]
就可以解決了：
http://goo.gl/pCgYA (圖)
跑完Windows體驗指數的結果：
http://goo.gl/0lJT5 (圖)
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.29.6
推
07/16 00:40, , 1F
07/16 00:40, 1F
推
07/16 00:44, , 2F
07/16 00:44, 2F
推
07/16 00:45, , 3F
07/16 00:45, 3F
推
07/16 00:49, , 4F
07/16 00:49, 4F
推
07/16 00:53, , 5F
07/16 00:53, 5F
→
07/16 00:53, , 6F
07/16 00:53, 6F
推
07/16 00:56, , 7F
07/16 00:56, 7F
推
07/16 00:57, , 8F
07/16 00:57, 8F
推
07/16 00:59, , 9F
07/16 00:59, 9F
已修正,感謝~
推
07/16 01:02, , 10F
07/16 01:02, 10F
推
07/16 01:05, , 11F
07/16 01:05, 11F
→
07/16 01:05, , 12F
07/16 01:05, 12F
推
07/16 01:05, , 13F
07/16 01:05, 13F
※ 編輯: hotdogee 來自: 140.112.29.6 (07/16 01:11)
推
07/16 01:12, , 14F
07/16 01:12, 14F
推
07/16 01:18, , 15F
07/16 01:18, 15F
推
07/16 01:58, , 16F
07/16 01:58, 16F
大量記憶體主要是要跑次世代基因定序(NGS)的組裝，本系列首篇有說明用途
推
07/16 02:02, , 17F
07/16 02:02, 17F
→
07/16 02:03, , 18F
07/16 02:03, 18F
推
07/16 02:10, , 19F
07/16 02:10, 19F
單核心的效能似乎佔很重
→
07/16 02:28, , 20F
07/16 02:28, 20F
推
07/16 02:29, , 21F
07/16 02:29, 21F
推
07/16 02:32, , 22F
07/16 02:32, 22F
因為裡面裝了還算不錯的顯卡，計畫是下篇的開箱主角XD
→
07/16 02:40, , 23F
07/16 02:40, 23F
推
07/16 02:55, , 24F
07/16 02:55, 24F
→
07/16 02:55, , 25F
07/16 02:55, 25F
※ 編輯: hotdogee 來自: 140.112.29.6 (07/16 03:06)
推
07/16 03:17, , 26F
07/16 03:17, 26F
推
07/16 03:49, , 27F
07/16 03:49, 27F
推
07/16 06:58, , 28F
07/16 06:58, 28F
推
07/16 06:59, , 29F
07/16 06:59, 29F
推
07/16 07:10, , 30F
07/16 07:10, 30F
推
07/16 08:35, , 31F
07/16 08:35, 31F
推
07/16 08:44, , 32F
07/16 08:44, 32F
→
07/16 08:44, , 33F
07/16 08:44, 33F
→
07/16 08:45, , 34F
07/16 08:45, 34F
推
07/16 08:55, , 35F
07/16 08:55, 35F
推
07/16 09:06, , 36F
07/16 09:06, 36F
推
07/16 09:54, , 37F
07/16 09:54, 37F
→
07/16 09:56, , 38F
07/16 09:56, 38F
→
07/16 10:35, , 39F
07/16 10:35, 39F
推
07/16 10:45, , 40F
07/16 10:45, 40F
推
07/16 11:48, , 41F
07/16 11:48, 41F
推
07/16 11:56, , 42F
07/16 11:56, 42F
→
07/16 11:58, , 43F
07/16 11:58, 43F
推
07/16 12:29, , 44F
07/16 12:29, 44F
推
07/16 12:36, , 45F
07/16 12:36, 45F
推
07/16 12:41, , 46F
07/16 12:41, 46F
推
07/16 12:43, , 47F
07/16 12:43, 47F
推
07/16 12:45, , 48F
07/16 12:45, 48F
推
07/16 14:46, , 49F
07/16 14:46, 49F
推
07/16 15:15, , 50F
07/16 15:15, 50F
推
07/16 15:55, , 51F
07/16 15:55, 51F
推
07/16 17:31, , 52F
07/16 17:31, 52F
推
07/16 20:05, , 53F
07/16 20:05, 53F
推
07/16 21:42, , 54F
07/16 21:42, 54F
推
07/17 00:29, , 55F
07/17 00:29, 55F
→
07/17 01:40, , 56F
07/17 01:40, 56F
推
07/17 02:41, , 57F
07/17 02:41, 57F
推
07/18 12:19, , 58F
07/18 12:19, 58F
→
07/18 13:08, , 59F
07/18 13:08, 59F
→
07/18 13:08, , 60F
07/18 13:08, 60F
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 3 篇)：