[轉載] 回顧AMD Zen微架構和EPYC

看板PC_Shopping作者 (Lovelive!)時間6年前 (2018/02/14 18:29), 5年前編輯推噓50(50025)
留言75則, 49人參與, 6年前最新討論串1/1
https://www.cool3c.com/article/133163 https://www.cool3c.com/article/133165 https://www.cool3c.com/article/133166 2017真的是AMD在x86處理器市場谷底反彈、鹹魚翻身、重返農藥... 呃,榮耀的關鍵一年 ,在Hot Chips議程中也留下了邁向復興之路的足跡,尤其重返高獲利的伺服器市場,更 是重中之重。 ‧2016年:”A New x86 Core Architecture For The Next Generation Of Computing ” ‧揭露「Zen」微架構的技術細節,AMD總算從推土機家族「走音工地秀」的惡夢中醒來 了。 https://media.cool3c.com/files/media/1/1/11_407.jpg
‧2017年:”The Next Generation AMD Enterprise Server Product Architecture” ‧公開「x86處理器發展史上首款多路伺服器導向系統單晶片」EPYC平台架構的概觀,包 含為何基於降低成本的考量,採用多晶片封裝。 https://media.cool3c.com/files/media/1/2/12_354.jpg
相信各位科科早已從近一年來的諸多新聞與媒體評測,對Zen微架構的規格概要、性能表 現、與EPYC成功搶灘大型資料中心客戶等,有了不太模糊的初步印象,反正就事隔多年, AMD終於可以再度跟Intel平起平坐正面互毆就對了,但科科之所以是科科,就是因為科科 總會獨享一般科技文青無從知曉並難以理解的奧義與藏在內幕不為人知的八卦,所以你才 會爬文爬到這裡。 < 從Intel延燒到AMD的路線之爭 > 嗯,查詢LinkedIn,某位處理器業界大老正在nVdia上班。 二十年前,無論Intel和AMD,其x86處理器的發展都擺脫不了兩個爭議環節,甚至引爆公 司內部足以迫使高層下台的政治地雷: ‧64位元x86指令集,最早源自於Intel的「Yamhill」計畫,但後來被AMD後發先至。 ‧追求超高時脈的深度指令管線,與同時多執行緒 (SMT) 架構,Intel Pentium 4「 NetBurst」微架構是第一槍。 早在1994年Intel研發P6微架構的後期,其五位架構設計師中的其中一位,就曾企圖說服 Intel x86架構的技術長、也是後來Intel技術長、現任VMware執行長的Pat Gelsinger, 將64位元x86指令集納入Pentium Pro的後期發展計畫。 但當時Intel正積極的推動全新的64位元VLIW指令集IA-64 (今日已經邊緣化的Itanium處 理器),政治上根本不可能,這套據信其指令編碼擴充方式近似AVX的「Yamhill」(講的更 白一點,AVX根本就是延續Yamhill的遺產),也沒有成為初期NetBurst微架構 (Willamatte、Northwood) 的一部分。 https://media.cool3c.com/files/media/1/3/13_323.jpg
這位架構師後來可能因為奇蒙子不爽,2002年就跳槽到AMD,「參與」幾乎已大勢底定的 x86-64指令集制定工作,躬逢其盛AMD奪取史上最大戰略勝利的那一刻。 接著Intel怎麼玩死出師不利的Itanium,微軟如何逼迫Intel相容AMD x86-64並將其正名 為x64,Intel急急忙忙在90nm製程的Prescott導入「IA-32e (這名稱的確溢出滿滿的心不 甘情不願)」,Intel陸續以「EM64T」和「Intel64」之名,承認其「正統64位元指令集」 地位,最後直到微軟也不玩Itanium,過程中還讓多名有力爭奪Intel執行長大位的高階主 管陸續離職,就無須浪費篇幅贅述了。 聽說最近連nVdia都要停止32位元驅動程式支援了耶,時間過得真快啊。 < Zen = 原始的K10,甚至是K8 > 但有趣的是,這位跳槽到AMD的處理器架構師,因為其提案的處理器微架構企劃案,被AMD 高層否決,大概很不爽吧,2004年又跳回Intel了。 那他理想中的新世代AMD處理器微架構是何種樣貌?答案很簡單,就是現在的EPYC與Ryzen 採用的Zen微架構,深度管線結合同時多執行緒 (SMT),和Intel越來越像。 但AMD高層為何沒選擇他的提案?恐怕是「外來的和尚會念經」,世界上首款雙核心伺服 器處理器IBM Power4「Regatta」的主架構師跑去AMD了,主導了叢集多執行緒 (CMT, Cluster-based Multi-Threading) 的路線。 https://media.cool3c.com/files/media/1/4/14_295.jpg
接著就是如我們所見,「後K8時期」一連串慘烈異常的「工地秀」,玩死了曾經光明萬丈 的Opteron: 2011:Bulldozer (推土機) 2012:Piledriver (打樁機) 2013:Steamroller (壓路機) 2014:Excavator (挖土機) https://media.cool3c.com/files/media/1/5/15_273.jpg
這真是AMD不堪回首的往事啊,但AMD的選擇真的錯了嗎?(阿扁聲) -- 世界上做任何事情都有「成本」,不僅生產製造設備投資,開發產品當然比照辦理,團隊 規模越大、研發時間越長,燒掉的金錢當然更多,所以正常的企業都不可能提供無上限的 研發預算,也會尋求最低成本的產品設計路線,營運成本超級高的x86處理器大廠,當然 不能免俗,而「Time To Market」更是參與市場競爭時,最該念茲在茲的課題。科科們務 必牢記在心。 即使錢多多的Intel,在選擇「後NetBurst時代」的設計方向,也有志一同的挑上「最低 工程開銷 (Least Engineering Cost)」,才讓逆轉戰局的Nehalem走回強化P6的老路。 從這個角度去思考,就不難理解研發資源遠不及Intel的AMD,選擇K8後繼者微架構路線的 背後思路:簡單為上,避開單核心龐大執行單元與同時多執行緒一同帶來的高複雜度與驗 證風險,企圖效法Sun的「Throughput Computing」,利用龐大簡單的高時脈整數運算核 心,去堆積出挑戰Intel「後NetBurst時代」微架構的本錢。 AMD也從2005年開始,高談其叢集多執行緒 (CMT, Cluster-based Multi-Threading) 的 「優越性」,像僅增加50%晶片面積就可提高80%指令輸出率之類的「好康」等等。那時正 是AMD Opteron挾原生雙核與優異效能功耗比之助、品牌氣勢逐漸壓倒Intel Xeon的高峰 ,沒有人膽敢不看好AMD接棒的新處理器核心,也預期不需等待太久,嶄新的Opteron就將 大量進駐企業的資料中心。 但2006年7月AMD宣佈併購ATI,一切都改變了。 https://media.cool3c.com/files/media/2/1/21_133.jpg
< 讓AMD陣腳大亂的「Fusion」> AMD砸下54億美元併購ATI的目的,不外乎推動整合處理器與繪圖晶片的「Fusion」大計 ( 好像台灣某時報的標題特別喜歡用「大計」這兩個字),不僅在2007年公開首款Fusion「 Falcon」,也同時公佈高低檔搭配的兩種核心:「Bulldozer (推土機)」與「Bobcat (山 貓)」,後者還比Intel發表初代Atom「Silverthorne」還早了快一年,以山貓為首的貓科 家族,也構成日後Sony Playstation 4與微軟Xbox One的心臟。 https://media.cool3c.com/files/media/2/2/22_120.jpg
如同二戰的德國和日本般戰線發散、備多力分的AMD從此被加冕「簡報王」的帝位,無論 是預定在2009-2010年問世的首發Fusion (還不是按原計畫的導入推土機核心並優先進入 筆電市場)、首款引進Bulldozer和Bobcat的產品,全部拖延到2011年才上市,早已失去市 場先機,且寄以後望的APU產品線,陷入「CPU不夠快,GPU不夠好」產品定位不上不下的 窘境,而當年在DEC參與Alpha設計團隊、曾擔綱K7總工程師的執行長Dirk Meyer,也在當 年年初黯然下台一鞠躬。 https://media.cool3c.com/files/media/2/3/23_107.jpg
初代高階APU「Llano」出師不利,不但遲至2011年底才解決Global Foundry的產能良率問 題,失去市場先機,造成高達一億美元的庫存損失,讓AMD股價崩跌75%,導致不滿的投資 人集體告上法院,最後AMD賠償2950萬美元才花錢消災。 但隨著Intel的「鐘擺 (Tick Tock)」持續的壓迫,AMD迅速流失支撐其獲利基礎的伺服器 市占率,才是真正的大災難。2007年底,拼死拼活終於趕出來的原生四核的Opteron「 Barcelona」爆發TLB臭蟲事件,就是一個極大的警訊,可是2011年底姍姍來遲兼程救駕的 Bulldozer來不及準時與原先設定的對手Westmere直接交鋒,而被迫正面硬碰每個環節都 高度精鍊後的Sandy Bridge,接著就是一瀉千里般的大潰退,徹底終結了AMD靠著Opteron 賺飽飽的爽日子。 因併購ATI而來的繪圖晶片市場也不好過,2012年3月nVidia兼具優異效能與電力效率的 Kepler核心,意外上演「中駟打垮上駟」的脫線戲碼,一舉讓AMD一蹶不振,在2015年一 度觸底到18%市占率的最低點,至今雖稍有起色,但仍難逆轉頹勢,如果沒有後來的挖礦 狂潮,很難想像AMD還有繼續硬撐下去的本錢。 走音工地秀同場加映急病亂投醫的脫線劇場 生命自己會找出路,但不保證找出的一定是條活路,AMD在「傳統戰場」x86處理器慘遭滑 鐵盧後,從聯想跳槽過來「聽他講話就覺得你碰到賣保險的業務員」的新任執行長領導下 ,就策略轉向開始動ARM的歪腦筋,2014年再度發揮其簡報王本色,公佈了以下重大發揮 AMD「創新的雙重設計能力」的「雙重解決方案」: 一、ARM架構的伺服器處理器,技術細節首度披露於2014年夏天的Hot Chips 26 (終於和 文章標題又扯上關係了),算是壓榨Opteron這產品名稱的剩餘價值吧,但花了兩年時間, 才變出了無新意沿用Cortex-A57核心、在2016年初才推出的產品,臨陣磨槍,實在兩光。 https://media.cool3c.com/files/media/2/4/24_98.jpg
二、整合x86與ARM系統平台架構的「SkyBridge」專案,一年之後就無疾而終。 https://media.cool3c.com/files/media/2/5/25_80.jpg
三、從頭到尾全新打造的ARM核心「K12」,此命名也充分展現了屬於AMD「正字標記」為 架構的決心,不過如我們所見,別說2016年,到現在都不見蹤影。 https://media.cool3c.com/files/media/2/6/26_78.jpg
為何AMD在ARM處理器試圖大展鴻圖的雄才大略「還沒開始就結束」了?因為AMD現任執行 長縮短戰線,取消不切實際的K12,將資源集中在Zen微架構的研發,耗費十年,繞了好大 的一圈,終究回到了「原始K10設計案」的原點,我們才有幸見證Ryzen與EPYC的成功。 但「成本」因素從此不重要嗎?怎麼可能。科科。 -- 從原始K10設計案被否決,耗費整整十年光陰,直到AMD決心把研發資源梭哈在Zen微架構 ,讓早從2012年進行開發作業的Zen家族處理器,總算可以準時在2017年 (即使是Intel, 全新x86微架構的時程也差不多需要四到五年) 成為可上市銷售的產品。 但AMD「重返榮耀」是一回事,「做對的事情」遠重於「把事情做對」,如何制定正確的 行銷策略與產品定位,避免做出像AMD早期APU這種市場不需要又賣不動的「高科技結晶」 ,集中資源砸在鎖定客戶群最重視的刀口上,並削減「不必要成本」,比檯面上的技術規 格更加的關鍵,這才是科科們事後諸葛回顧歷史,最應細心觀察之處。 產品在邁向成功的過程中,往往需要眾多不同領域的專業人才協同合作,不是只靠「技術 」即可一步登天,這已經算是身為正常社會人的基本常識,要不然一間公司養那麼多不同 性質的部門難道是搞笑嗎?不過這世界上總是不乏沒本事做出像樣產品、又瞧不起非理工 領域的憤世忌俗技術偏執狂就是了,這種人終究也不會有什麼值得被認同的成就,各位科 科務必深以為戒。 < 犧牲SIMD最高輸出效能的Zen微架構 > 我們把鏡頭轉向2017年初的IEEE ISSCC (國際固態電路學會),AMD發表Zen核心的實作細 節,先將彷彿有字天書的底層電路設計和精密電源管理束之高閣,直接比較一下AMD Zen 與Intel Skylake的四核心模組,科科們馬上就會注意到很多有趣的地方,特別是「AMD的 L2 cache容量比Intel多出1MB,晶粒面積竟然還比較小」這世界奇觀。 更何況,我們又有充分的理由相信,同樣是「14nm製程」,Global Foundry和Intel絕非 相同的檔次,Zen的金屬佈線層還少了一層耶,AMD到底變了什麼魔術? https://media.cool3c.com/files/media/3/1/31_73.jpg
其實AMD也沒偷渡啥見不得光的火星科技,他們就只是沒有像Intel一樣在SIMD執行單元投 下重本,實作貨真價實的256位元向量執行單元,可以在每個時脈週期內完成256位元寬度 的運算罷了。(換言之,AMD是128位元作兩次,但其執行單元規劃也並非一無可取,其實 利用效率還蠻高的) AMD這一省還省很大,但也充分顯示了AMD相異於Intel的策略:在未來,這種工作應該交 給GPU才對。但缺乏GPU、只能硬著頭皮持續擴充AVX指令集,以設法強化CPU運算能力的 Intel,卻沒有這樣的餘裕。 更重要的是:AMD為Zen設定的「第一戰場」:資料中心,並沒有對此的迫切需求,所以是 「值得砍掉的成本」。 https://media.cool3c.com/files/media/3/2/32_66.jpg
< 迎合大型雲端服務資料中心需求的EPYC > 筆者還依稀記得在2006年美國舊金山IDF (Intel Developer Forum) 某場主題演講 (Keynote) 的問答時段,當時的Micro Design Resource (Microprocessor Forum的主辦 單位) 主編現場提問台上的Intel技術長「我注意到你們的雙核都幾乎採用多晶片封裝, 為何?」。 答案也頗符合眾人的「期望」:「因為我們想降低成本。」,好棒棒的直球對決。 後來就看到AMD在很多場合公開酸Intel的雙核是「雙餡水餃」,時過境遷,從2010年塞兩 顆Istanbul晶粒的Opteron「Interlagos」開始,這名詞又變成打在AMD臉上的回力鏢。 EPYC更青出於藍而勝於藍,塞兩顆餡不夠,你可以塞四個,接著就看到Intel拼命展開技 術行銷攻勢,窮追猛打AMD這樣的架構多麼的沒有效率,我們這包山包海多才多藝的 Skylake-SP Purley平台相較之下單晶片設計多麼優異blah blah blah… 但這樣根本是揮舞球棒打棉花,AMD一點都不痛不癢,因為AMD一開始就擺明要做出「投雲 端服務業者所好」的低價產品 (這種超大宗採購的砍價可是非常驚人的,打個三四折都司 空見慣),那管吃飽太閒跟你效能賽豬公,好用兼合用就可以了。 https://media.cool3c.com/files/media/3/3/33_65.jpg
你要核心多?我給你32核。 你怕價格貴?我就集中生產單一晶粒,再玩多晶片封裝,降低40%製造成本,碰到雲端 服務業者的大宗採購案,Intel你有本事就來陪我殺價吧。 你要用不完的PCIe?我給你128 Lane。 你要夠大的記憶體頻寬和容量?我給你八通道DDR4。 你想精簡系統設計?我就給你整合SATA,無須外掛南橋,反正你大概也用不到SAS。 你需要整塊記憶體可作加密保護?我就內建專屬輔助處理器專門搞定這件事。 兄弟啊,AMD的紅外線準心早就瞄準Google Amazon微軟百度這些超級大客戶的客製化系統 ,沒在跟你去拼殺傳統的套裝伺服器市場了,當下有穩定採購量的,是這些真正的「大咖 」。 俗語說的好,無所不備則無所不寡,有捨才有得,選對客戶,集中力量開發他們想要的產 品,才是資源有限的挑戰戰最應該選擇的策略。如果AMD繼續胡亂開闢戰場,壓根兒不可 能有Ryzen和EPYC的成功。 https://media.cool3c.com/files/media/3/4/34_59.jpg
< 還在未定之天的大哉問:AMD能否重現昔日Opteron的榮光? > 最近感謝Google Project Zero引爆Intel處理器獨享「熔斷 (Meltdown)」臭蟲的風波, 喚醒了長期「Intel Inside」客戶的分散風險意識,重回x86處理器格鬥競技場的AMD,似 乎前景一片大好,但畢竟Intel仍是各方面均遠勝AMD的超級霸權,無論從伺服器到桌機到 筆電,放眼AMD的長期戰略態勢,依然毫無值得樂觀的理由,除非出現以下的狀況: ‧Intel自亂陣腳,重蹈當年NetBurst的重大失策,這恐怕有點困難。 ‧整個半導體業界一同撞上製程微縮的極限,抵銷Intel過去的絕對優勢,強迫大家轉 向「專用處理器」路線,例如Google的TPU,或著像SoC市場一樣,需要具備快速整併 其他來源的IP,並順利在不同晶圓代工廠順利投產的彈性。 ‧AMD的「Fusion」歷經超過十年,終於實現突破性的進展,並達成最原始的目標。 ‧ARM伺服器和桌機的生態系統逐漸成熟,AMD掌握到正確的切入時機。 本閒聊連載字數嚴重破表,就先到此為止,否則各位科科以後也看不到我了。ㄎㄎ。 https://media.cool3c.com/files/media/3/5/35_52.jpg
-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.230.101.57 ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1518604164.A.AE7.html

02/14 18:59, 6年前 , 1F
02/14 18:59, 1F

02/14 19:01, 6年前 , 2F
不賴
02/14 19:01, 2F

02/14 19:12, 6年前 , 3F
這篇太棒了
02/14 19:12, 3F

02/14 19:14, 6年前 , 4F
很棒的文
02/14 19:14, 4F

02/14 19:15, 6年前 , 5F
02/14 19:15, 5F

02/14 19:21, 6年前 , 6F
02/14 19:21, 6F

02/14 19:24, 6年前 , 7F
02/14 19:24, 7F

02/14 19:25, 6年前 , 8F
02/14 19:25, 8F

02/14 19:28, 6年前 , 9F
推,真的寫的不錯
02/14 19:28, 9F

02/14 19:39, 6年前 , 10F
看了一點先推再看
02/14 19:39, 10F

02/14 19:39, 6年前 , 11F
02/14 19:39, 11F

02/14 19:45, 6年前 , 12F
02/14 19:45, 12F

02/14 19:46, 6年前 , 13F
那位跳A後又跳回I處理器業界大老是誰阿?
02/14 19:46, 13F

02/14 19:46, 6年前 , 14F
黏顆vega到伺服器端硬體加速有可能?
02/14 19:46, 14F

02/14 19:47, 6年前 , 15F
跟HPC有87%相似
02/14 19:47, 15F

02/14 20:10, 6年前 , 16F
期待幾年後EPYC洋垃圾能出沒尋常百姓家
02/14 20:10, 16F

02/14 20:14, 6年前 , 17F
精彩!
02/14 20:14, 17F

02/14 20:16, 6年前 , 18F
02/14 20:16, 18F

02/14 20:16, 6年前 , 19F
02/14 20:16, 19F

02/14 20:17, 6年前 , 20F
epyc 不相容 x399,,沒有洋垃圾可以撿
02/14 20:17, 20F

02/14 20:18, 6年前 , 21F
還要另外購入能裝epyc的主機板
02/14 20:18, 21F

02/14 20:24, 6年前 , 22F
這算歷史文嗎?
02/14 20:24, 22F

02/14 20:29, 6年前 , 23F
現在看文字只能看重中之重點 沒辦法看囉立八縮的
02/14 20:29, 23F

02/14 20:29, 6年前 , 24F
隨著經驗和能力提升 就很挑
02/14 20:29, 24F

02/14 20:35, 6年前 , 25F
異質運算就軟體沒跟上 走太前面了
02/14 20:35, 25F

02/14 20:49, 6年前 , 26F
好文!
02/14 20:49, 26F

02/14 20:50, 6年前 , 27F
02/14 20:50, 27F

02/14 21:00, 6年前 , 28F
我覺得可以提一下Jim keller這人物XD
02/14 21:00, 28F

02/14 21:24, 6年前 , 29F
02/14 21:24, 29F

02/14 21:29, 6年前 , 30F
寫得好專業 @@
02/14 21:29, 30F

02/14 21:33, 6年前 , 31F
樓下再5樓教主
02/14 21:33, 31F

02/14 22:09, 6年前 , 32F
感覺IBM體系出來的害慘很多公司。
02/14 22:09, 32F

02/14 22:10, 6年前 , 33F
實驗室研究很厲害,實作成產品很慘
02/14 22:10, 33F

02/14 22:12, 6年前 , 34F
IBM 不懂大眾消費市場
02/14 22:12, 34F

02/14 22:36, 6年前 , 35F
蘇媽不就是XD
02/14 22:36, 35F

02/14 22:45, 6年前 , 36F
02/14 22:45, 36F

02/14 22:47, 6年前 , 37F
IBM就是直銷公司有名的阿 XD
02/14 22:47, 37F

02/14 22:50, 6年前 , 38F
夢想的產生地
02/14 22:50, 38F

02/14 23:50, 6年前 , 39F
所以教主說的k12重返榮耀 真的qq惹
02/14 23:50, 39F

02/14 23:53, 6年前 , 40F
別這樣 老藍血人都很紳士
02/14 23:53, 40F

02/14 23:54, 6年前 , 41F
工作就像學校實驗室一樣的浪漫
02/14 23:54, 41F

02/15 00:16, 6年前 , 42F
教主當年講的K12=zen
02/15 00:16, 42F

02/15 00:33, 6年前 , 43F
同時期IBM還搞Cell架構處理器也是害慘其他公司
02/15 00:33, 43F

02/15 00:53, 6年前 , 44F
SONY:
02/15 00:53, 44F

02/15 00:56, 6年前 , 45F
可是同期的360也是噴惹QQ
02/15 00:56, 45F

02/15 01:11, 6年前 , 46F
棒棒DER
02/15 01:11, 46F

02/15 01:16, 6年前 , 47F
這篇可以推,等等看
02/15 01:16, 47F

02/15 01:40, 6年前 , 48F
推!
02/15 01:40, 48F

02/15 02:19, 6年前 , 49F
神文!
02/15 02:19, 49F

02/15 08:21, 6年前 , 50F
X360已算用Cell的不順,天賜良機而搶不少市場
02/15 08:21, 50F

02/15 08:22, 6年前 , 51F
不然MS之前在家機是根本無法抗衡sony
02/15 08:22, 51F

02/15 08:23, 6年前 , 52F
但是sony在ps4沒犯錯,走APU又強又好開發模式
02/15 08:23, 52F

02/15 08:24, 6年前 , 53F
又把優勢地位奪回來。
02/15 08:24, 53F

02/15 08:42, 6年前 , 54F
360前期缺陷其實讓MS賠不少 兩家都賠錢
02/15 08:42, 54F

02/15 08:43, 6年前 , 55F
Cell的問題主要是導致遊戲開發困難 就成本來說 兩家
02/15 08:43, 55F

02/15 08:43, 6年前 , 56F
都出問題
02/15 08:43, 56F

02/15 09:03, 6年前 , 57F
是說APU能在主機搞起來是成本還是散熱考量嗎?怎麼
02/15 09:03, 57F

02/15 09:03, 6年前 , 58F
不像筆電那樣塞獨顯,但二家都這樣做顯然有它道理
02/15 09:03, 58F

02/15 09:06, 6年前 , 59F
能一顆搞定幹麼要多塞一顆
02/15 09:06, 59F

02/15 09:08, 6年前 , 60F
02/15 09:08, 60F

02/15 09:21, 6年前 , 61F
其實兩家都是便宜DVD撥放器 進化->藍光不是嗎 XD
02/15 09:21, 61F

02/15 09:43, 6年前 , 62F
故事說的真好
02/15 09:43, 62F

02/15 09:51, 6年前 , 63F
看起來像水球寫的
02/15 09:51, 63F

02/15 10:00, 6年前 , 64F
02/15 10:00, 64F

02/15 13:14, 6年前 , 65F
筆電塞獨顯也是不得已。兩顆比一顆貴
02/15 13:14, 65F

02/15 13:14, 6年前 , 66F
就i內顯太廢才有低階顯核的需求
02/15 13:14, 66F

02/15 13:18, 6年前 , 67F
家機可訂製,寧願一顆強力APU搞定
02/15 13:18, 67F

02/15 13:21, 6年前 , 68F
02/15 13:21, 68F

02/15 15:53, 6年前 , 69F
02/15 15:53, 69F

02/15 20:41, 6年前 , 70F
除了硬體,IBM收購的軟體後來也都很鳥
02/15 20:41, 70F

02/16 01:12, 6年前 , 71F
02/16 01:12, 71F

02/16 01:15, 6年前 , 72F
這篇厲害
02/16 01:15, 72F

02/16 14:39, 6年前 , 73F
大老是Andy Glew 有人要知道嗎XD
02/16 14:39, 73F

02/16 14:41, 6年前 , 74F
google他的經歷跟專長會讓人膝蓋一軟
02/16 14:41, 74F

02/17 18:20, 6年前 , 75F
02/17 18:20, 75F
※ 編輯: KotoriCute (1.165.178.92), 11/15/2018 22:20:28
文章代碼(AID): #1QX0-4hd (PC_Shopping)