Re: [請益] GTC大會是利多新聞該下車的訊號？已刪文

看板Stock作者LDPC (Channel Coding)時間1月前 (2024/03/24 13:25)推噓25(25推 0噓 60→)

留言85則, 24人參與討論串3/3 (看更多)

對於老黃GTC到底想幹啥可以參照底下演講這演講其實點出很多很重要的關鍵概念尤其是19:15那邊你可以把語速調回0.75倍變為正常速度 19:15其實那邊就是layout AI Foundry那個pdf RAG延伸版概念 (註1) https://www.youtube.com/watch?v=ER4xNhSVJ2c

老黃的優點就是他擅長拿別人的好主意整合到自己商業模式從以前蘇媽HBM到台積代工甚至turnkey solution 現在則是用張忠謀代工模式+自己生態圈打造AI as a Service 遙想一下以後的未來你手上有你這個產業才有的數據你想用AI來幫助你解決一些問題這時候你可以 1.花一堆錢雇用做AI相關的人然後幫你處理數據然後用算力掃描這些大量數據接者你昂貴的AI工程師會跟你說誒誒誒那個訓練出來結果不太對 learning rate到10e-6時 curve沒辦法再更下去了 performance好像會overfit 我換另外一個2B foundation model試試看歐歐等等我用的GPU好容易gradient overflow 或者誒誒這邊有100多種Foundation Model我不確定哪個好讓我一個個試又或者那個算力不夠我得把GPU數量提高到1000但我不是用NVDA的所以系統給我crash 讓我找GPU廠商去修又或者好不容易fine-tune完成(客製化模型) 要到deploy時誒誒誒那個系統又崩了因為他無法查詢數量超過一萬個以上藥物但此時老黃會跟你說其實你不用自己造輪子我這邊手上有全世界最好的AI工程師這邊是我們的包算力方案我們會協助你用我們AI資料庫裡面Foundation Model 來根據你數據做Fine-tuning你想要針對某組DNA去探討藥物效果沒問題 fine-tuing訓練過程有任何問題我們這邊會派駐場AI工程師線上協助你們什麼算力不夠好這邊是我們的H700套餐歐歐歐你想在infernece上可以支援上萬組藥物效用查詢好這邊是我們AI加速SQL套餐歐歐歐什麼你想一個inference系統能支援各種國家數萬個科學家和資料庫的搜尋沒問題這邊是我們超巨大雲端系統有最快的連網速度價位是xxxxxxx 所以AI Foundry最大意義就是降低這個AI落地門檻利用自家生態圈在training/inference搭配雲端整合和自家傑出工程師幫你代工AI商業模式就像當年台積電把ic設計把這門檻降低(以前AMD/Intel都要自己養一個晶圓工廠) 也像是當年聯發科把手機系統廠門檻降低任何白牌照抄聯發科turnkey solution 而每次底下廠商陪你練功(Fune-tune)久了也知道如何去客製化AI落地產品(Fine-uning) 就像當年聯發科的Turneky solution你要的軟體硬體都會有人幫妳弄了也像是蘋果和台積駐場工程師一起看設計圖(數據)搭配不同算力(3nm/5nm/7nm) 提出方案要知道你在美國你還找得到一些不錯AI詠唱師跟你一起搞第一套方案如果沒有長期玩過AI鍊金術這玩意你在訓練大模型很容易會訓練失敗..尤其台灣到現在都還沒A100..像台灣現在想搞個數位醫生自動看診(我知道華碩和各醫院有在搞) 那個搭建門檻是無敵的高我之前看到他們開的AI工程師月薪x萬元 ...幫台灣QQ AI三重點數據算力算法要知道數據這玩意是搶不走的老黃有後面兩個所以NVDA更不像當年聯電可以抄上游設計廠商架構然後自己去搶市場當年思科還停留在賣鏟子老黃已經進階到賣系統生態圈整個大架構幫你實現你的AI點子只要你有數據所以GTC兩重點 BlackWell和AI Foundry 後者瞄準的是要提供給所有中小企業解鎖門檻讓全世界中小企業自家數據打造能客製化賺錢產物更別說上面老黃演講還講了 Conitnuious Training->Inference->Training->Inference這種完全不讓其他廠商搶蛋糕的系統模式所以接下來財報觀察重點就是要觀察AI代工這概念是否能起飛張忠謀當年花了20多年讓晶圓代工解鎖ic設計門檻老黃不知道會花多少年來解鎖AI 入門落地門檻以AI as a Service連到Inference落地化這個章節是這次GTC主題全面產業機器人金融法律醫療藥物所有提高生產力工具只需要有數據不管是硬體軟體訓練或推論又或者客製化AI煉金術的訓練參數老黃NVDA通通給你! 當年cisco還停留在賣鏟子下游廠商自己搭建軟體業務老黃已經走出這個階段開始販賣軟體硬體整合服務了QQ -- QQ 等我有錢我會去老黃那下單弄個數位版a33 24小時常駐股版來振奮多軍!!! -- 註1 RTX Chat https://www.youtube.com/watch?v=Hwn49QenXWg

https://www.youtube.com/watch?v=fc_NSAu41b0

補一個用multi-modal foundation model在醫療運用案例 https://www.youtube.com/watch?v=N3wJwz97b8A

※ 引述《LDPC (Channel Coding)》之銘言： : GTC就要開始了禮拜一早上是最後賭盤下注的時間忘記哪邊統計過GTC以來 : 只有一次股票沒漲過平均股價在GTC期間會漲5% : 如果有興趣一些接下來AI落地走向可以參考此talk 裡面滿多資訊 : https://www.youtube.com/watch?v=QNn0XJ3Ev7o

: 最主要的takeaway就是老黃已經有商業部門在面向企業部門販賣AI as a Service : 稱之為AI Foundry (細節參照 https://zhuanlan.zhihu.com/p/670193221 ) : AI三大焦點資料算法算力接下來所有大部分AI產業都會圍繞資料這塊 : https://www.eetrend.com/content/2023/100576059.html : AI Foundry大體而言可理解如下 : 企業內部私密資料透過老黃販賣的Foundation Model : 能客製化(fine-tune)變成專門服務企業自有AI生產力工具能封閉私密加速企業生產力 : 像是Nemo可以給HR/Legal/Finance/Accounting部門以前需要多語專業會計或Legal人員 : 都可以被用AI Foundry模式簡化人力甚至增加工作範圍影響力 : 其他還有針對虛擬空間生產力幫助影音生產業者而各企業資料(Data) : 會變成Content Creation的生產工具 : 接下來所有各產業AI落地重點就是如何提供基礎大模型客製化給顧客企業增加生產力 : 這意味者所有以前Saleforce所要做的雲端生產力工具會透過AI Foundry面向全世界 : 中小企業藉由大模型透過各企業自己產業數據特制化這也意味者老黃有機會綁著自家 : Inference一套設備透過AI Foundry販賣給企業...醫療生藥電影財經法務 : 這是個全面性的很有野心的生產力Turn-key solution藍圖 : 但對一般來說小老百姓這類的AI落地是我們無法感受到的 : 這也意味AI落地化個人生產力部分應該會在企業生產力之後 : QQ...簡言之老黃已經不在只滿足賣鏟子了他要搶雲端生產力工具了會搭配軟體端下手 : 禮拜一我應該會做近期最後一次加碼了如果接下來老黃會在GTC講他要的遠景 : 諸如AI網路基建和軟體應用在企業端的生產力特製化AI服務那NVDA前景一光明 : 反之如果不是像網路上這些前期資料那我們大家公園見!!QQ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 24.4.211.194 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1711257904.A.580.html ※ 編輯: LDPC (24.4.211.194 美國), 03/24/2024 13:27:39 ※ 編輯: LDPC (24.4.211.194 美國), 03/24/2024 13:28:20

→

tocks2010

03/24 13:28, 1月前 , 1^F

03/24 13:28, 1^F

推

wuyiulin

03/24 13:29, 1月前 , 2^F

03/24 13:29, 2^F

推

a210510

03/24 13:29, 1月前 , 3^F

03/24 13:29, 3^F