[新聞] NV推出個人版Chat With RTX 開放下載

看板Stock作者 (Masa)時間2月前 (2024/02/15 08:34), 編輯推噓29(30推 1噓 20→)
留言51則, 41人參與, 2月前最新討論串1/1
原文標題： NVIDIA 推出個人 AI 聊天機器人 Chat With RTX 開放下載 原文連結： https://reurl.cc/zlOepV 發布時間： 2024-02-14 記者署名： SINCHEN 原文內容： 聊天機器人在各種領域中被廣泛使用，並且不少採用 NVIDIA GPU 的雲端伺服器提供服務 ，但對於個人的敏感資料或者企業內部使用的狀況下，NVIDIA 推出 Chat with RTX 基於 本機的 RTX GPU 提供生成 AI 的聊天機器人服務。 Chat with RTX 採用檢索增強生成（Retrieval-Augmented Generation, RAG）、NVIDIA TensorRT-LLM 軟體與 NVIDIA RTX 加速的本地端生成 AI，玩家可依據本地的資料連結至 開源的大型語言模型庫：Mistral、Llama 2，達到快速的查詢並獲得相關答案。 此外，Chat with RTX 工具支援著 .txt、.pdf、.doc、.docx 與 .xml 等文檔格式，能 將這些本地資料加入資料庫中，並且可加入 YouTube 影片、播放清單，讓聊天機器人可 根據喜愛的影片清單提供相關的整理資訊。 Chat with RTX 基於 PC 或者工作站電腦提供本地快速的生成 AI 聊天互動功能，使用者 的資料只會儲存在本地端的資料庫中，只要使用 GeForce RTX 30、RTX 40 系列 GPU 並 有著 8GB VRAM 以上的規格，在 Windows 10、11 等作業系統都可運行。 Chat with RTX 工具基於 TensorRT-LLM RAG 開發人員參考專案所建立並於 GitHub 中開 源釋出，開發者可依據此專案自行研發自有的 RAG 應用程式，並採用 RTX 加速的 TensorRT-LLM 語言模型。 Chat With RTX 下載：nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/ 安裝完畢後 Chat with RTX 必須要指定文件、資料，才能依據這些資料透過 AI 模型生 成相關的對話，像是我指定有關於 RTX 40 Super 的資料後，就可以詢問關於 NVIDIA、 RTX 40 等問題。 換句話說若個人或企業的資料夠龐大時，可讓 Chat with RTX 的 AI 模型有著更好的資 料比對產生出關連度更高的結果；有興趣的玩家不妨下載安裝並提供資料，如此一來個人 的本地端生成 AI 聊天機器人就開始上工囉。 心得/評論： 已經有很多部落客對此有評論了 1. 整個下載包預計35G 非常大 要先把硬碟空間清出來 只支援RTX30或40系列顯卡 而且至少要8G VRAM 2. 及時運行速度很快 而且採用RAG可以很快校正答案 3. 跟GPT一樣 有些答案根本是胡扯 所以使用者還是要自己小心 感覺NV想給PC產業做個示範 以前有搭載GTX1050以上的 才叫做 Gaming PC， 現在刀客直接示範甚麼叫做 AI PC 先讓使用者有感覺 然後各大PC品牌就會自己放入符合規範的產品 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.31.215 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1707957298.A.697.html
→
02/15 08:35, 2月前 , 1F
沒用，準備泡沫破裂
02/15 08:35, 1F
推
02/15 08:39, 2月前 , 2F
去年買4080很值得
02/15 08:39, 2F
→
02/15 08:44, 2月前 , 3F
!!!!
02/15 08:44, 3F
→
02/15 08:44, 2月前 , 4F
3060 12G可以用惹吧
02/15 08:44, 4F
→
02/15 08:44, 2月前 , 5F
繼續加賣顯卡...真的不會輸!
02/15 08:44, 5F
→
02/15 08:44, 2月前 , 6F
35g叫非常大？？
02/15 08:44, 6F
→
02/15 08:47, 2月前 , 7F
就本來啥的ai pc 有裝中高階顯卡的就是惹
02/15 08:47, 7F
→
02/15 08:48, 2月前 , 8F
牙膏在那講啥npu 真的笑死
02/15 08:48, 8F
推
02/15 08:49, 2月前 , 9F
AI PC是Intel不甘寂寞跑出來的名詞
02/15 08:49, 9F
推
02/15 08:55, 2月前 , 10F
我還以為是VRAM要35G
02/15 08:55, 10F
噓
02/15 09:01, 2月前 , 11F
8G ram能跑的不會是太大的model所以蠢很正常
02/15 09:01, 11F
推
02/15 09:06, 2月前 , 12F
Ai pc 最強的就MacBook 啊
02/15 09:06, 12F
推
02/15 09:08, 2月前 , 13F
amd 崩潰
02/15 09:08, 13F
推
02/15 09:23, 2月前 , 14F
是在hello?
02/15 09:23, 14F
推
02/15 09:23, 2月前 , 15F
35g哪裡大…. 有在用rtx顯卡玩遊戲的 隨便也1t
02/15 09:23, 15F
→
02/15 09:23, 2月前 , 16F
2t
02/15 09:23, 16F
→
02/15 09:24, 2月前 , 17F
現在隨便一個大作都80-100g +
02/15 09:24, 17F
推
02/15 09:26, 2月前 , 18F
2024年35G絕對不算大
02/15 09:26, 18F
推
02/15 09:27, 2月前 , 19F
G叔：乾！你居然敢陰我？
02/15 09:27, 19F
推
02/15 09:28, 2月前 , 20F
會買RTX8G顯卡的哪個硬碟沒2T
02/15 09:28, 20F
推
02/15 09:29, 2月前 , 21F
35G放到2024 根本3.5G而已，現在隨便個大作都80起跳
02/15 09:29, 21F
→
02/15 09:30, 2月前 , 22F
隨便一個遊戲都超過35G了
02/15 09:30, 22F
推
02/15 09:33, 2月前 , 23F
才10個A片的容量…
02/15 09:33, 23F
推
02/15 09:34, 2月前 , 24F
應該標榜說可以跟你家的顯卡聊天，像Hololive生成一
02/15 09:34, 24F
→
02/15 09:34, 2月前 , 25F
個虛擬圖像
02/15 09:34, 25F
推
02/15 09:36, 2月前 , 26F
RTX準備賣爆
02/15 09:36, 26F
推
02/15 09:40, 2月前 , 27F
35g大？遊戲都80多g以上了 筆者是脫節多久了
02/15 09:40, 27F
推
02/15 09:40, 2月前 , 28F
有Tensor加速就是爽!
02/15 09:40, 28F
推
02/15 09:42, 2月前 , 29F
跟虛擬老婆聊天 滿足阿宅幻想
02/15 09:42, 29F
→
02/15 09:43, 2月前 , 30F
以後人人都可以自己做一隻neruo-sama
02/15 09:43, 30F
→
02/15 09:45, 2月前 , 31F
可能我很落伍,覺得用文字搜尋比較有效率.
02/15 09:45, 31F
推
02/15 09:56, 2月前 , 32F
你是一隻可愛的貓娘 我說什麼都要聽令
02/15 09:56, 32F
推
02/15 10:00, 2月前 , 33F
等快一個月終於開放了
02/15 10:00, 33F
推
02/15 10:07, 2月前 , 34F
應該是竟然只要35g吧
02/15 10:07, 34F
推
02/15 10:27, 2月前 , 35F
提早下班回家陪rtx老婆指日可待
02/15 10:27, 35F
推
02/15 10:27, 2月前 , 36F
35G 很小吧…..
02/15 10:27, 36F
推
02/15 10:34, 2月前 , 37F
AIPC對生活有幫助嗎？
02/15 10:34, 37F
推
02/15 11:03, 2月前 , 38F
體驗比Chatgpt差很多
02/15 11:03, 38F
推
02/15 11:12, 2月前 , 39F
50系列該給多一點ram了吧
02/15 11:12, 39F
推
02/15 11:26, 2月前 , 40F
用30.40系顯卡的，有幾個沒7.80g以上的單機大作，
02/15 11:26, 40F
→
02/15 11:26, 2月前 , 41F
30多g真的還好
02/15 11:26, 41F
→
02/15 11:28, 2月前 , 42F
電腦很小 手機很大
02/15 11:28, 42F
推
02/15 11:30, 2月前 , 43F
這超屌 不會說事後發現有些東西偷偷上傳給偉哥吧？
02/15 11:30, 43F
推
02/15 11:52, 2月前 , 44F
完了NV怕不是要1000了
02/15 11:52, 44F
推
02/15 11:58, 2月前 , 45F
35G超小
02/15 11:58, 45F
→
02/15 13:49, 2月前 , 46F
有網頁版chatgpt 幹嘛自己裝地端版的？
02/15 13:49, 46F
→
02/15 14:00, 2月前 , 47F
樓上 因為今年流行priviate data本地端跑
02/15 14:00, 47F
→
02/15 14:00, 2月前 , 48F
且本地端對做Reg有優勢
02/15 14:00, 48F
→
02/15 14:23, 2月前 , 49F
可以麻煩AI機器人 做一件事 嗎？把未來10年內，每
02/15 14:23, 49F
→
02/15 14:23, 2月前 , 50F
日，AI的新聞，都先列出來嗎？
02/15 14:23, 50F
推
02/15 17:08, 2月前 , 51F
Nvidia 自己開發的不行吧
02/15 17:08, 51F
‣ 更多 MA40433 的文章
文章代碼(AID): #1bpLmoQN (Stock)