看板
[ Stock ]
討論串[請益] 算力需求到底是缺還是快飽和了？
共 18 篇文章
內容預覽:
我只有買pro, 每天上午都會花幾十萬token，這還是沒引入自動化工作，那些真的在玩自動化的工程師 每週燒幾百鎂的credit大有人在. 而且這是普遍現象. 全世界工程師、軟硬體相關公司都需要更便宜更多的token, 等token 的產出跟石油一樣源源不絕又便宜時，相關產業才有看空的理由. --.
(還有200個字)
內容預覽:
看了一下W大跟L大的回文 我也來分享一下關於這鬼故事的想法. 我引用了L大的文章，然後會砍掉部分 因為太長了 如果LDPC大認為不妥我再修正. 小弟我從出道以來就是做純inference的，從來沒幹過training，所以單就我自己的經驗分享一下我認為現在的瓶頸 還有一些故事(?) 給大家自己決定怎
(還有1202個字)
內容預覽:
直接說結論:. 現在還有很多中小企業公司, 在觀望要不要導入AI. 當然, 他們已經在日常業務中使用AI,. 但牽涉到營業機密、核心業務的部分,. 他們仍然在煩惱, 擔心直接將問題拿去問雲AI, 會導致洩密. 但現在能順跑 200B 以上本地大模型的伺服器貴死,. 要直接掏錢出來、賭一個不完全確定的
(還有263個字)
內容預覽:
要解釋的東西很多,. 趁著長週末,. 我就把為何inference 就是 DRAM+ASIC 這件事說明白,. 尤其是MRVL. 首先,. 這是META 發表新的AI ASIC for inference,. ASIC+CXL+DDR4/DDR5. https://www.tomshardware.
(還有1281個字)