Re: [心得] token maximum

看板Soft_Job作者 (睡魔)時間1天前 (2026/03/01 18:05), 編輯推噓9(9推 0噓 19→)
留言28則, 12人參與, 8小時前最新討論串2/2 (看更多)
※ 引述《erspicu (.)》之銘言： : 所以到底max應該設定多少比較適合? 借這個來抱怨一下. 正如我在之前稍微提過的, 我的公司已經全面轉用 AI, 而且為了 不讓外部的一些壞 coding 習慣污染 AI, 是用自己 code base train 的 AI model. (本公司不留能力不足的人, 而且一直都需要 code review 才可以 check-in 因此 code 的本身質素是沒問題的) 隨著超過2000位 dev同時使用 AI 來做 coding, 公司本身配置的資源 很快就開始不夠用了. 寫好了 prompt 提交時發現在排隊 350位以外 是常事. 公司很快 (也花了一個月左右) 便批准了買更多的 VM, 但同時 也要求我們用 prompt improvement coach wizard 「改進」我們的 prompt. 結果他都要求我直接告訴 AI 需要修改那個檔案. 這產生了兩個問題: 首先, 如果我看錯是那個檔案出問題的話, 不管怎麼改還是沒有效果. 然後, 如果我寫 prompt 還是先 trace code 去找那個檔案出問題的話, 比起 花時間寫 prompt, 自己改比較快 (還不用排隊) 最近我們也發現了 AI 寫的 code 在需要和第三方對接的部份常出現 忽略明明已經寫進了 rules.md 的限制, 因此需要回爐人手重做的事件. 說實在的, 用了 AI 後也沒發現省了多少時間. -- -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 109.152.20.160 (英國) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1772359557.A.F40.html
推
03/01 19:34, 1天前 , 1F
恭喜你 發現爲什麼在這裡真的有開發經驗的工程師噴那些AI
03/01 19:34, 1F
→
03/01 19:34, 1天前 , 2F
吹噴那麼兇了 這就是現在AI開發現實 至於那些說未來會進
03/01 19:34, 2F
→
03/01 19:34, 1天前 , 3F
步的 可能連現在語言模型的基礎原理是什麼都不知道先吹再
03/01 19:34, 3F
→
03/01 19:34, 1天前 , 4F
說
03/01 19:34, 4F
→
03/01 19:36, 1天前 , 5F
？？
03/01 19:36, 5F
推
03/01 19:43, 23小時前 , 6F
從AI開發得利最大的是那些自有資料中心的大公司
03/01 19:43, 6F
→
03/01 19:44, 23小時前 , 7F
他們token多半是無限使用的,才能獲益如此巨大
03/01 19:44, 7F
推
03/01 21:47, 21小時前 , 8F
但會不會就是因為本地模型，上下文容量與產token能力不足
03/01 21:47, 8F
→
03/01 21:47, 21小時前 , 9F
，才只能讓他閱讀部份的代碼無法觀察全局導致你文中的情境
03/01 21:47, 9F
→
03/01 21:47, 21小時前 , 10F
？當然本地化的保密需求是外部AI model永遠無法滿足的
03/01 21:47, 10F
推
03/01 22:18, 21小時前 , 11F
我看下來這好像不是LLM的問題...
03/01 22:18, 11F
→
03/01 22:20, 21小時前 , 12F
這個場景本身就已經只有頂尖Model的選擇了，本地自訓練的
03/01 22:20, 12F
→
03/01 22:20, 21小時前 , 13F
就要先考慮推理能力落差，再來會2000個dev排隊這是治理問題
03/01 22:20, 13F
推
03/01 22:39, 21小時前 , 14F
0>1 AI很神 1>100真的就還好 專案越大人越多就越還好
03/01 22:39, 14F
推
03/01 22:47, 20小時前 , 15F
人家脈絡都說了，不就是不能用外面的嗎
03/01 22:47, 15F
→
03/01 22:47, 20小時前 , 16F
而且LLM做事情無視規則真的蠻常遇到的
03/01 22:47, 16F
→
03/01 23:08, 20小時前 , 17F
我知道情境不能用外面啊，但不是那幾個頂級的推理model就
03/01 23:08, 17F
→
03/01 23:08, 20小時前 , 18F
不太適合拿來類比啊，能力真的有差
03/01 23:08, 18F
推
03/02 07:47, 11小時前 , 19F
蛤?自己train的model...這才是問題吧
03/02 07:47, 19F
→
03/02 08:49, 10小時前 , 20F
正常人用AI：AI比較快，比較好時才用AI。沒比較好，比較快
03/02 08:49, 20F
→
03/02 08:49, 10小時前 , 21F
時，何必堅持用AI。這就跟早期沒LLM時很多企業AI專案失敗
03/02 08:49, 21F
→
03/02 08:49, 10小時前 , 22F
的原因一樣，硬要什麼流程都用AI，結果沒比較好。
03/02 08:49, 22F
→
03/02 08:51, 10小時前 , 23F
壞的coding習慣，要擋，何必訓練模型才能擋。硬體資源不足
03/02 08:51, 23F
→
03/02 08:51, 10小時前 , 24F
，暫時解法，何必硬要從prompt解。比prompt調整更有效率的
03/02 08:51, 24F
→
03/02 08:51, 10小時前 , 25F
方法還很多。
03/02 08:51, 25F
→
03/02 09:10, 10小時前 , 26F
你跑到英國去工作了??
03/02 09:10, 26F
推
03/02 10:29, 9小時前 , 27F
地端的 LLM 沒那麼厲害，巨頭的模型厲害有他的道理
03/02 10:29, 27F
推
03/02 10:58, 8小時前 , 28F
公司資源問題 Trial & Error是建立工作留的必經之路
03/02 10:58, 28F
‣ 更多 leicheong 的文章
文章代碼(AID): #1ff0-5z0 (Soft_Job)
‣ 更多 leicheong 的文章
文章代碼(AID): #1ff0-5z0 (Soft_Job)