作者查詢 / YCL13
作者 YCL13 在 PTT [ AI_Art ] 看板的留言(推文), 共175則
限定看板:AI_Art
看板排序:
全部car8724Gossiping8498Hsinchu5051Stock2487Lifeismoney1652Japandrama1599Militarylife1586CFantasy1369creditcard1134hypermall987MobileComm846NTU829biker752PC_Shopping674Storage_Zone608Cga508cookclub495Wen-Shan466Audiophile449Coffee387movie261Baseball246C_Chat205TWproducts193Army-Sir179AI_Art175Bank_Service140nCoV2019139CVS131Daan118MobilePay110ONE_PIECE97Sony-style96HCHS_ALUMNI92homemaker87Little-Games87Actuary85EV81cat78E-appliance78Lions69JapanMovie62Tech_Job62Headphone56CAR-TUNING55e-shopping47LivingGoods47Hamster46San-Ying46HatePolitics37Plant32FixMyHouse31hardware29VR28Ptt25sign26Tea25PublicIssue24StupidClown21Salary20EuropeTravel17Teacher16motor_detail14AfterPhD13clmusic13Interior12einvoice11EuropeanCar11L_TaiwanPlaz11LCD11home-sale10Violation10Insurance9joke9L_RelaxEnjoy9I-Lan8HsinTien7PHS7shoes7TPC_Police7e-coupon6Kaohsiung6L_TalkandCha6LAW6Notebook6specialman6Steam6WoodworkDIY6AC_In5Android5baking5Food5IA5Key_Mou_Pad5L_ShoppingMa5nb-shopping5Post5PublicBike5Tainan5Taoyuan5Whales5iOS4JOJO4NBA4NTUPOD4Old-Games4PingTung4TaichungBun4travian4CMWang3CntrbndList3Crystal3Digitalhome3Doctor-Info3Examination3Germany3Gov_owned3HsinChuang3NTUcourse3Physics3SouthPark3TY_Research3Wanhua3YOLO3Anti-Cancer2Battery2bicycle2Billiard2book2Chiayi2CPBL2CTSH91-3022Depstore2dog2Education2Employee2EZsoft2FiremanLife2fruits2graduate2HCHS603122HCHS913162Immigration2Japan_Travel2KingOne2KS91-3052LerraBattle2LightNovel2Line_OPTC2medstudent2NCHU_MKT972NCYU_Fst_982Paradox2PDA2PlayBaseball2PttLifeLaw2PublicServan2rent-exp2Satomi2SET2Shu-Lin2ShuangHe2Simcity2SMSlife2SpaceArt2street_style2SuperBike2Thailand2Trans-nthu2A-Rod1AnimalGoods1army_58-1T1Aves1balaz1Bus1BuyTogether1Catholic1CGI-Game1ChaCha231ck58th3121ck59th3071ck60th3301ck61st3221Cobras1coincidence1CrossStrait1CYHSBAND1Darvish1DIP_Baseball1dlsh-7th-3031drawing1Eagles1EDR1Emergency1Eng-Class1fastfood1FCU_ACCSFB1Finance1FJUBiology1FLAT_CLUB1gay1GirlComics1GO1Guardians1GuardRookies1GuineaPig1HardwareSale1Hualien1JinYong1job1Keelung1Kids_Sucker1KS93-3161L_LifePlan1Lawyer1LD_IM93-11LoveLive1Marginalman1meditation1Miaoli1Military1MLB1MP1MRT1MUSTMIS1Navy1NCCU08_JAPAN1NCTU_IIM_BB1NDHU-MSE911NDMC-PH271NTHU_ENGI1NTHU_STAT941NTHU_STAT971NTPU-STAT971Nurse1NYUST1part-time1PeterHo1Ptt-Charity1Publish1rabbit1SENIORHIGH1Statistics1Sub_DigiTech1SYSOP1Taipei1Talk_Service1TamShui1TAXI1TCFSHvolley1TigerBlue1TKU_EE_92C1TKU_Talk1Tobacco1TodaErika1TW-history1TW_Entertain1Warfare1Yunlin1Yuriko1Zhongzheng1<< 收起看板(260)
60F推: 你的需求就屬於要AI長出手,學著用agent來處理即時的事吧05/03 00:34
2F推: 真得說這半年的進展真是飛快,不管是模型的能力或是運行的04/26 08:48
3F→: 的速度(方法),都是一年前無法想像的04/26 08:48
2F推: 覺得Qwen3.6是不得不出,因為Gemma4給3.5的壓力很大,像我04/24 22:19
3F→: 就因此完全棄Qwen3.5了04/24 22:19
5F推: 確實是看用途,這等級的模型不可能全能,所以我是說壓力大04/24 23:06
6F→: ,而不是比較強,因為真的各有擅長的地方04/24 23:06
7F推: 關於您提的關掉思考,我也是關掉用,不過發現都有明顯變笨04/24 23:08
8F→: 的情況,所以我後來都是用Q6,算是可以補回來04/24 23:08
13F推: 我的經驗是一些本來可正確執行的事,在停用思考後,就容易04/25 08:58
14F→: 發生無法完全依命令的情況,沒想到在改用Q6後竟然又能了04/25 08:58
15F→: 例如板上很多人玩的寫小說,我設定要經過ABCD橋段才能到E,04/25 08:58
16F→: 停用思考就變的會改變順序或跳過,提升成Q6又恢復乖乖寫04/25 08:58
17F→: 滿多用途都有這樣的感覺,不過我沒有進行有系統的測試,完04/25 08:59
18F→: 全是使用的感覺而已04/25 08:59
19F推: 對了,這是到Qwen3.5才有這樣的感覺,然後Gemma4也有,像另04/25 09:03
20F→: 一個還會用的GPT-oss-120B就沒有這樣的感覺04/25 09:03
31F推: 載入模型時一併下參數應該就可以關掉thinking了,如果不知04/24 22:15
32F→: 怎麼下參數,可以叫AI幫忙查你用的軟體怎麼下參數呀04/24 22:15
2F推: 有Z690 AERO D,但沒有Z790 AERO D,直到Z890才回歸04/05 18:08
17F推: KT基本概念其實算是MOE+offload,這和原PO更新電腦時選的強04/06 07:54
18F→: GPU(VRAM)但弱CPU少RAM的概念並不相符,實務上並不會比一般04/06 07:54
19F→: 軟體跑MOE架構時的offload帶來更多的幫助04/06 07:54
20F推: 原PO目前最適合的方案就是將LLM全上VRAM來跑,在推理應用上04/06 07:57
21F→: 雙3090的GPU應該不可能跑滿,所以可以先降壓限功耗來避免高04/06 07:57
22F→: 溫,然後再試能否拉高VRAM的時脈來提升速度04/06 07:58
23F→: 至於LLM全上VRAM跑,考量難易度和速度,vllm的TP是好選擇04/06 07:59
24F推: 而言些不同軟體的差異最關鍵處是資料的傳遞,記得數月前在04/06 08:04
25F→: reddit上有個緬甸人用了老舊的弱NB跑LLM,在自己寫程式改善04/06 08:05
26F→: 資料傳遞效率下,得到出乎意料的高效率,超多人按讚的,這04/06 08:05
27F→: 也是大家在跑LLM時應該注意的事04/06 08:05
35F推: 要不要提升時脈就看個人決擇吧04/10 07:35
36F→: 至於FP8的問題,轉int8或反算fp16之類的應用很多,已經不算04/10 07:35
37F→: 是問題了,相較之fp4好像還沒看到較佳的改進方案04/10 07:35
40F推: 不會不能跑呀,只差在效能和VRAM佔用量,不過各種改進方案04/11 08:37
41F→: 出來後,差距應該不大了,如果想比較可找自己慣用的軟體在04/11 08:37
42F→: 一年前的舊版和現在的新版來跑同個模型,或許可以大概看出04/11 08:37
43F→: 改進前後的差距04/11 08:37
46F推: 國內算比較晚搶了,去年GPT-oss-120B出來時,國外不少人搞04/11 20:17
47F→: 4張來跑(用拆分卡或外接都有),那時大家還相信5080 24G會出04/11 20:17
48F→: ,所以3090非常便宜呢04/11 20:17
49F→: 說到GPT-oss這模型就是用3090原生不支援的FP4訓練出來的,04/11 20:18
50F→: 討論區中很多人還是跑得很滿意呀04/11 20:18
15F推: 好奇用內顯跑會不會比手機慢呀?04/05 14:21
6F推: 只有初步測過26B A4B,雖然速度比Qwen3.5 35B A3B略慢,但04/03 18:51
7F→: 輸出品質直逼Qwen3.5 27B,但速度又遠快於27B,覺得可以列04/03 18:52
8F→: 為本地agent的LLM良好候選04/03 18:52
9F→: 不過還是要進一步測試才能確定,前陣子開始加大上下文,發04/03 18:53
10F→: 現在64K以上時,模型的速度和輸出品質可能不同04/03 18:54
13F推: 我覺得中文的品質大幅提升,寫小說的文筆沒問題,對於複雜04/03 19:51
14F→: 的小說劇情設定的理解力也很好04/03 19:51
20F推: 昨晚到早上又多試了一些,有些程式需要更新才能載入模型來04/04 11:39
21F→: 使用,有些特化的量化版則會無法載入,猜想近期應該還會有04/04 11:39
22F→: 不少的調整或改進吧04/04 11:40
11F推: 廣告詞"日本一級棒~大金"諧音"李弘毅幾班?大金"03/13 21:24
11F推: GPT oss 120B用上了MXFP4,這方法滿特別的,也造成了各量化03/11 22:58
12F→: 模型的大小滿接近的,而您的GPU是跨不同世代,並沒有全支援03/11 22:59
13F→: FP4,所以選擇時可能要考慮一下03/11 22:59
4F推: 棄ollama很久了,在想會不會是有用到llama的fit功能呀?03/11 07:30
5F→: 最近發現llama的fit很強大,比我手動調參數的效果還好03/11 07:31
6F→: 特別是對於MOE架構的模型,根本是神搭配呀03/11 07:31
3F推: 那個需求是指廠商應用程式的需求,這個有開源,大家當然是03/08 22:23
4F→: 用量化版配適當工作流,所以一堆VRAM只有12G的人也在玩了03/08 22:23