Re: [分享] openai_whisper / faster-whisper /webui

看板AI_Art作者 (blarc)時間7月前 (2023/09/07 09:09), 編輯推噓2(2推 0噓 18→)
留言20則, 3人參與, 7月前最新討論串2/2 (看更多)
先感謝大大分享跟介紹! 最近使用fast-whisper-large-v2來翻譯日綜 有一些心得跟問題想請教 目前翻譯的效果還可以, 至少可以看懂7成內容了, 但感覺還有改善空間 遇到一些人名/地名/專有名詞會比較苦手 這部份我是利用Initial Prompt來改善 先把藝人名或節目介紹的地名先打上去, 翻譯會比較傾向用你提示的內容 不過好像有224個token限制的樣子 另外有時候會遇到一段翻譯一直重複同一個句子長達幾分鐘 感覺像是卡住或是落入loop 我有試著把VAD - Max Merge Size 從90改成180或更高 或是去Full頁面把Condition on previous text取消掉 可以減少這種重複句子的問題 最後有兩個想請教的地方 web-ui上有translate model和language欄位 這兩個欄位的用途是? for translate task用的嗎? 還是跟翻譯成中文有關? 另外我透過修改config的方式下載其他model來做transcrbie ex: zh-plus/faster-whisper-large-v2-japanese-5k-steps arc-r/faster-whisper-large-v2-mix-jp 不過效果怎麼比原本faster-whisper-large-v2還差 @@ 我以為這些model是為了加強日語辨識, 還是我還少做了什麼步驟嗎? 謝謝. ※ 引述《avans (阿緯)》之銘言： : whisper這是openai公開的語音辨識模型 : 非常強大相信不少人已經聽過或使用過了 : 沒聽過也沒關係這邊做個使用介紹 : 這裡主要要介紹的是 : whisper與faster-whisper : 還有whisper-webui(網頁版本) : openai/whisper : https://github.com/openai/whisper : guillaumekln/faster-whisper : https://github.com/guillaumekln/faster-whisper : aadnk/whisper-webui : https://huggingface.co/spaces/aadnk/whisper-webui -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 210.71.217.243 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1694048944.A.49C.html
推
09/07 20:05, 7月前 , 1F
whisper官方只有實作其他語言翻譯為英文，沒有提供任意翻譯
09/07 20:05, 1F
→
09/07 20:07, 7月前 , 2F
你說的translate model和language欄位是指我fork的版本的嗎
09/07 20:07, 2F
→
09/07 20:07, 7月前 , 3F
是的!
09/07 20:07, 3F
→
09/07 20:08, 7月前 , 4F
如果是的話，那是結合FB(Meta)推出的NLLB翻譯模型來翻譯的
09/07 20:08, 4F
→
09/07 20:10, 7月前 , 5F
後來我發現Initial Prompt輸入"繁體:"有時候會導致whisper
09/07 20:10, 5F
→
09/07 20:10, 7月前 , 6F
產出的字幕怪怪的，連"繁體"兩字也吃進去
09/07 20:10, 6F
→
09/07 20:12, 7月前 , 7F
我還沒有使用過其他whisper model過...這個幫不到
09/07 20:12, 7F
→
09/07 20:13, 7月前 , 8F
那請問NLLB Model有需要選嗎? 選了會幫助翻譯中文更準確嗎?
09/07 20:13, 8F
→
09/07 20:36, 7月前 , 9F
問了一下bard, 看起來預設whisper是連網用chatgpt翻譯, 而
09/07 20:36, 9F
→
09/07 20:37, 7月前 , 10F
大大提供的NLLB Model選項是能夠離線使用fb的翻譯模型
09/07 20:37, 10F
→
09/07 20:37, 7月前 , 11F
我這樣的理解是否正確呢?
09/07 20:37, 11F
→
09/07 20:41, 7月前 , 12F
應該不是，whisper翻譯不需要連網也非用chatgpt翻譯
09/07 20:41, 12F
→
09/07 20:42, 7月前 , 13F
畢竟我也沒輸入chatgpt的key給whisper使用
09/07 20:42, 13F
→
09/07 20:43, 7月前 , 14F
不過whisper只有實作他語言到英文的翻譯，其他語言時好時壞
09/07 20:43, 14F
→
09/07 20:43, 7月前 , 15F
都是正常的，使用NLLB Model選項就是離線翻譯模型
09/07 20:43, 15F
→
09/07 20:45, 7月前 , 16F
使用NLLB Model的話，whisper的language欄位就選聲音的語言
09/07 20:45, 16F
→
09/07 20:46, 7月前 , 17F
NLLB的language欄位就選擇你要翻譯的語言
09/07 20:46, 17F
→
09/07 20:53, 7月前 , 18F
嗯 我也覺得沒輸入api key怎麼可能用chatgpt翻譯, bard又在
09/07 20:53, 18F
→
09/07 20:54, 7月前 , 19F
唬爛我.. 我再繼續研究一下各種組合好了, 感謝大大回覆
09/07 20:54, 19F
推
09/08 01:00, 7月前 , 20F
不要相信Bard 唬爛程度超高
09/08 01:00, 20F
‣ 更多 blarc 的文章
文章代碼(AID): #1a-IAmIS (AI_Art)
‣ 更多 blarc 的文章
文章代碼(AID): #1a-IAmIS (AI_Art)