[Vtub] AI是不是可以做即時字幕了？已回收

看板C_Chat作者 (社畜)時間2年前 (2023/03/24 17:16), 2年前編輯推噓22(22推 0噓 43→)
留言65則, 30人參與, 2年前最新討論串1/7 (看更多)
如題 像是這部短片 都是日文 看攏無 https://www.youtube.com/watch?v=6Sx13Our0Io
但在chatGPT的加持下 他可根據 google廢到笑的日聽字幕 大致總結出 這部短片的大綱 https://i.imgur.com/99Wg6Qs.png
這樣想想，如果結合語音模組 使用chatGPT應該可以產生出非常具有可讀性的即時字幕八？ 目前來看可能價格比較高 已一部兩小時的直播來說，token數用api計費應該可以到NT1000？ 有西恰嗎？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.134.21.189 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1679649402.A.4AE.html
→
03/24 17:18, 2年前 , 1F
yt不是早就有即時生成字幕了
03/24 17:18, 1F
推
03/24 17:18, 2年前 , 2F
早就可以了吧 只是準確度問題
03/24 17:18, 2F
重點就是準確度R 本來機器字幕辨識度就有問題，加上機器翻譯 根本看不出要說什麼 可是gpt卻可以從這樣混亂的文字中 總結出可性度較高的資訊 如果直接對字幕進行翻譯 準確度應該會比現在googl翻譯高很多，至少我感覺至少可讀了
→
03/24 17:18, 2年前 , 3F
那就變雅婷逐字稿了
03/24 17:18, 3F
※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:21:00
→
03/24 17:19, 2年前 , 4F
即時字幕有個問題 不同文法的字幕斷句
03/24 17:19, 4F
推
03/24 17:19, 2年前 , 5F
會議軟體已經有即時翻譯了
03/24 17:19, 5F
→
03/24 17:19, 2年前 , 6F
像是日文動詞放後面 不講到最後不知道這句多長 然後要切
03/24 17:19, 6F
→
03/24 17:19, 2年前 , 7F
成合適的長度放回去原本畫面裡
03/24 17:19, 7F
推
03/24 17:20, 2年前 , 8F
早就有了吧 實況有種插件就是即時字幕+機翻
03/24 17:20, 8F
→
03/24 17:20, 2年前 , 9F
所以文章比較適合翻譯 字幕不適合
03/24 17:20, 9F
GPT有上下文的觀念 這應該是他擅長的領域
推
03/24 17:21, 2年前 , 10F
到時候給你亂加料
03/24 17:21, 10F
→
03/24 17:22, 2年前 , 11F
為什麼我之前把YT影片丟到chatgpt總結 他都掰一堆完全
03/24 17:22, 11F
→
03/24 17:22, 2年前 , 12F
不相干的東西出來
03/24 17:22, 12F
因為他不會連網 也沒有視覺 GPT的世界只有文字 （他處理圖像就像MUD遊戲一樣 有另外一個AI看圖，用文字描述，然後再餵給GPT處理） 所以你給他網址他就 隨便掰一個答案給你 ※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:25:16
推
03/24 17:23, 2年前 , 13F
你都總結了怎麼即時==
03/24 17:23, 13F
推
03/24 17:23, 2年前 , 14F
不太行，我烤肉會先用YT的字幕功能輸出日文字幕來抓時間
03/24 17:23, 14F
→
03/24 17:23, 2年前 , 15F
軸，效果奇差，再翻譯成中文一定更破
03/24 17:23, 15F
推
03/24 17:23, 2年前 , 16F
因為chatgpt沒資料 你問他他當然無法回答
03/24 17:23, 16F
→
03/24 17:24, 2年前 , 17F
更不用說Miko，有時候還偵測成韓文
03/24 17:24, 17F
→
03/24 17:24, 2年前 , 18F
這個軟體是用api串接 是有資料丟給gpt引擎叫引擎回答的
03/24 17:24, 18F
→
03/24 17:24, 2年前 , 19F
我之前放一個兒童共同注意力的影片，他講成什麼韓國愛
03/24 17:24, 19F
→
03/24 17:24, 2年前 , 20F
心食堂，還有南非反種族隔離運動者夏綠蒂賈爾納
03/24 17:24, 20F
推
03/24 17:25, 2年前 , 21F
即時字幕還有一個問題啊 講的人口齒不清就沒辦法辨識
03/24 17:25, 21F
→
03/24 17:27, 2年前 , 22F
yt字幕就我說的切字幕問題 如果是印歐語系互轉問題會比
03/24 17:27, 22F
→
03/24 17:27, 2年前 , 23F
較少 因為可以直接1對1換詞就好
03/24 17:27, 23F
推
03/24 17:28, 2年前 , 24F
我是有試過漫畫圖片轉文字後丟chatgpt讓它翻 非常不行
03/24 17:28, 24F
推
03/24 17:28, 2年前 , 25F
看爽的沒差 但要求正確性就無法 如果全信被誤導的
03/24 17:28, 25F
→
03/24 17:28, 2年前 , 26F
機會也不小 就
03/24 17:28, 26F
→
03/24 17:28, 2年前 , 27F
看目的為何
03/24 17:28, 27F
→
03/24 17:29, 2年前 , 28F
03/24 17:29, 28F
→
03/24 17:29, 2年前 , 29F
這裡幫你整理好了
03/24 17:29, 29F
推
03/24 17:30, 2年前 , 30F
還需要時間發展
03/24 17:30, 30F
→
03/24 17:31, 2年前 , 31F
英文的V說不定可以
03/24 17:31, 31F
推
03/24 17:31, 2年前 , 32F
要即時應該有困難 可是反正影片都是上傳好的只要轉一次就
03/24 17:31, 32F
→
03/24 17:31, 2年前 , 33F
好 so...
03/24 17:31, 33F
→
03/24 17:32, 2年前 , 34F
google的廣告以外的商業模式真的很糞 像這種都是商機可以
03/24 17:32, 34F
→
03/24 17:32, 2年前 , 35F
做的結果你在那邊跟微軟耗@@
03/24 17:32, 35F
推
03/24 17:32, 2年前 , 36F
怎就有了
03/24 17:32, 36F
推
03/24 17:32, 2年前 , 37F
英文的已經可以接受了
03/24 17:32, 37F
推
03/24 17:34, 2年前 , 38F
你
03/24 17:34, 38F
→
03/24 17:34, 2年前 , 39F
目前的即時字幕已經是簡單的AI了，舊技術也差不多夠成
03/24 17:34, 39F
→
03/24 17:34, 2年前 , 40F
熟。更複雜的技術開發者會著重在理解意思甚至是回應問
03/24 17:34, 40F
→
03/24 17:34, 2年前 , 41F
題，單純拿來上輔助字幕甚至是翻譯這塊潛力不足
03/24 17:34, 41F
推
03/24 17:34, 2年前 , 42F
微軟之後要推的網路會議助理就可以語音轉文字，還
03/24 17:34, 42F
→
03/24 17:34, 2年前 , 43F
可以幫你寫會議紀錄
03/24 17:34, 43F
→
03/24 17:36, 2年前 , 44F
記得日、英好像可以即時
03/24 17:36, 44F
→
03/24 17:36, 2年前 , 45F
其實我覺得可以往解釋意思的方向發展 口說翻譯真的有難
03/24 17:36, 45F
→
03/24 17:37, 2年前 , 46F
另外你貼的這功能，我有試過開日本YT影片，然後用e
03/24 17:37, 46F
→
03/24 17:37, 2年前 , 47F
dge ai要他總結這影片在講啥。他還真的去網路搜尋
03/24 17:37, 47F
→
03/24 17:37, 2年前 , 48F
搞出來
03/24 17:37, 48F
推
03/24 17:38, 2年前 , 49F
PR：…
03/24 17:38, 49F
推
03/24 17:38, 2年前 , 50F
都看過人直播即時中翻日的了
03/24 17:38, 50F
推
03/24 17:43, 2年前 , 51F
我看過有人直播是一整排不同語言的字幕，但準確率普通
03/24 17:43, 51F
→
03/24 17:43, 2年前 , 52F
。
03/24 17:43, 52F
→
03/24 17:45, 2年前 , 53F
日本直播我看過不少有即時日文字幕加英文翻譯的
03/24 17:45, 53F
推
03/24 17:53, 2年前 , 54F
主要先卡在生成準確度，喂給AI的樣本數夠多就能先排除第
03/24 17:53, 54F
→
03/24 17:53, 2年前 , 55F
一關，後面翻譯就沒啥失準問題，像那個AI Vtuber就能跟她
03/24 17:53, 55F
→
03/24 17:53, 2年前 , 56F
的作者做到對答如流甚至互嘴
03/24 17:53, 56F
推
03/24 17:57, 2年前 , 57F
03/24 17:57, 57F
→
03/24 17:57, 2年前 , 58F
有字幕逐字稿的API比較強XD Bing只能用雲的
03/24 17:57, 58F
推
03/24 17:59, 2年前 , 59F
我期待即時口譯機
03/24 17:59, 59F
→
03/24 18:09, 2年前 , 60F
@johnny3
03/24 18:09, 60F
→
03/24 18:10, 2年前 , 61F
總覺得教育AI比教育小孩還有成就感了...
03/24 18:10, 61F
→
03/24 18:21, 2年前 , 62F
研發影片翻譯應該是最吃力不討好的吧，太容易露餡了
03/24 18:21, 62F
→
03/24 18:35, 2年前 , 63F
再兩三年真的是就不用學外語了
03/24 18:35, 63F
→
03/24 19:21, 2年前 , 64F
英文字幕不用ai，即時生成就蠻準的了，看想不想投資源進去
03/24 19:21, 64F
→
03/24 19:21, 2年前 , 65F
而已
03/24 19:21, 65F
‣ 更多 wei115 的文章
文章代碼(AID): #1a7MfwIk (C_Chat)
討論串 (同標題文章)
以下文章回應了本文 (最舊先)：
完整討論串 (本文為第 1 之 7 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共7篇)
‣ 更多 wei115 的文章
文章代碼(AID): #1a7MfwIk (C_Chat)