[LLMs] 使用AI工具整理逐字稿？

看板AI_Art作者 (Zaious.)時間8月前 (2023/08/24 15:21), 編輯推噓7(7推 0噓 27→)
留言34則, 8人參與, 8月前最新討論串1/1
不知道有沒有版友願意討論一下這部分的心得，原本我以為很簡單實際上意外的困難。 目前做法： 使用Word聽寫功能得到Word版的逐字稿(準確率大概7成) 然後用GPT4-8k Model下以下的Prompt: {"role":"system", "content": "你是位專業的逐字稿整理師"}, {"role":"user", "content": "我會給你一份(主題說明)的講座紀錄， 請你幫我整理逐字稿，除了修正錯字贅字外盡可能保留原本的用詞。"}, 實際問題： 1.GPT4目前只有8k，最多只能進4000tokens(約2500中文字)回4000tokens， GPT3.5有16K，但幻覺很嚴重。 等於一次大概只能處理15分鐘左右的逐字稿。 (不然就是等GPT4-32K開放) 2.目前我怎麼調Prompt都很容易進4000tokens回1500tokens，把逐字稿內容刪減的太過頭 其他選擇： OpenAI Whisper AI 好像無法區分講者，所以我沒試 有沒有人專案上做過相關嘗試或研究的？感謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.87.90 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1692861690.A.A46.html
推
08/24 16:09, 8月前 , 1F
whisper不能區分講者，你試試看用時間軸分，然後用其他
08/24 16:09, 1F
→
08/24 16:09, 8月前 , 2F
可以分辨講者的辨識也定義時間軸比對看看？
08/24 16:09, 2F
推
08/25 06:24, 8月前 , 3F
Whisper 產生的字幕檔案搭配編輯軟體已經相當準確與省下很
08/25 06:24, 3F
→
08/25 06:24, 8月前 , 4F
多時間，搭配影片區分應該還算容易
08/25 06:24, 4F
→
08/25 12:13, 8月前 , 5F
我的需求是從一段純語音對話內容整理資料
08/25 12:13, 5F
→
08/25 12:13, 8月前 , 6F
剛剛用電腦跑Whisper Large模型，準度還不錯，但無法辨識講
08/25 12:13, 6F
→
08/25 12:14, 8月前 , 7F
者導致整理有點麻煩
08/25 12:14, 7F
推
08/25 12:33, 8月前 , 8F
竹子稿一個字都不能錯哩，所以還不是要重聽重修
08/25 12:33, 8F
→
08/25 12:34, 8月前 , 9F
我上次是整理論壇，ChatGPT 可以從語意中判斷某段話
08/25 12:34, 9F
→
08/25 12:34, 8月前 , 10F
誰講的，蠻厲害的
08/25 12:34, 10F
推
08/25 12:50, 8月前 , 11F
長文本可以參考langchain map reduce summarizatiin
08/25 12:50, 11F
→
08/25 12:51, 8月前 , 12F
調整一下prompt 後3萬字的總結效果也不錯
08/25 12:51, 12F
→
08/25 12:51, 8月前 , 13F
我有寫了個網頁做這個 提供給你參考
08/25 12:51, 13F
→
08/25 12:51, 8月前 , 14F
08/25 12:51, 14F
→
08/25 12:51, 8月前 , 15F
STT分講者可以搜尋diarization, whisper.cpp 有實驗
08/25 12:51, 15F
→
08/25 12:51, 8月前 , 16F
08/25 12:51, 16F
→
08/25 12:51, 8月前 , 17F
有興趣我們可以再討論，希望有幫上忙
08/25 12:51, 17F
推
08/26 01:17, 8月前 , 18F
Vocol.ai怎麼做成可以分析講者的阿？
08/26 01:17, 18F
→
08/26 01:18, 8月前 , 19F
它不是也用chatgpt api嗎？
08/26 01:18, 19F
→
08/26 11:35, 8月前 , 20F
感謝討論，我之後研究一下
08/26 11:35, 20F
→
08/26 11:36, 8月前 , 21F
我目前使用相當硬幹的方式完成我的需求
08/26 11:36, 21F
→
08/26 11:36, 8月前 , 22F
1.提取Word轉錄的講者 2.配對到Whisper逐字稿文本
08/26 11:36, 22F
→
08/26 11:36, 8月前 , 23F
3.把逐字稿文本每一段分開請GPT4修整精簡
08/26 11:36, 23F
推
08/27 08:41, 8月前 , 24F
用 Langchain 寫了一段 audio to text/summary
08/27 08:41, 24F
→
08/27 08:41, 8月前 , 25F
使用 gpt-3.5-turbo-16k 來處理
08/27 08:41, 25F
→
08/27 08:41, 8月前 , 26F
08/27 08:41, 26F
→
08/27 08:41, 8月前 , 27F
08/27 08:41, 27F
推
08/28 21:36, 8月前 , 28F
Azure的認知服務應該有機會解決
08/28 21:36, 28F
→
08/29 15:19, 8月前 , 29F
@cgjosephlee 感謝，我正在閱讀你的Langchain方法，很有幫助
08/29 15:19, 29F
→
08/29 15:20, 8月前 , 30F
@andersonhaha 想請問這是部屬在伺服器上的?不然我怎麼可以
08/29 15:20, 30F
→
08/29 15:21, 8月前 , 31F
連上去?好酷，不知道方不方便學習整個專案的建置
08/29 15:21, 31F
→
08/29 15:54, 8月前 , 32F
@rent2ez 看了一下，有人用whisper ai實現辨識講者，但不是
08/29 15:54, 32F
→
08/29 15:55, 8月前 , 33F
openai原本模型有的能力，是另外掛了音調辨識的模型上去
08/29 15:55, 33F
→
08/29 16:16, 8月前 , 34F
08/29 16:16, 34F
‣ 更多 ZMTL 的文章
文章代碼(AID): #1avmJwf6 (AI_Art)