[請益] 將影片內容提取出大意的技術

看板Soft_Job作者 (天際線)時間1年前 (2022/07/07 13:40), 編輯推噓7(7推 0噓 30→)
留言37則, 11人參與, 1年前最新討論串1/1
請教一下 有沒有哪門技術可以將影片內容提取出摘要 這似乎牽涉到影像辨識跟語音辨識等技術 深度學習及AI不知道是否有辦法達成？ 因為常常看到YT上感興趣的影片但覺得從頭看到尾蠻花時間的 如果有這門技術(影片摘要)那就太好了 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.0.90 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1657172459.A.F44.html
推
07/07 13:49, 1年前 , 1F
GPT3或許可以吧
07/07 13:49, 1F
→
07/07 13:52, 1年前 , 2F
這我以前做過，我們叫VCA，video content analysis。我們
07/07 13:52, 2F
→
07/07 13:52, 1年前 , 3F
當時有賣雲端服務，或自己做。後來我自己有做直接從影片產
07/07 13:52, 3F
→
07/07 13:52, 1年前 , 4F
生劇情摘要。我的做法是，分析聲音哪一段是劇情高潮，然後
07/07 13:52, 4F
→
07/07 13:52, 1年前 , 5F
擷取聲音或字幕片段，成為精彩片段。最後再將精彩片段的語
07/07 13:52, 5F
→
07/07 13:52, 1年前 , 6F
音或字幕，轉換成文字產生劇情大綱。
07/07 13:52, 6F
→
07/07 13:54, 1年前 , 7F
應用上，可以透過文字搜到任意劇情片段。或產生精彩片段推
07/07 13:54, 7F
→
07/07 13:54, 1年前 , 8F
薦。例如，當時我們可搜：某某明星的武打片，就直接給片段
07/07 13:54, 8F
→
07/07 13:54, 1年前 , 9F
。這在中國的影音平台都有在做。
07/07 13:54, 9F
→
07/07 13:55, 1年前 , 10F
這個在愛奇藝，以及我前公司，都是有上產品的功能。
07/07 13:55, 10F
→
07/07 14:00, 1年前 , 11F
這技術最大的問題除了技術，重點是：非常耗費計算資源，所
07/07 14:00, 11F
→
07/07 14:00, 1年前 , 12F
以大家都只做熱門院線片，而且真的是賠錢做居多。
07/07 14:00, 12F
→
07/07 14:02, 1年前 , 13F
我也有寫過影評摘要的專利。直接輸入一個影片，與需要摘要
07/07 14:02, 13F
→
07/07 14:02, 1年前 , 14F
的時間長度。產生：該長度的影片摘要。
07/07 14:02, 14F
→
07/07 14:07, 1年前 , 15F
這樣就能，你搭飛機時，剩下30分鐘，可看完一部電影摘要。
07/07 14:07, 15F
→
07/07 14:08, 1年前 , 16F
拉屎5分鐘，也可設定5分鐘看完一部電影摘要。
07/07 14:08, 16F
推
07/07 15:57, 1年前 , 17F
google video summarization應該就有很多paper了
07/07 15:57, 17F
推
07/07 16:10, 1年前 , 18F
推推
07/07 16:10, 18F
推
07/07 19:09, 1年前 , 19F
Google Auto Summary for Business
07/07 19:09, 19F
推
07/07 23:33, 1年前 , 20F
推
07/07 23:33, 20F
推
07/08 00:16, 1年前 , 21F
二樓好猛
07/08 00:16, 21F
→
07/08 07:17, 1年前 , 22F
我想知道如果是默劇也能提取出摘要嗎？
07/08 07:17, 22F
→
07/08 07:19, 1年前 , 23F
或是沒有配音的動物或旅遊影片，輸入關鍵字就會搜到
07/08 07:19, 23F
→
07/08 07:20, 1年前 , 24F
我想看的片段，比如說輸入獅子狩獵或是海邊沙灘就跳
07/08 07:20, 24F
→
07/08 07:20, 1年前 , 25F
該片段
07/08 07:20, 25F
→
07/08 10:06, 1年前 , 26F
樓上說的動物辨識，與場景 scene辨識的功能都有，,動物辨
07/08 10:06, 26F
→
07/08 10:06, 1年前 , 27F
識是最好做的因為open soure都有基本的語料，各家的差別在
07/08 10:06, 27F
→
07/08 10:06, 1年前 , 28F
於後續願意投入多少資源持續維護。特殊自訂的場景辨識scen
07/08 10:06, 28F
→
07/08 10:06, 1年前 , 29F
e也能做，成本問題而已。
07/08 10:06, 29F
→
07/08 10:11, 1年前 , 30F
默劇，可做到基礎的搜尋，可以對辨識到的object 打上標籤
07/08 10:11, 30F
→
07/08 10:11, 1年前 , 31F
。搜尋object出現的時間點。但是要抽摘要片段，最大的問題
07/08 10:11, 31F
→
07/08 10:11, 1年前 , 32F
是，如何定義與評價什麼是"好"。光是人來看，每個人的看法
07/08 10:11, 32F
→
07/08 10:11, 1年前 , 33F
就不一樣了。院線片是因為有音效，劇情，結尾通常比較精彩
07/08 10:11, 33F
→
07/08 10:11, 1年前 , 34F
等強特徵，所以效果比較好。
07/08 10:11, 34F
→
07/08 13:31, 1年前 , 35F
2F 說的內容好酷...
07/08 13:31, 35F
推
07/09 14:53, 1年前 , 36F
感謝D大分享，謝謝
07/09 14:53, 36F
→
07/09 19:43, 1年前 , 37F
感謝D大分享，讚！
07/09 19:43, 37F
‣ 更多 qazsd 的文章
文章代碼(AID): #1Ynd7hz4 (Soft_Job)