[問題] 模型產品化時效率與加速問題

看板DataScience作者DiscreteMath (離散數學)時間4年前 (2020/01/28 01:18)推噓6(6推 0噓 19→)

留言25則, 5人參與討論串1/1

各位前輩好，小弟最近在做一個side project，目標是做成一個小的prototype 由於是自行摸索的，所以遇到一些問題，希望能得到大家的建議用一句話描述目前技術與瓶頸，就是我是使用wavenet來解決音訊相關的問題，所以有極高的real-time需求目前使用稍大的模型已經取得初步成果，也成功的把模型轉成C++，接下來的問題就是如何對模型進行"瘦身" 讓小弟將問題一一陳述： 1. framework的選用 (in C++) 我是使用pytorch，他對於C++相關的文件支援其實我覺得很夠用了，我沒花多少時間就成功deploy。TF似乎在某版後就需要使用他們自己的編譯工具，考量到我還要和其他框架合併，而且C++並不那麼熟悉，libtorch可以自己寫CMAKE其實方便很多。還有就是寫pytorch真的很養生XDDD 第一個問題就是，同樣的graph，TF和pytorch在C++效能會差很多嗎？又或是我有看到有人用Eigen重新刻一個，也耳聞業界似乎會使用C/C++重寫，有這方面的學習資源，建議或是經驗嗎? 或是有好的Github repo能參考嗎？那重刻的效能大概會提升多少？ 2. GPU 考量到使用場景，應該不會使用GPU，希望是"僅使用CPU"的情況下去想如何加速，那CUDA 加速似乎就出局了（？其實目前應該是不希望藉由額外的硬體來做加速，但如果有硬體（音效卡，晶片，GPU）方面加速的經驗或是建議，還是非常歡迎喔！ 3. Model Pruning 這詞也是聽朋友說的XD 由於以往在碩班，如果train不起來performance不好就是加深加大，其實對於模型的效能完全不考慮。有聽說浮點數換整數，還有運用一些手法來抽換掉不重要的filter等等網路上也蠻多討論的，想知道該從哪個方法下手呢？ 4. Parameter Searching 例如想驗證設計的架構是否正確，可以先使用極小筆的資料先overfitting 那在搜尋"最小"or"最少參數"模型的場景，有沒有類似的理念，或是哪些有效率的方法呢？ ----- 分割線 ----- 簡而言之，就是小弟我太菜啦XDDD 剛畢業進入業界，才發現要把Deep Learning落地，其實坑還不少鑑於公司人不多，而且還沒有這方面的強烈需求（未來可能會有）但自己又蠻想練功的，所以想徵詢這邊各位前輩的意見問題有點多，有些領域和技術還是懵懵懂懂，還請各位版友不吝指教謝謝！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.82.91.252 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1580145487.A.0B9.html

推

[問題] 模型產品化時 效率與加速問題

[問題] 模型產品化時效率與加速問題