如何同時運算多個資料的模型結果?

看板DataScience作者 (Tinysecret)時間4年前 (2019/07/17 23:34), 編輯推噓3(3推 0噓 7→)
留言10則, 3人參與, 4年前最新討論串1/1
作業系統:windows10 問題類別:同時運算資料，並能幾乎同時得到結果 使用工具:python,flask 問題內容: 各位大神們好: 小弟碩士論文想要做個系統，目前卡在一個地方， 假設有三個資料存在mysql當中， 如果想要同時讀取資料， 並且匯入同一個模型(svm)， 以及想要幾乎同時得出三個結果於資料庫裡， 並且最後利用flask把數值呈現於頁面上。 想請問各位大神們， 這是需要利用到python多進程的方式， 還是利用設定排程方式同時執行檔案呢? 或者有其他更好的方式， 能夠協助釐清想法，好進行下一步。 謝謝各位 ----- Sent from JPTT on my Asus ASUS_Z012DA. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.43.84.47 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1563377686.A.2BF.html
推
07/18 09:53, 4年前 , 1F
想要加速就用多進程，你可以每個進程各自取得db連線取
07/18 09:53, 1F
→
07/18 09:53, 4年前 , 2F
資料做訓練，想要同時呈現就只要用一個api response三
07/18 09:53, 2F
→
07/18 09:53, 4年前 , 3F
個模型的結果就是同時了，你用個別api也會因為網路延遲
07/18 09:53, 3F
→
07/18 09:53, 4年前 , 4F
而延遲。如果你是想要回傳進度就用batch，在用socket回
07/18 09:53, 4F
→
07/18 09:53, 4年前 , 5F
傳進度狀態到前端呈現就好了
07/18 09:53, 5F
推
07/19 21:47, 4年前 , 6F
買macbook
07/19 21:47, 6F
推
07/20 00:38, 4年前 , 7F
注意 python 實際上有 global lock，thread 處理 I/O 才
07/20 00:38, 7F
→
07/20 00:38, 4年前 , 8F
有作用
07/20 00:38, 8F
→
07/20 00:39, 4年前 , 9F
你這個情況看起來是輸入的資料形式都相同，不能並為同個
07/20 00:39, 9F
→
07/20 00:39, 4年前 , 10F
矩陣一次算完再分割嗎？
07/20 00:39, 10F
‣ 更多 qaz992030 的文章
文章代碼(AID): #1TBq0MA_ (DataScience)