[問題] multiprocessing 的 Pool.map

看板Python作者 (笑看人生)時間8年前發表 (2017/04/22 15:50), 8年前編輯推噓0(0018)
留言18則, 3人參與, 最新討論串1/2 (看更多)
系統:win7 x64 sp1 python:3.5.1 Pool.map 看官方文件是 blocking 所以應該可以印出 0~29 的所有數字 但發現,若 print 有設定 end,行為會變成是 blocking 請問這是 bug 嗎?感謝 程式碼如下 from multiprocessing import Pool import time def f(x): time.sleep(0.1) # NG print(x, end=' ') # OK # print(x) if __name__ == '__main__': pool = Pool() pool.map(f, range(30)) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.174.136.246 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1492876229.A.D58.html ※ 編輯: zps (1.174.136.246), 04/22/2017 23:51:16

04/23 01:20, , 1F
不是
04/23 01:20, 1F

04/23 01:49, , 2F
print 預設的 file = sys.stdout 是共用的, 設 flush=True
04/23 01:49, 2F

04/23 01:49, , 3F
可以解決這個 racing condition
04/23 01:49, 3F

04/23 10:45, , 4F
請問是否可以想成,print 已執行,但還來不及輸出
04/23 10:45, 4F

04/23 10:46, , 5F
程式就結束了,所以若有加上 join 會有效
04/23 10:46, 5F

04/23 10:47, , 6F
可是為何 print(x) 仍有效呢?
04/23 10:47, 6F

04/23 12:11, , 7F
zerof 的意思是指說當有一個以上的行程同時跑到 print
04/23 12:11, 7F

04/23 12:12, , 8F
時,會變成序列化的輸入,造成看起來是 blocking
04/23 12:12, 8F

04/23 12:13, , 9F
和你有沒有加 join 應該是沒關係~
04/23 12:13, 9F

04/23 14:00, , 10F
印出不連續這部分我了解,但我的問題主要是印不到30個就結束
04/23 14:00, 10F

04/23 14:01, , 11F
理論上,pool.map 應該都要等到 subprocess 跑完才會結束
04/23 14:01, 11F

04/23 14:02, , 12F
但我實際 run 的結果,有時卻是不到30個就結束了
04/23 14:02, 12F

04/23 14:02, , 13F
但 print(x) 卻可行,後來試過加上 flush 也是可行的
04/23 14:02, 13F

04/23 20:39, , 14F
你可以做一個實驗,每個 process 都印自己的 pid
04/23 20:39, 14F

04/23 20:40, , 15F
os.getpid() 個人猜測是發生同時寫入相互覆蓋
04/23 20:40, 15F

04/23 21:21, , 16F
04/23 21:21, 16F
感謝兩位,以下是我實驗的結果 跑出來的有三種結果,CPU 是雙核的,所以預設會產生兩個 subprocess 為求簡單,我改成 range(5),然後印出 pid 1. 沒印出任何東西 2. 4376 4376 4376 (印出三個 pid) 3. 5772 5772 (印出二個 pid) 就我個人的理解,因 print 會先 buffer,之後才會一併顯示在螢幕上 2 & 3 應該是相互覆蓋所造成的,但若是相互覆蓋造成的 理論上改為以下的 code 應該也是同樣的情況,加上 close() & join() pool = Pool() pool.map(f, range(5)) pool.close() pool.join() 此時的結果會有兩種 5388 5388 5388 3188 3188 (印出五個 pid,前三後二) 5156 5156 5980 5980 5980 (印出五個 pid,前二後三) 卻可以正常顯示五個 pid,這裡跟我前面的推論矛盾了 而 1 的部分,完全沒印出東西,也是我覺得納悶的地方 在 win7x32, Python 3.6.1 下,也有一樣的情況 請問是否有什麼地方沒考慮到呢? ※ 編輯: zps (1.175.122.168), 04/23/2017 21:58:40

04/24 01:18, , 17F
明天再找時間回你...覺得把問題複雜化了QQ
04/24 01:18, 17F

04/24 19:08, , 18F
太感謝了 Orz
04/24 19:08, 18F
文章代碼(AID): #1O-tl5rO (Python)
文章代碼(AID): #1O-tl5rO (Python)