Re: py

看板Marginalman作者sustainer123 (溫水佳樹的兄長大人)時間1年前 (2024/09/25 15:23)推噓1(1推 0噓 6→)

留言7則, 2人參與討論串7/16 (看更多)

※ 引述《sustainer123 (溫水佳樹的兄長大人)》之銘言： : 進程(process) : 進程是載入記憶體且將執行的程式 : 打開工作管理員 : 裡面的東西就是進程 : 每個進程會被分配一個獨立id(pid) : 簡單來講電腦執行一項任務就是一個進程 : 多進程(mutiprocessing) : 假設我們需要同時完成多個任務 : 這時候可以使用多進程 : 多進程也就是說主進程外再建立子進程 : 並且把主進程的東西整份copy過去子進程 : unix中 python可以使用fork()建立子進程 : fork()會把主進程的東西複製到子進程 : 並回傳pid到主進程與子進程 : 主進程會拿到子進程的pid : 子進程會拿到0 : 假設子進程需要主進程的pid : 可以使用get.ppid() : windows並沒有fork指令 : 我看文檔 windows只能用spawn : spawn與fork差別我沒看很懂 : 大致上就fork比較快但比較不安全 : spawn比較慢但比較安全 : 反正windows也用不到spawn以外兩種先這樣:))) : 有興趣可以看下面網站 : 總之我們使用multiprocessing : 我直接copy py文檔的code: : from multiprocessing import Process : import os : def info(title): : print(title) : print('module name:', __name__) : print('parent process:', os.getppid()) : print('process id:', os.getpid()) : def f(name): : info('function f') : print('hello', name) : if __name__ == '__main__': : info('main line') : p = Process(target=f, args=('bob',)) : p.start() : p.join() : 輸出: : main line : module name: __main__ : parent process: 1280 : process id: 24780 : function f : module name: __mp_main__ : parent process: 24780 : process id: 3672 : hello bob : 首先程式執行主進程 : 之後程式執行子進程 : 這邊使用process這個類完成任務 : target是目標函數 args是傳入目標函數的參數 : p.start()是啟動子進程 : p.join()是等待子進程結束才會往下運行 : 假設一次要設置多個進程 : 我們可以使用pool 一樣使用文檔code: : from multiprocessing import Pool : def f(x): : return x*x : if __name__ == '__main__': : with Pool(5) as p: : print(p.map(f, [1, 2, 3,4,5,6])) : 這邊我有修改一下我在list裡面多加幾個元素 : 這程式是pool池開五個進程 : 然後子進程去處理下面的程式 : 我們這邊只開五個進程但裡面有6個元素 : 所以6必須等到有個進程被釋出此元素才會被處理 : 一般來說 pool開的大小 == cpu核數 : 等等再寫進程間溝通跟鎖先這樣 : 參考資料: : https://stackoverflow.com/questions/64095876/multiprocessing-fork-vs-spawn : https://docs.python.org/zh-cn/3.12/library/multiprocessing.html 接著講進程間構通 multiprocessing提供兩種方法queue與pipe doc: from multiprocessing import Process, Queue def f(q): q.put([42, None, 'hello']) if __name__ == '__main__': q = Queue() p = Process(target=f, args=(q,)) p.start() print(q.get()) # 打印 "[42, None, 'hello']" p.join() 首先創queue 之後創建子進程執行函數f 參數為queue 開始執行子進程主進程打印q裡面的東西這邊q.get()會等到queue裡面有東西為止最後確認子進程結束才繼續父進程 pipe doc: from multiprocessing import Process, Pipe def f(conn): conn.send([42, None, 'hello']) conn.close() if __name__ == '__main__': parent_conn, child_conn = Pipe() p = Process(target=f, args=(child_conn,)) p.start() print(parent_conn.recv()) # 打印 "[42, None, 'hello']" p.join() 程式碼大同小異 queue跟pipe的差別在於: 假設有兩個進程或線程(thread)同時讀或同時寫會出問題但queue沒差使用場景可能就pipe適合只有兩個進程的溝通 queue隨便你用再談一下鎖有些情況下我們會希望執行完成進程1再執行進程2 這就需要用上鎖 doc: from multiprocessing import Process, Lock def f(l, i): l.acquire() try: print('hello world', i) finally: l.release() if __name__ == '__main__': lock = Lock() for num in range(10): Process(target=f, args=(lock, num)).start() l.acquire()是獲取鎖假設鎖被其他進程拿走這邊就會卡著 l.release() 釋放鎖沒這個會整個程式卡死一定要寫鎖大致上就長這樣我稍微改寫一下上面的code 假設沒鎖的情況: from multiprocessing import Process def f(i): print('hello world', i) if __name__ == '__main__': for num in range(10): p = Process(target=f, args=(num,)) p.start() 輸出: hello world 1 hello world 0 hello world 2 hello world 3 hello world 4 hello world 5 hello world 6 hello world 7 hello world 8 hello world 9 假如沒有鎖順序可能就會亂掉多進程大抵這樣使用場合就cpu密集任務ㄅ不過要搞cpu密集任務 py這性能還不如用別的語言寫老實說我實戰也還沒用過多進程 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.119.233.6 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1727249016.A.1D9.html

→

JerryChungYC

09/25 15:31, 1年前 , 1^F

09/25 15:31, 1^F

→