[問題] 爬蟲如何做到多進程異步處理

看板Python作者 (搖滾少女!! 活力棉花糖!!)時間1年前 (2022/10/05 10:48), 編輯推噓2(2推 0噓 7→)
留言9則, 4人參與, 1年前最新討論串1/1
模擬程式碼大概這樣 https://pastebin.com/Ty672dLY 先創進程池 然後在裡面跑任務 不過是跑不動的 要移除第八行 async 跟 第十四行的 await 才能跑(而且就算移除有機率會卡死) 但移除後 其實只是加一堆冗餘程式碼跑同步處理沒有異步處理 我哪裡需要修改 才能在單一進程裡面執行異步處理 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.163.218.100 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1664938091.A.D6A.html
→
10/05 11:06, 1年前 , 1F
你搞混concurrent跟async
10/05 11:06, 1F
推
10/05 15:23, 1年前 , 2F
沒仔細看你其它部份，但你的do_stuff裡面的sleep不能用
10/05 15:23, 2F
→
10/05 15:23, 1年前 , 3F
time.sleep，得改用 await asyncio.sleep
10/05 15:23, 3F
→
10/05 18:17, 1年前 , 4F
43行加個tab
10/05 18:17, 4F
推
10/06 08:41, 1年前 , 5F
是44行多個tab吧 async內用time.sleep就會停住所有
10/06 08:41, 5F
→
10/06 08:41, 1年前 , 6F
coroutines
10/06 08:41, 6F
→
10/07 00:35, 1年前 , 7F
嚇歪
10/07 00:35, 7F
→
10/07 01:13, 1年前 , 8F
你是不是想找：
10/07 01:13, 8F
→
10/07 01:13, 1年前 , 9F
10/07 01:13, 9F
‣ 更多 surimodo 的文章
文章代碼(AID): #1ZFF1hrg (Python)