[問題] subprocess可以當作subprocess的輸入嗎？

看板Python作者gigayaya (gigayaya)時間7年前 (2018/07/19 11:54)推噓2(2推 0噓 6→)

留言8則, 4人參與討論串1/1

各位好，我在運用multiprocessing的時候遇到一個問題程式架構如下： main -----> subprocess(計算者) | | |----> subprocess(產生資料者) . . . . . . -----> subprocess(產生資料者) 運作方式是，main會產生一個subprcess，這個prcoess會負責接收輸入資料並計算然後回傳然後main會產生很多個subprcoess負責產生資料，這幾個負責產生資料後，將資料餵給第一個計算者得到回傳後return給main 我的做法是：第一個解答者用p = Popen產生，並且用PIPE做輸入輸出的溝通後面的用pool然後pool.apply_async將p作為args輸入這個做法會拋出一個錯誤：typeerror: can't pickle _thread.lock objects google了一下好像是process這個物件不可序列化所以不能當作process的輸入因為計算者會用到比較多的資源不能每個產生資料者都配一個計算者，所以我當初才會想用這個架構，藉由subprocess之間互相溝通來提升程式的效率不知道要怎麼樣才可以達到我的目的，希望各位前輩幫忙解惑，謝謝。 --

噓

mmmmO

07/26 01:40,

07/26 01:40

→

mmmmmO

07/26 01:42,

07/26 01:42

→

Ommmmm

07/26 01:43,

07/26 01:43

→

mmmmmO

07/26 01:51,

07/26 01:51

-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.231.21.240 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1531972455.A.B2B.html

推

laputaflutin

07/19 13:26, 7年前 , 1^F

07/19 13:26, 1^F

→

laputaflutin

07/19 13:27, 7年前 , 2^F

07/19 13:27, 2^F

抱歉，剛剛想到比較正確的說法，早上頭昏昏的忘記了XD 我有一個Producer&Consumer的程式，我的問題是：Consumer占用的資源很大，不能透過增加多個Consumer來加速整體的進行而Producer占用的資源不多可以有很多個。我用multiprocessing分別創建Producer&Consumer的subprocess，但是在想要讓 Producer將資料丟給Consumer的時候失敗了，因為process不能作為agrs 所以應該是需要一個中間的buffer來幫忙傳遞資料，就像celery的borker一樣感謝樓上大大，我來研究一下

→

sma1033

07/19 15:30, 7年前 , 3^F

07/19 15:30, 3^F

※ 編輯: gigayaya (36.231.21.240), 07/19/2018 20:31:37

→

kenduest

07/19 20:49, 7年前 , 4^F

07/19 20:49, 4^F

→

laputaflutin

07/19 23:13, 7年前 , 5^F