[問題] Pool and for loop
Code 先奉上:
from multiprocessing import Pool
import numpy as np
Nj=2
Dataold=np.zeros((5,Nj))
def MT(i):
DataMT=np.zeros((Nj))
for j in range(0,Nj):
DataMT[j]=Dataold[i,j]+i
return DataMT
if __name__=='__main__':
for k in range(0,2):
pool = Pool(processes=6)
list_start_vals = range(0, 5)
array_3D = np.array(pool.map(MT, list_start_vals))
Dataold = array_3D
print(array_3D[4,0])
pool.close()
output:
4.0
4.0
問題:
原本預計第二個4.0應該要是8.0，因為認為Dataold = array_3D會把原本定
義的Dataold取代掉，並帶入第二圈的k迴圈，但事實上並沒有。
解: 沒事了... 我改在linux上跑就沒問題
而windows會跑失敗，原因大概是spawn和folk的設定差異
(此文不刪，留給有類似問題的人參考)
描述:
1. 第一個4.0是來自於 k=0, 第二個是 k=1
2. 其中一個解法: 把pool.map 改成pool.starmap，並且把Dataold當作參數
但實際要跑的code很巨大，Dataold會是一個巨大的array
因此這樣寫code會跑很慢很沒效率
3. pool.map 會給一個 1*2 的 array
而np.array(pool.map(....))會把上面的array排成 5*2 array
感謝! 我只有微薄的P幣能夠報恩，謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 23.242.118.130 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1628222390.A.580.html
※ 編輯: Draic5566 (23.242.118.130 美國), 08/06/2021 12:05:46
※ 編輯: Draic5566 (23.242.118.130 美國), 08/06/2021 12:21:23
推
08/06 15:52,
3年前
, 1F
08/06 15:52, 1F
→
08/06 15:52,
3年前
, 2F
08/06 15:52, 2F
→
08/06 15:52,
3年前
, 3F
08/06 15:52, 3F
→
08/06 15:52,
3年前
, 4F
08/06 15:52, 4F
→
08/06 16:26,
3年前
, 5F
08/06 16:26, 5F
→
08/06 16:26,
3年前
, 6F
08/06 16:26, 6F
→
08/06 16:26,
3年前
, 7F
08/06 16:26, 7F
→
08/06 16:26,
3年前
, 8F
08/06 16:26, 8F
→
08/06 16:30,
3年前
, 9F
08/06 16:30, 9F
→
08/06 16:30,
3年前
, 10F
08/06 16:30, 10F
→
08/06 16:30,
3年前
, 11F
08/06 16:30, 11F
謝謝，我也試過用Array把Dataold設定lock=false
但似乎沒用，google許久才發現windows似乎鎖死spawn
※ 編輯: Draic5566 (23.242.118.130 美國), 08/07/2021 00:54:54
Python 近期熱門文章
PTT數位生活區 即時熱門文章
