*下面是我尝试运行的代码的快速示例。我可以执行代码,但是我的分布式函数以元组而不是大型数据帧的形式返回m1,m2,m3,m4 (df1,df2 ...)这并不意外,但是尝试更改dfs输出结果的代码使代码无法执行。
我不介意,如果df1与其他df1数据帧串联在一起,但在思考如何使其有效运行并将结果输出为数据帧。谢谢。
import multiprocessing as mp
import pandas as pd
a=some range
b=some range
c=some range
def function(dict1,dict2,paramlist):
**Do stuff*
return df1,df2,df3,df4
paramlist = ((x,y,z) for x in a for y in b for z in c for r in e)
if __name__ == '__main__':
num_processors = 3
p=mp.Pool(processes = num_processors)
m1,m2,m3,m4 = zip(*p.starmap(functools.partial(function,dict1,dict2),paramlist))