使Python Multiprocessing运行返回多个数据框的功能(并保持其格式化为数据框的格式)的问题。

*下面是我尝试运行的代码的快速示例。我可以执行代码,但是我的分布式函数以元组而不是大型数据帧的形式返回m1,m2,m3,m4 (df1,df2 ...)这并不意外,但是尝试更改dfs输出结果的代码使代码无法执行。

不介意,如果df1与其他df1数据帧串联在一起,但在思考如何使其有效运行并将结果输出为数据帧。谢谢。

import multiprocessing as mp
import pandas as pd

a=some range
b=some range
c=some range

def function(dict1,dict2,paramlist):
   **Do stuff*
   return df1,df2,df3,df4


paramlist = ((x,y,z) for x in a for y in b for z in c for r in e)

if __name__ ==  '__main__':

    num_processors = 3
    p=mp.Pool(processes = num_processors)
    m1,m2,m3,m4 = zip(*p.starmap(functools.partial(function,dict1,dict2),paramlist))
bbyyk 回答:使Python Multiprocessing运行返回多个数据框的功能(并保持其格式化为数据框的格式)的问题。

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3115165.html

大家都在问