我在Dask上运行一些I / O密集型Python代码,并希望增加每个工作线程的线程数。我已经部署了一个Kubernetes集群,该集群运行通过helm分发的Dask。我从worker deployment template中看到,工作线程的数量设置为CPU数量,但是我想将线程数量设置得更高,除非这是一种反模式。我怎么做?
从this similar question看来,我可以使用dash调度程序并使用dask-worker
来启动工作人员了吗?但是理想情况下,我将能够通过掌舵来配置工作人员资源,这样我就不必与调度程序进行交互,只需要通过Client
向其提交作业即可。