将dask-jobqueue作业提交到计算节点

我正在尝试使用PBSCluster在cray计算节点上运行一些计算。 我编写了dask-jobqueue脚本,如下所示:

import xarray as xr
from dask.distributed import Client
from dask_jobqueue import PBSCluster
from dask import compute
import dask

cluster = PBSCluster(queue='research',project='DaskOnPBS',local_directory='/hpcs_rnd/Python_Data_Analysis/Jatin/dask-worker-space/',cores=1,processes=1,memory='10GB',resource_spec='select=1:ncpus=36:mem=20GB:vntype=cray_compute')

cluster.scale(8)
client = Client(cluster)

但是IT管理员告诉我,我的脚本在登录节点而不是计算节点上运行。他们告诉我使用类似于aprun的{​​{1}}命令在计算节点上运行此脚本。

通常,作业脚本通过以下方式在我们的HPC上提交:

mpirun

我不知道如何在PBSCluster中使用#!/bin/sh #PBS -N any_job #PBS -q research #PBS -l select=1:ncpus=40:vntype=cray_compute #PBS -l walltime=500:00:00 cd $WORK_DIRECTORY aprun -n 40 -N 40 ./your_filename > output.log 命令在计算节点上运行我的脚本。请帮忙!

cs52012301 回答:将dask-jobqueue作业提交到计算节点

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3123854.html

大家都在问