我正在尝试使用PBSCluster在cray计算节点上运行一些计算。 我编写了dask-jobqueue脚本,如下所示:
import xarray as xr
from dask.distributed import Client
from dask_jobqueue import PBSCluster
from dask import compute
import dask
cluster = PBSCluster(queue='research',project='DaskOnPBS',local_directory='/hpcs_rnd/Python_Data_Analysis/Jatin/dask-worker-space/',cores=1,processes=1,memory='10GB',resource_spec='select=1:ncpus=36:mem=20GB:vntype=cray_compute')
cluster.scale(8)
client = Client(cluster)
但是IT管理员告诉我,我的脚本在登录节点而不是计算节点上运行。他们告诉我使用类似于aprun
的{{1}}命令在计算节点上运行此脚本。
通常,作业脚本通过以下方式在我们的HPC上提交:
mpirun
我不知道如何在PBSCluster中使用#!/bin/sh
#PBS -N any_job
#PBS -q research
#PBS -l select=1:ncpus=40:vntype=cray_compute
#PBS -l walltime=500:00:00
cd $WORK_DIRECTORY
aprun -n 40 -N 40 ./your_filename > output.log
命令在计算节点上运行我的脚本。请帮忙!