qsub 作业使用 GNU parallel not 运行

Question

我正在尝试使用 GNU 并行在多节点 (2) 和 PPN 为 20 的情况下执行 qsub 作业，但是它显示了一些错误。

#!/bin/bash
#PBS -l nodes=2:ppn=20
#PBS -l walltime=02:00:00
#PBS -N down

cd $PBS_O_WORKDIR
module load gnu-parallel

for cdr in /scratch/data/v/mt/Downscale/*;do
  (cp /scratch/data/v/mt/DWN_FILE_NEW/* $cdr/)
  (cd $cdr && parallel -j20 --sshloginfile $PBS_NODEFILE 'echo {} | ./vari_1st_imge' ::: *.DS0 )
done

当我运行上面的代码时，我得到了以下错误（请注意所有路径都被正确检查，没有 qsub 的相同代码在普通计算机上是运行ning 正确）

$ ./down 
parallel: Error: Cannot open echo {} | ./vari_1st_imge.

& for $qsub down -- 没有输出正在创建

我正在使用并行 --version GNU 并行 20140622

请帮忙解决问题

Answer 1

首先尝试将 --dryrun 添加到 parallel。

但我的感觉是 $PBS_NODEFILE 由于某种原因没有设置，GNU Parallel 试图读取命令作为 --sshloginfile.

要对此进行测试：

echo $PBS_NODEFILE
(cd $cdr && parallel --sshloginfile $PBS_NODEFILE -j20 'echo {} | ./vari_1st_imge' ::: *.DS0 )

如果 GNU Parallel 现在尝试打开 -j20 那么很明显它是空的。

qsub 作业使用 GNU parallel not 运行

qsub Job using GNU parallel not running

qsub