如何使用命名参数提交多个 python 文件？

Question

我有一些 python 文件要提交。

a.py
b.py
c.py

a.py 是主文件，它会像这样解析参数。

    argument_parser = argparse.ArgumentParser()
    argument_parser.add_argument('--some-value')
    argument_parser.add_argument('--other-value')
    argument_parser.add_argument('--and-so-on')

我想我知道如何使用 --py-files 选项。

spark-submit \
  ... \
  --py-files a.py,b.py,c.py

当我提出这样的论点时。

spark-submit \
  ... \
  --py-files a.py,b.py,c.py
  --some-value some \
  --other-value other \
  --and-so-on and

我似乎将这些论点传递给了 spark-submit 并且它抱怨了。

Error: Unrecognized option: --some-value

我该如何解决这个问题？

Answer 1

试试：

spark-submit \
  ... \
  --py-files b.py,c.py \
  a.py \
  --some-value some \
  --other-value other \
  --and-so-on and

如何使用命名参数提交多个 python 文件？

How can I submit multiple python files with named arguments?

python

pyspark