覆盖 python setuptools 中的 shebang mangling
Override the shebang mangling in python setuptools
背景
我为使用模块 (https://luarocks.org/) 管理包的系统编写了小型 python 包。不了解的可以运行 module load x
一个小脚本运行 修改各种环境变量让软件'x' 工作,你可以然后使用 module unload x
.
撤消此操作
这种软件管理方法在科学计算中几乎无处不在,并且在该领域具有很大的价值:您可以 运行 古老的未维护软件以及该软件会干扰的软件包,您可以 运行 多个版本的软件,它允许您准确地重现您的数据(您可以回到旧版本),并且您可以 运行 坦率地说,写得不好的未更新软件具有过时的依赖项。
这些功能很棒,但它们会造成 python 2/3 拆分的问题:
如果您想编写一个与 python 2 和 3 一起工作的软件包并将其与 需要 [=100] 的软件一起使用怎么办=] python 2 或 3?
让旧的 python2 依赖软件在这些大型系统上工作的方法是制作一个 python/2.7.x 模块和一个 python/3.5 模块.当你想要 运行 一个使用 python 2 的脚本时,你加载那个模块,等等
但是,我想编写一个 python 包,它可以在 任一 环境中工作,因为我希望该软件无论在哪个 [=111] =] 正在使用解释器。
这基本上非常简单:只需使用 #!/usr/bin/env python
shebang 行即可。这样可行。我编写的所有软件都可以与其中任何一个一起使用,所以没问题。
问题
问题是:我想使用 setuptools 将我的包分发给处于相同情况的其他科学家,而设置工具破坏了 shebang 行。
我不想讨论破坏 shebang 行是否是个好主意,我确信这是因为它已经存在多年,现在处于相同状态。老实说,我不在乎,它对我不起作用。默认的 setuptools 安装导致软件无法 运行,因为当 python 解释器的模块未加载时,python 解释器不起作用,PYTHONPATH
是完全错误的.
如果我的所有用户都有 root 权限,我可以使用 data_files
选项将脚本复制到 /usr/bin
,但这不是兼容性的好主意,而且我的用户不这样做无论如何都没有 root 访问权限,所以这是一个有争议的问题。
到目前为止我尝试过的事情:
我尝试在 setup.py
文件中将 sys.executable
设置为 /usr/bin/env python
,但这不起作用,因为那样的话 shebang 是:#!"/usr/bin/env python"
,这显然不起作用。
我在这个问题中尝试了 Don't touch my shebang class 的想法:Don't touch my shebang!(这是最后的答案,0 票)。这也不起作用,可能是因为它是为 distutils 而不是 setuptools 编写的。再加上这个问题已经有 6 年了。
我也看了这些问题:
Setuptools entry_points/console_scripts have specific Python version in shebang
Changing console_script entry point interpreter for packaging
那里描述的方法不起作用,shebang 行仍然被更改。
正在创建一个包含内容的 setup.cfg
文件::
[build]
executable = /usr/bin/env python
也不会改变 shebang 行重整行为。
setuptools github 页面上有一个讨论类似内容的未解决问题:
https://github.com/pypa/setuptools/issues/494
所以我认为这在本地是不可能的,但我想知道是否有解决方法?
最后,我不喜欢任何涉及要求用户修改其安装标志的解决方案,例如-e
.
有没有办法修改这个行为,或者有没有我可以使用的其他分发系统?还是这太极端了,我只需要编写某种自定义安装脚本?
谢谢大家。
更新
我想我原来的问题不够清楚,我希望用户能够做的是:
- 在 python2 和 python3 中安装包(模块将进入 lib/pythonx/site-lib.
- 能够运行脚本,无论哪个python环境处于活动状态。
如果有一种方法可以在不阻止 shebang munging 的情况下完成此操作,那就太好了。
我所有的代码都已经兼容 python 2.7 和 python 3.3+ 开箱即用,主要的是制作脚本 运行 而不管 [=111] =] 环境.
我在尝试编写自定义安装脚本时无意中发现了一个解决方法。
import os
from setuptools import setup
from setuptools.command.install import install
here = os.path.abspath(os.path.dirname(__file__))
# Generate a list of python scripts
scpts = []
scpt_dir = os.listdir(os.path.join(here, 'bin'))
for scpt in scpt_dir:
scpts.append(os.path.join(here, 'bin', scpt))
class ScriptInstaller(install):
"""Install scripts directly."""
def run(self):
"""Wrapper for parent run."""
super(ScriptInstaller, self).run()
setup(
cmdclass={'install': ScriptInstaller},
scripts=scpts,
...
)
这段代码并不完全符合我的要求(只改变了 shebang 行),它实际上只是将整个脚本复制到 ~/.local/bin
,而不是将其包装在 ::
中
__import__('pkg_resources').run_script()
此外,更令人担忧的是,此方法使 setuptools 创建一个根模块目录和一个 egg-info 目录,如下所示::
.local/lib/python3.5/site-packages/cluster
.local/lib/python3.5/site-packages/python_cluster-0.6.1-py3.5.egg-info
而不是一个鸡蛋,这是通常的行为::
.local/lib/python3.5/site-packages/python_cluster-0.6.1-py3.5.egg
据我所知,这是旧版 distutils 的行为,这让我担心此安装会在某些系统上失败或出现其他意外行为(尽管如果我错了请纠正我,我真的没有这方面的专家)。
但是,考虑到我的代码将几乎完全用于 linux 和 OS X,这并不是世界末日。我更担心这种行为很快就会消失。
我在 setuptools github 页面上发布了关于开放功能请求的评论:
https://github.com/pypa/setuptools/issues/494
理想的解决方案是,如果我可以向 setup.cfg 添加一个 executable=/usr/bin/env python
语句,希望它能尽快重新实现。
不过,此解决方法目前对我有用。谢谢大家
背景
我为使用模块 (https://luarocks.org/) 管理包的系统编写了小型 python 包。不了解的可以运行 module load x
一个小脚本运行 修改各种环境变量让软件'x' 工作,你可以然后使用 module unload x
.
这种软件管理方法在科学计算中几乎无处不在,并且在该领域具有很大的价值:您可以 运行 古老的未维护软件以及该软件会干扰的软件包,您可以 运行 多个版本的软件,它允许您准确地重现您的数据(您可以回到旧版本),并且您可以 运行 坦率地说,写得不好的未更新软件具有过时的依赖项。
这些功能很棒,但它们会造成 python 2/3 拆分的问题:
如果您想编写一个与 python 2 和 3 一起工作的软件包并将其与 需要 [=100] 的软件一起使用怎么办=] python 2 或 3?
让旧的 python2 依赖软件在这些大型系统上工作的方法是制作一个 python/2.7.x 模块和一个 python/3.5 模块.当你想要 运行 一个使用 python 2 的脚本时,你加载那个模块,等等
但是,我想编写一个 python 包,它可以在 任一 环境中工作,因为我希望该软件无论在哪个 [=111] =] 正在使用解释器。
这基本上非常简单:只需使用 #!/usr/bin/env python
shebang 行即可。这样可行。我编写的所有软件都可以与其中任何一个一起使用,所以没问题。
问题
问题是:我想使用 setuptools 将我的包分发给处于相同情况的其他科学家,而设置工具破坏了 shebang 行。
我不想讨论破坏 shebang 行是否是个好主意,我确信这是因为它已经存在多年,现在处于相同状态。老实说,我不在乎,它对我不起作用。默认的 setuptools 安装导致软件无法 运行,因为当 python 解释器的模块未加载时,python 解释器不起作用,PYTHONPATH
是完全错误的.
如果我的所有用户都有 root 权限,我可以使用 data_files
选项将脚本复制到 /usr/bin
,但这不是兼容性的好主意,而且我的用户不这样做无论如何都没有 root 访问权限,所以这是一个有争议的问题。
到目前为止我尝试过的事情:
我尝试在 setup.py
文件中将 sys.executable
设置为 /usr/bin/env python
,但这不起作用,因为那样的话 shebang 是:#!"/usr/bin/env python"
,这显然不起作用。
我在这个问题中尝试了 Don't touch my shebang class 的想法:Don't touch my shebang!(这是最后的答案,0 票)。这也不起作用,可能是因为它是为 distutils 而不是 setuptools 编写的。再加上这个问题已经有 6 年了。
我也看了这些问题:
Setuptools entry_points/console_scripts have specific Python version in shebang
Changing console_script entry point interpreter for packaging
那里描述的方法不起作用,shebang 行仍然被更改。
正在创建一个包含内容的 setup.cfg
文件::
[build]
executable = /usr/bin/env python
也不会改变 shebang 行重整行为。
setuptools github 页面上有一个讨论类似内容的未解决问题:
https://github.com/pypa/setuptools/issues/494
所以我认为这在本地是不可能的,但我想知道是否有解决方法?
最后,我不喜欢任何涉及要求用户修改其安装标志的解决方案,例如-e
.
有没有办法修改这个行为,或者有没有我可以使用的其他分发系统?还是这太极端了,我只需要编写某种自定义安装脚本?
谢谢大家。
更新
我想我原来的问题不够清楚,我希望用户能够做的是:
- 在 python2 和 python3 中安装包(模块将进入 lib/pythonx/site-lib.
- 能够运行脚本,无论哪个python环境处于活动状态。
如果有一种方法可以在不阻止 shebang munging 的情况下完成此操作,那就太好了。
我所有的代码都已经兼容 python 2.7 和 python 3.3+ 开箱即用,主要的是制作脚本 运行 而不管 [=111] =] 环境.
我在尝试编写自定义安装脚本时无意中发现了一个解决方法。
import os
from setuptools import setup
from setuptools.command.install import install
here = os.path.abspath(os.path.dirname(__file__))
# Generate a list of python scripts
scpts = []
scpt_dir = os.listdir(os.path.join(here, 'bin'))
for scpt in scpt_dir:
scpts.append(os.path.join(here, 'bin', scpt))
class ScriptInstaller(install):
"""Install scripts directly."""
def run(self):
"""Wrapper for parent run."""
super(ScriptInstaller, self).run()
setup(
cmdclass={'install': ScriptInstaller},
scripts=scpts,
...
)
这段代码并不完全符合我的要求(只改变了 shebang 行),它实际上只是将整个脚本复制到 ~/.local/bin
,而不是将其包装在 ::
__import__('pkg_resources').run_script()
此外,更令人担忧的是,此方法使 setuptools 创建一个根模块目录和一个 egg-info 目录,如下所示::
.local/lib/python3.5/site-packages/cluster
.local/lib/python3.5/site-packages/python_cluster-0.6.1-py3.5.egg-info
而不是一个鸡蛋,这是通常的行为::
.local/lib/python3.5/site-packages/python_cluster-0.6.1-py3.5.egg
据我所知,这是旧版 distutils 的行为,这让我担心此安装会在某些系统上失败或出现其他意外行为(尽管如果我错了请纠正我,我真的没有这方面的专家)。
但是,考虑到我的代码将几乎完全用于 linux 和 OS X,这并不是世界末日。我更担心这种行为很快就会消失。
我在 setuptools github 页面上发布了关于开放功能请求的评论:
https://github.com/pypa/setuptools/issues/494
理想的解决方案是,如果我可以向 setup.cfg 添加一个 executable=/usr/bin/env python
语句,希望它能尽快重新实现。
不过,此解决方法目前对我有用。谢谢大家