python3 的编码问题并单击包

Question

当库 click 检测到运行时间是 python3 但编码是 ASCII 时，它会突然结束 python 程序：

RuntimeError: Click will abort further execution because Python 3 was configured to use ASCII as encoding for the environment. Either switch to Python 2 or consult http://click.pocoo.org/python3/ for mitigation steps.

我在我的案例中找到了这个问题的原因，当我从我的 Mac 连接到我的 Linux 主机时，Terminal.app 将 SSH 会话区域设置设置为我的 Mac locale (es_ES.UTF-8) 但是我的 Linux host 还没有安装这样的 locale (only en_US.utf-8).

我应用了初始解决方法来修复它（但它有很多问题，请参阅已接受的答案）：

import locale, codecs
# locale.getpreferredencoding() == 'ANSI_X3.4-1968'
if codecs.lookup(locale.getpreferredencoding()).name == 'ascii':
    os.environ['LANG'] = 'en_US.utf-8'

编辑：要获得更好的补丁，请参阅我接受的答案。

我所有的 linux 主机都安装了 'en_US.utf-8' 作为语言环境（Fedora 默认使用它）。

我的问题是：是否有更好（更强大）的方法来 choose/force python3 脚本中的语言环境？ 例如，设置一个系统中可用语言环境的数量。

也许有其他方法可以解决这个问题，但我没有找到。

Answer 1

如果你有 python 版本 >= 3.7，那么你应该不需要做任何事情。如果你有python 3.6请看原解

编辑 2017-12-08

我看到有一个用于 py3.7 的 PEP 538，它将在启动期间改变 python3 编码管理的整个行为，我认为新方法将解决原来的问题： https://www.python.org/dev/peps/pep-0538/

恕我直言，针对 python 3.7 的编码问题的更改应该在几年前就计划好了，但我想迟做总比不做好。

编辑 2015-09-01

有一个未解决的问题（增强）http://bugs.python.org/issue15216，可以轻松更改创建（未使用）流中的编码 (sys.std*)。但是针对的是python3.7所以，还得再等一段时间。

针对 python 版本 3.6

的原始解决方案

注意：任何人都不需要此解决方案运行 python 版本 >= 3.7 参见 PEP 538

好吧，我最初的解决方法有很多缺陷，我必须通过 click 库检查编码，但编码本身并没有固定，所以当输入参数或输出不正确时我会得到异常-ascii 字符。

我不得不实施一个更复杂的方法，包括 3 个步骤：设置语言环境、在 std in/out 中正确编码并重新编码命令行参数，此外我还添加了一个“友好”退出，如果第一次尝试设置语言环境没有按预期工作：

def prevent_ascii_env():
    """
    To avoid issues reading unicode chars from stdin or writing to stdout, we need to ensure that the 
    python3 runtime is correctly configured, if not, we try to force to utf-8, 
    but It isn't possible then we exit with a more friendly message that the original one.
    """
    import locale, codecs, os, sys
    # locale.getpreferredencoding() == 'ANSI_X3.4-1968'
    if codecs.lookup(locale.getpreferredencoding()).name == 'ascii':
        os.environ['LANG'] = 'en_US.utf-8'
        if codecs.lookup(locale.getpreferredencoding()).name == 'ascii':
            print("The current locale is not correctly configured in your system")
            print("Please set the LANG env variable to the proper value before to call this script")
            sys.exit(-1)
        #Once we have the proper locale.getpreferredencoding() We can change current stdin/out streams
        _, encoding = locale.getdefaultlocale()
        import io
        sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding=encoding, errors="replace", line_buffering=True)
        sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding=encoding, errors="replace", line_buffering=True)
        sys.stdin = io.TextIOWrapper(sys.stdin.detach(), encoding=encoding, errors="replace", line_buffering=True)
        # And finally we need to re-encode the input parameters
        for i, p in enumerate(sys.argv):
            sys.argv[i] = os.fsencode(p).decode()

这个补丁解决了几乎所有问题，但是它有一个警告，方法 shutils.get_terminal_size() 引发了一个 ValueError 因为 sys.__stdout__ 已经分离，click lib 使用那种打印帮助的方法，为了修复它，我不得不在 click lib

上应用猴子补丁

def wrapper_get_terminal_size():
    """
    Replace the original function termui.get_terminal_size (click lib) by a new one 
    that uses a fallback if ValueError exception has been raised
    """
    from click import termui, formatting
    
    old_get_term_size = termui.get_terminal_size
    def _wrapped_get_terminal_size():
        try:
            return old_get_term_size()
        except ValueError:
            import os
            sz = os.get_terminal_size()
            return sz.columns, sz.lines
    termui.get_terminal_size = _wrapped_get_terminal_size
    formatting.get_terminal_size = _wrapped_get_terminal_size

当环境配置错误但系统支持 en_US.utf-8（这是 Fedora 默认语言环境）时，我的所有脚本现在都可以正常工作。

如果您发现此方法有任何问题或有更好的解决方案，请添加新答案。

Answer 2

这是一个陈旧的话题，但是这个答案可能对以后的其他人或我自己有所帮助。如果是 *nux

env | grep LC_ALL

如果已设置，请执行以下操作。就这些了。

unset LC_ALL

Answer 3

我还没有找到这个简单的方法（在做任何事情之前用适当的环境重新执行脚本）所以出于某种原因我会为未来使用旧 Python 版本的旅行者添加它。将它添加到第一个 imports 中：

if os.environ["LC_ALL"] != "C.UTF-8" or os.environ["LANG"] != "C.UTF-8":
    os.execve(sys.executable,
              [os.path.realpath(__file__)] + sys.argv,
              {"LC_ALL": "C.UTF-8", "LANG": "C.UTF-8"})

Answer 4

如果你是运行 python 3.6那么你仍然会得到这个错误。这是 click 的作者推荐的一个简单的解决方案：

#!/bin/bash
# before your python code executes set two environment variables
export LANG=en_US.utf8
export LC_ALL=en_US.utf8

注意：将这些值替换为您配置的区域设置
注意：this solution is even given in the PEP 538 document seen here.

python3 的编码问题并单击包

Encoding issue with python3 and click package

encoding

command-line-interface

python-3.x

python-click

编辑 2017-12-08

编辑 2015-09-01

针对 python 版本 3.6