Python/Flask: UnicodeDecodeError/ UnicodeEncodeError: 'ascii' codec can't decode/encode
Python/Flask: UnicodeDecodeError/ UnicodeEncodeError: 'ascii' codec can't decode/encode
对于这个问题的第 100 万个问题，我深表歉意，但我已经阅读了很多关于该主题的内容，但仍然没有修复此错误（所有这些都是新手）。
我正在尝试在带有烧瓶的网站上显示 postgres table 的内容（使用 Ubuntu 16.04/python 2.7.12）。 table 中有非 ascii 字符（本例中为“ü”），结果是 UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 2: ordinal not in range(128 ).
这就是我的 init.py 的样子：
#-*- coding: utf-8 -*-
from flask import Blueprint, render_template
import psycopg2
from .forms import Form
from datetime import datetime
from .table import Item, ItemTable
test = Blueprint('test', __name__)
def init_test(app):
app.register_blueprint(test)
def createTable(cur):
cmd = "select * from table1 order by start desc;"
cur.execute(cmd)
queryResult = cur.fetchall()
items = []
table = 'table could not be read'
if queryResult is not None:
for row in range(0, len(queryResult)):
items.append(Item(queryResult[row][0], queryResult[row][1].strftime("%d.%m.%Y"), queryResult[row][2].strftime("%d.%m.%Y"), \
queryResult[row][1].strftime("%H:%M"), queryResult[row][2].strftime("%H:%M"), \
queryResult[row][3], queryResult[row][4], queryResult[row][5], queryResult[row][6]))
table = ItemTable(items)
return table
@test.route('/test')
def index():
dbcon = psycopg2.connect("dbname=testdb user=postgres host=localhost")
cur = dbcon.cursor()
table = createTable(cur)
cur.close()
return render_template('test_index.html', table=table)
和 html 文件的一部分：
{% extends "layout.html" %}
{% block head %}Title{% endblock %}
{% block body %}
<script type="text/javascript" src="{{ url_for('static', filename='js/bootstrap.js') }}"></script>
<link rel="stylesheet" type="text/css" href="{{ url_for('static', filename='css/custom.css') }}">
<div class="row" id="testid">
{{table}}
</div>
{% endblock %}{#
Local Variables:
coding: utf-8
End: #}
问题出在 queryResult[row][6] 中，这是 table 中唯一带有字符串的行，其余为整数。 postgres数据库的编码是utf-8。 queryResult[行][6] 的类型 returns 类型 'str'。我读到的 here 是字符串应该用 utf-8 编码，因为这是数据库客户端的编码。好吧，这似乎行不通！？
然后我添加了行
psycopg2.extensions.register_type(psycopg2.extensions.UNICODE)
强制结果为 unicode（queryResult[row][6] 的类型返回类型 'unicode'），因为按照建议 here，我试图在所有地方坚持使用 unicode。好吧，这导致了 UnicodeEncodeError：'ascii' 编解码器无法对位置 2 中的字符 u'\xfc' 进行编码：序号不在范围 (128) 内。
然后我想，也许之前转换为字符串（字节）出了点问题，然后我尝试自己写
queryResult[row][6].encode('utf-8', 'replace')
这导致了 UnicodeDecodeError：'ascii' 编解码器无法解码位置 2 中的字节 0xc3：序号不在范围 (128) 中。甚至没有使用 'ignore' 而不是 'replace'。
这里发生了什么？我通过创建和传递变量 v=u'ü' 来检查 render_template() 是否存在 unicode 问题，但这没有问题并且显示正确。是的，我阅读了通常推荐的东西，如 nedbatchelder.com/text/unipain.html 和 Unicode Demystified，但这并没有帮助我解决这里的问题，我显然遗漏了一些东西。
这是第一个 UnicodeDecodeError 的回溯：
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 2000, in __call__
return self.wsgi_app(environ, start_response)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1991, in wsgi_app
response = self.make_response(self.handle_exception(e))
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1567, in handle_exception
reraise(exc_type, exc_value, tb)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1988, in wsgi_app
response = self.full_dispatch_request()
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1641, in full_dispatch_request
rv = self.handle_user_exception(e)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1544, in handle_user_exception
reraise(exc_type, exc_value, tb)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1639, in full_dispatch_request
rv = self.dispatch_request()
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1625, in dispatch_request
return self.view_functions[rule.endpoint](**req.view_args)
File "/home/name/Desktop/testFlask/app/test/__init__.py", line 95, in index
return render_template('test_index.html', table=table) #, var=var
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/templating.py", line 134, in render_template
context, ctx.app)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/templating.py", line 116, in _render
rv = template.render(context)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/jinja2/environment.py", line 989, in render
return self.environment.handle_exception(exc_info, True)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/jinja2/environment.py", line 754, in handle_exception
reraise(exc_type, exc_value, tb)
File "/home/name/Desktop/testFlask/app/templates/test_index.html", line 1, in top-level template code
{% extends "layout.html" %}
File "/home/name/Desktop/testFlask/app/templates/layout.html", line 40, in top-level template code
{% block body %}{% endblock %}
File "/home/name/Desktop/testFlask/app/templates/test_index.html", line 7, in block "body"
{{table}}
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/table.py", line 86, in __html__
tbody = self.tbody()
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/table.py", line 103, in tbody
out = [self.tr(item) for item in self.items]
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/table.py", line 120, in tr
''.join(c.td(item, attr) for attr, c in self._cols.items()
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/table.py", line 121, in <genexpr>
if c.show))
File "/home/name/Desktop/testFlask/app/test/table.py", line 7, in td
self.td_contents(item, self.get_attr_list(attr)))
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/columns.py", line 99, in td_contents
return self.td_format(self.from_attr_list(item, attr_list))
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/columns.py", line 114, in td_format
return Markup.escape(content)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/markupsafe/__init__.py", line 165, in escape
rv = escape(s)
非常感谢任何帮助...
因为在 Python 2 中没有强制执行字节码，所以可能会与它们混淆。
据我所知，编码和解码工作从字符串到字节码和反向。因此，如果您的结果集是一个字符串，则无需再次对其进行编码。
如果你对像“§”这样的特殊字符表示错误，我会尝试这样的事情：
repr(查询结果[行][6])).
这样行吗？
参见：https://wiki.python.org/moin/UnicodeEncodeError
The encoding of the postgres database is utf-8. The type of queryResult[row][6] returns type 'str'.
到目前为止你做对了。请记住，在 Python 2.7 中，str 是一个字节串。所以你从数据库中得到了一串字节，可能看起来像 'gl\xc3\xbce' ('glüe').
接下来发生的是程序的某些部分在您的字符串上调用 .decode，但使用默认的 'ascii' 编解码器。可能是 Item() API 的某些部分需要将字符串作为 unicode 对象，或者可能是 Flask 本身。无论哪种方式，您都需要自己在字符串上调用 .decode，因为您知道它实际上是 utf-8:
col_6 = queryResult[row][6].decode('utf-8')
Item(..., ..., col_6, ...)
然后您将为所有下游 API 提供 unicode，这显然是他们想要的。
我记得的方式是这样的：Unicode 是一种抽象，其中所有内容都表示为 "code points"。如果我们想要创建可以在屏幕上打印或作为 HTML 文件发送的真实字节，我们需要将其编码为字节。如果你有一些字节，它们可能意味着任何字母，谁知道呢？您需要对神秘字节进行解码才能获得 Unicode。
希望这对您有所帮助。
所以我在
的帮助下到处坚持使用unicode后终于找到了解决方案
psycopg2.extensions.register_type(psycopg2.extensions.UNICODE)
这个错误让我想到了我自己写的 class customCol(Col)：
class customCol(Col):
def td(self, item, attr):
return '<td><div id="beschrCol">{}</div></td>'.format(
self.td_contents(item, self.get_attr_list(attr)))
这里的问题是.format()的调用，看了this，直接把.format前面的字符串转成unicode就解决了，
def td(self, item, attr):
return u'<td><div id="beschrCol">{}</div></td>'.format...
也可以将字符串传递给 Item()，但后来我不得不把
queryResult[row][6].decode('utf-8')
在 Item() 调用中。
对于这个问题的第 100 万个问题，我深表歉意，但我已经阅读了很多关于该主题的内容，但仍然没有修复此错误（所有这些都是新手）。 我正在尝试在带有烧瓶的网站上显示 postgres table 的内容（使用 Ubuntu 16.04/python 2.7.12）。 table 中有非 ascii 字符（本例中为“ü”），结果是 UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 2: ordinal not in range(128 ).
这就是我的 init.py 的样子：
#-*- coding: utf-8 -*-
from flask import Blueprint, render_template
import psycopg2
from .forms import Form
from datetime import datetime
from .table import Item, ItemTable
test = Blueprint('test', __name__)
def init_test(app):
app.register_blueprint(test)
def createTable(cur):
cmd = "select * from table1 order by start desc;"
cur.execute(cmd)
queryResult = cur.fetchall()
items = []
table = 'table could not be read'
if queryResult is not None:
for row in range(0, len(queryResult)):
items.append(Item(queryResult[row][0], queryResult[row][1].strftime("%d.%m.%Y"), queryResult[row][2].strftime("%d.%m.%Y"), \
queryResult[row][1].strftime("%H:%M"), queryResult[row][2].strftime("%H:%M"), \
queryResult[row][3], queryResult[row][4], queryResult[row][5], queryResult[row][6]))
table = ItemTable(items)
return table
@test.route('/test')
def index():
dbcon = psycopg2.connect("dbname=testdb user=postgres host=localhost")
cur = dbcon.cursor()
table = createTable(cur)
cur.close()
return render_template('test_index.html', table=table)
和 html 文件的一部分：
{% extends "layout.html" %}
{% block head %}Title{% endblock %}
{% block body %}
<script type="text/javascript" src="{{ url_for('static', filename='js/bootstrap.js') }}"></script>
<link rel="stylesheet" type="text/css" href="{{ url_for('static', filename='css/custom.css') }}">
<div class="row" id="testid">
{{table}}
</div>
{% endblock %}{#
Local Variables:
coding: utf-8
End: #}
问题出在 queryResult[row][6] 中，这是 table 中唯一带有字符串的行，其余为整数。 postgres数据库的编码是utf-8。 queryResult[行][6] 的类型 returns 类型 'str'。我读到的 here 是字符串应该用 utf-8 编码，因为这是数据库客户端的编码。好吧，这似乎行不通！？ 然后我添加了行
psycopg2.extensions.register_type(psycopg2.extensions.UNICODE)
强制结果为 unicode（queryResult[row][6] 的类型返回类型 'unicode'），因为按照建议 here，我试图在所有地方坚持使用 unicode。好吧，这导致了 UnicodeEncodeError：'ascii' 编解码器无法对位置 2 中的字符 u'\xfc' 进行编码：序号不在范围 (128) 内。 然后我想，也许之前转换为字符串（字节）出了点问题，然后我尝试自己写
queryResult[row][6].encode('utf-8', 'replace')
这导致了 UnicodeDecodeError：'ascii' 编解码器无法解码位置 2 中的字节 0xc3：序号不在范围 (128) 中。甚至没有使用 'ignore' 而不是 'replace'。 这里发生了什么？我通过创建和传递变量 v=u'ü' 来检查 render_template() 是否存在 unicode 问题，但这没有问题并且显示正确。是的，我阅读了通常推荐的东西，如 nedbatchelder.com/text/unipain.html 和 Unicode Demystified，但这并没有帮助我解决这里的问题，我显然遗漏了一些东西。
这是第一个 UnicodeDecodeError 的回溯：
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 2000, in __call__
return self.wsgi_app(environ, start_response)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1991, in wsgi_app
response = self.make_response(self.handle_exception(e))
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1567, in handle_exception
reraise(exc_type, exc_value, tb)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1988, in wsgi_app
response = self.full_dispatch_request()
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1641, in full_dispatch_request
rv = self.handle_user_exception(e)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1544, in handle_user_exception
reraise(exc_type, exc_value, tb)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1639, in full_dispatch_request
rv = self.dispatch_request()
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/app.py", line 1625, in dispatch_request
return self.view_functions[rule.endpoint](**req.view_args)
File "/home/name/Desktop/testFlask/app/test/__init__.py", line 95, in index
return render_template('test_index.html', table=table) #, var=var
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/templating.py", line 134, in render_template
context, ctx.app)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask/templating.py", line 116, in _render
rv = template.render(context)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/jinja2/environment.py", line 989, in render
return self.environment.handle_exception(exc_info, True)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/jinja2/environment.py", line 754, in handle_exception
reraise(exc_type, exc_value, tb)
File "/home/name/Desktop/testFlask/app/templates/test_index.html", line 1, in top-level template code
{% extends "layout.html" %}
File "/home/name/Desktop/testFlask/app/templates/layout.html", line 40, in top-level template code
{% block body %}{% endblock %}
File "/home/name/Desktop/testFlask/app/templates/test_index.html", line 7, in block "body"
{{table}}
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/table.py", line 86, in __html__
tbody = self.tbody()
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/table.py", line 103, in tbody
out = [self.tr(item) for item in self.items]
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/table.py", line 120, in tr
''.join(c.td(item, attr) for attr, c in self._cols.items()
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/table.py", line 121, in <genexpr>
if c.show))
File "/home/name/Desktop/testFlask/app/test/table.py", line 7, in td
self.td_contents(item, self.get_attr_list(attr)))
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/columns.py", line 99, in td_contents
return self.td_format(self.from_attr_list(item, attr_list))
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/flask_table/columns.py", line 114, in td_format
return Markup.escape(content)
File "/home/name/Desktop/testFlask/venv/lib/python2.7/site-packages/markupsafe/__init__.py", line 165, in escape
rv = escape(s)
非常感谢任何帮助...
因为在 Python 2 中没有强制执行字节码，所以可能会与它们混淆。 据我所知，编码和解码工作从字符串到字节码和反向。因此，如果您的结果集是一个字符串，则无需再次对其进行编码。 如果你对像“§”这样的特殊字符表示错误，我会尝试这样的事情：
repr(查询结果[行][6])).
这样行吗？
参见：https://wiki.python.org/moin/UnicodeEncodeError
The encoding of the postgres database is utf-8. The type of queryResult[row][6] returns type 'str'.
到目前为止你做对了。请记住，在 Python 2.7 中，str 是一个字节串。所以你从数据库中得到了一串字节，可能看起来像 'gl\xc3\xbce' ('glüe').
接下来发生的是程序的某些部分在您的字符串上调用 .decode，但使用默认的 'ascii' 编解码器。可能是 Item() API 的某些部分需要将字符串作为 unicode 对象，或者可能是 Flask 本身。无论哪种方式，您都需要自己在字符串上调用 .decode，因为您知道它实际上是 utf-8:
col_6 = queryResult[row][6].decode('utf-8')
Item(..., ..., col_6, ...)
然后您将为所有下游 API 提供 unicode，这显然是他们想要的。
我记得的方式是这样的：Unicode 是一种抽象，其中所有内容都表示为 "code points"。如果我们想要创建可以在屏幕上打印或作为 HTML 文件发送的真实字节，我们需要将其编码为字节。如果你有一些字节，它们可能意味着任何字母，谁知道呢？您需要对神秘字节进行解码才能获得 Unicode。
希望这对您有所帮助。
所以我在
的帮助下到处坚持使用unicode后终于找到了解决方案psycopg2.extensions.register_type(psycopg2.extensions.UNICODE)
这个错误让我想到了我自己写的 class customCol(Col)：
class customCol(Col):
def td(self, item, attr):
return '<td><div id="beschrCol">{}</div></td>'.format(
self.td_contents(item, self.get_attr_list(attr)))
这里的问题是.format()的调用，看了this，直接把.format前面的字符串转成unicode就解决了，
def td(self, item, attr):
return u'<td><div id="beschrCol">{}</div></td>'.format...
也可以将字符串传递给 Item()，但后来我不得不把
queryResult[row][6].decode('utf-8')
在 Item() 调用中。