任何人都知道为什么我在尝试将数据帧加载到 sybase table 时出现此错误？ [sql炼金术]

Question

我正在尝试将 pandas 数据帧附加到已创建的 table，但我一直收到错误消息。

我正确连接到服务器。服务器内部，有很多数据库，然后这个table在db_STAFF数据库里面。最初，我在做 df.to_sql(db_STAFF.dbo.JUNESALES) 但我意识到我应该在 connString 中引用它。我尝试了 dbo.JUNESALES 以及 JUNESALES。下面错误中的 table 名称根据我所说的 table（dbo.JUNESALES 与 JUNESALES）而变化，但实际错误保持不变。

请参阅下面的代码和错误，减去我确实包含的导入语句。

df = pd.DataFrame(lists_data)
connString = "DRIVER={Adaptive Server Enterprise};SERVER=XXXX,DATABASE = 'db_STAFF'...."
conn_url = quote_plus(connString)
new_connection = "sybase+pyodbc:///?odbc_connect={}".format(conn_url)
engine = create_engine(new_connection)
df.to_sql('[dbo].[JUNESALES]', con=engine, if_exists = 'append', index = False) #I also tried this without the brackets, I read that with brackets it worked for someone 
engine.execute("SELECT * FROM dbo.JUNESALES ").fetchall()
cursor.execute(statement, parameters)

我在 df.to_sql 行收到此错误

sqlalchemy.exc.ProgrammingError: (pyodbc.ProgrammingError) ('42000', "[42000] [Sybase][ODBC Driver][Adaptive Server Enterprise] Incorrect syntax near '('.\n (102) (SQLExecDirectW)") [SQL: '\nCREATE TABLE "[dbo].[JUNESALES]" (\n\t"0" BIGINT NULL, \n\t"1" BIGINT NULL, \n\t"2" FLOAT NULL, \n\t"3" TEXT NULL, \n\t"4" BIT NULL,  \n\t"5" BIT NULL, \n\t"6" FLOAT NULL, \n\t"7" FLOAT NULL, \n\t"8" FLOAT NULL, \n\t"9" FLOAT NULL, \n\t"10" FLOAT NULL, \n\t"11" BIGINT NULL, \n\tCHECK ("4" IN (0, 1)), \n\tCHECK ("5" IN (0, 1))\n)\n\n'] (Background on this error at: http://sqlalche.me/e/f405)

Answer 1

注意：我是 Sybase ASE DBA；我不使用 python/pandas/sqlalchemy/etc；所以虽然我可以告诉你为什么 ASE 会产生错误，甚至会告诉你一种正确格式化 create table 命令的方法......我不知道如何告诉你的应用程序如何（重新）编码create table 命令（假设这是您无法直接控制的内容）。

错误消息告诉我们 create table 命令如下所示：

CREATE TABLE "[dbo].[JUNESALES]" (
        "0" BIGINT NULL,
        "1" BIGINT NULL,
        "2" FLOAT NULL,
        "3" TEXT NULL,
        "4" BIT NULL,
        "5" BIT NULL,
        "6" FLOAT NULL,
        "7" FLOAT NULL,
        "8" FLOAT NULL,
        "9" FLOAT NULL,
        "10" FLOAT NULL,
        "11" BIGINT NULL,
        CHECK ("4" IN (0, 1)),
        CHECK ("5" IN (0, 1))
)

嗯嗯，从哪里开始...

如果您要将其剪切并粘贴到 ASE 会话中（例如，通过 isql 命令行工具），您将得到相同的错误：

Msg 102, Level 15, State 181:
Server 'ASE200', Line 2:
Incorrect syntax near '('.

该命令似乎使用双引号试图转义非标准标识符。一个问题是，默认情况下，ASE 不会将双引号识别为非标准标识符的转义字符。要解决此问题，您需要启用 quoted_identifier，例如：

set quoted_identifier on

CREATE TABLE ...
... snip ...

set quoted_identifier off -- or leave 'on' if you're going to continue using double quotes to designate non-standard identifiers
go

虽然这会让您克服 Msg 102（语法）错误，但您现在会遇到一些新错误：

Msg 2718, Level 16, State 1:
Server 'ASE200', Line 2:
Column or parameter #5:  -- can't specify Null values on a column of type BIT.
Msg 2718, Level 16, State 1:
Server 'ASE200', Line 2:
Column or parameter #6:  -- can't specify Null values on a column of type BIT.

要修复这些错误，您需要将 BIT 列指定为 NOT NULL 或将数据类型更改为 BIT 以外的其他类型（例如 tinyint ? 尽管您现在可能需要添加一些应用程序代码或 check 约束以将合法值限制为 0/1 ...??):

set quoted_identifier on

CREATE TABLE ...
... snip ...
        "4" BIT not NULL,
        "5" BIT not NULL,
... snip ...

set quoted_identifier off
go

此时应该创建 table（即，没有错误）但是......您还没有脱离险境。

如果您运行 sp_help 您会看到您的 table 列为：

sp_help
go

 Name                        Owner Object_type
 --------------------------- ----- ------------
 ... snip ...
 [dbo].[JUNESALES]           dbo   user table
 ... snip ...

这里的问题（当然？）是您将所有者和 table 包裹在一对双引号中；并且您尝试使用两种不同的方法来处理非标准标识符...双引号...方括号也无济于事；这里的主要问题是双引号告诉 ASE 方括号实际上是一个名为 [dbo].[JUNESALES] 的标识符的一部分；另请注意，句点 (.) 也被视为单个标识符的一部分（与所有者和 table 名称之间的分隔符相反）。

如果您尝试通过在 [dbo] 和 [JUNESALES] 周围放置双引号来修复 his，则会收到以下错误消息：

set quoted_identifier on

CREATE TABLE "[dbo]"."[JUNESALES]"
... snip ...
go

Msg 2734, Level 16, State 1:
Server 'ASE200', Line 2:
User name [dbo] does not exist in sysusers.

    !!! notice the square brackets are considered as part of the user name !!!

好的，我们可以通过从 [dbo] 中删除方括号来解决这个问题，但是如果您不对 table 名称执行相同的操作... create table命令成功但括号成为 table 名称的一部分（而不是用作分隔符），例如：

set quoted_identifier on
CREATE TABLE "dbo"."[JUNESALES]"
... snip ...
go

sp_help
go

 Name                        Owner Object_type
 --------------------------- ----- ------------
 ... snip ...
 [JUNESALES]                 dbo   user table
 ... snip ...

ASE 支持使用双引号作为非标准标识符的定界符...如果你先发布set quoted_identifier on.

ASE 还支持使用方括号作为非标准标识符的分隔符...和无需发出 set quoted_identier on 命令。

我建议你弄清楚如何只使用一种方法来分隔非标准标识符（方括号更简洁一些，不需要发出 set quoted_identifier on，并允许你使用双引号用于分隔 textual/character 数据）。

set quoted_identifier off  -- optional if already set to 'off'

CREATE TABLE [dbo].[JUNESALES] (
        [0] BIGINT NULL,
        [1] BIGINT NULL,
        [2] FLOAT NULL,
        [3] TEXT NULL,
        [4] BIT not NULL,
        [5] BIT not NULL,
        [6] FLOAT NULL,
        [7] FLOAT NULL,
        [8] FLOAT NULL,
        [9] FLOAT NULL,
        [10] FLOAT NULL,
        [11] BIGINT NULL,
        CHECK ([4] IN (0, 1)),
        CHECK ([5] IN (0, 1))
)
go

sp_help
go

 Name                        Owner Object_type
 --------------------------- ----- ------------
 ... snip ...
 JUNESALES                   dbo   user table
 ... snip ...

当然，不需要 dbo 和 JUNESALES 之间的分隔符（即，这些是有效的标识符），但如果您愿意，欢迎使用方括号（例如，作为一种标准编码方法，用于处理所有定界符，无论是标准的还是非标准的）。

注意：以上代码片段是针对 ASE 15.7 (SP138) 数据服务器执行的。

任何人都知道为什么我在尝试将数据帧加载到 sybase table 时出现此错误？ [sql炼金术]

Anyone know why I am getting this error when trying to load dataframe to sybase table? [sql alchemy]

python

sybase

sqlalchemy

pandas

sap-ase