在 azure databricks 上使用 python 将数据写入 azure sql

Writing data to azure sql using python on azure databricks

我是数据块的新手,我需要安排一些代码,使用 python.

将数据转换并写入 azure sql 数据库

我收到以下错误: DBAPIError: (pyodbc.Error) ('01000', "[01000] [unixODBC][Driver Manager]Can't open lib 'ODBC Driver 17 for SQL Server' : file not found (0) (SQLDriverConnect)")

运行 代码在本地工作正常并将数据写入 azure sql 数据库。

下面是我的代码示例

server = "example.database.windows.net"
database = ""
username = ""
password = ""

driver = '{ODBC Driver 17 for SQL Server}'

odbc_str = 'DRIVER='+driver+';SERVER='+server+';PORT=1433;UID='+username+';DATABASE='+ database + ';PWD='+ password
connect_str = 'mssql+pyodbc:///?odbc_connect=' + urllib.parse.quote_plus(odbc_str)
engine = create_engine(connect_str)

df = pd.DataFrame({"Def": [1,2,3,4,5]})

def to_sql(df, table):
    df.to_sql(table, engine, if_exists = "replace", index=False, chunksize = 100)

to_sql(df, "Def")

By default, Azure Databricks does not have ODBC Driver installed.

确保在运行上述命令之前安装了我的SQL ODBC 驱动程序。

运行 在单个单元格中执行以下命令以在 Azure Databricks 群集上安装我的 SQL ODBC 驱动程序。

%sh
curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list
sudo apt-get update
sudo ACCEPT_EULA=Y apt-get -q -y install msodbcsql17