在 azure databricks 上使用 python 将数据写入 azure sql
Writing data to azure sql using python on azure databricks
我是数据块的新手,我需要安排一些代码,使用 python.
将数据转换并写入 azure sql 数据库
我收到以下错误: DBAPIError: (pyodbc.Error) ('01000', "[01000] [unixODBC][Driver Manager]Can't open lib 'ODBC Driver 17 for SQL Server' : file not found (0) (SQLDriverConnect)")
运行 代码在本地工作正常并将数据写入 azure sql 数据库。
下面是我的代码示例
server = "example.database.windows.net"
database = ""
username = ""
password = ""
driver = '{ODBC Driver 17 for SQL Server}'
odbc_str = 'DRIVER='+driver+';SERVER='+server+';PORT=1433;UID='+username+';DATABASE='+ database + ';PWD='+ password
connect_str = 'mssql+pyodbc:///?odbc_connect=' + urllib.parse.quote_plus(odbc_str)
engine = create_engine(connect_str)
df = pd.DataFrame({"Def": [1,2,3,4,5]})
def to_sql(df, table):
df.to_sql(table, engine, if_exists = "replace", index=False, chunksize = 100)
to_sql(df, "Def")
By default, Azure Databricks does not have ODBC Driver installed.
确保在运行上述命令之前安装了我的SQL ODBC 驱动程序。
运行 在单个单元格中执行以下命令以在 Azure Databricks 群集上安装我的 SQL ODBC 驱动程序。
%sh
curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list
sudo apt-get update
sudo ACCEPT_EULA=Y apt-get -q -y install msodbcsql17
我是数据块的新手,我需要安排一些代码,使用 python.
将数据转换并写入 azure sql 数据库我收到以下错误: DBAPIError: (pyodbc.Error) ('01000', "[01000] [unixODBC][Driver Manager]Can't open lib 'ODBC Driver 17 for SQL Server' : file not found (0) (SQLDriverConnect)")
运行 代码在本地工作正常并将数据写入 azure sql 数据库。
下面是我的代码示例
server = "example.database.windows.net"
database = ""
username = ""
password = ""
driver = '{ODBC Driver 17 for SQL Server}'
odbc_str = 'DRIVER='+driver+';SERVER='+server+';PORT=1433;UID='+username+';DATABASE='+ database + ';PWD='+ password
connect_str = 'mssql+pyodbc:///?odbc_connect=' + urllib.parse.quote_plus(odbc_str)
engine = create_engine(connect_str)
df = pd.DataFrame({"Def": [1,2,3,4,5]})
def to_sql(df, table):
df.to_sql(table, engine, if_exists = "replace", index=False, chunksize = 100)
to_sql(df, "Def")
By default, Azure Databricks does not have ODBC Driver installed.
确保在运行上述命令之前安装了我的SQL ODBC 驱动程序。
运行 在单个单元格中执行以下命令以在 Azure Databricks 群集上安装我的 SQL ODBC 驱动程序。
%sh
curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list
sudo apt-get update
sudo ACCEPT_EULA=Y apt-get -q -y install msodbcsql17