有没有办法使用特定的批量大小写入数据库?
Is there a way to write to a DB using a specific batch size?
我是 运行 下面的代码,它可以工作,但是速度超级慢。我认为写入块的默认大小是 1,000 条记录。我想将其增加到 500,000 条记录块。我对此做了一些研究,似乎可以做到,但我没有看到任何示例代码可以满足我的要求,而且我修改此代码的所有尝试都失败了。
url = "jdbc:sqlserver://server_name.database.windows.net:1433;databaseName=db_name"
props = {"user": "usr","password": "pwd"}
df.write.mode('append').jdbc(url,"dbo.table_name",properties=props)
props = {"user": "usr","password": "pwd", "batchsize" : "500000"}
我是 运行 下面的代码,它可以工作,但是速度超级慢。我认为写入块的默认大小是 1,000 条记录。我想将其增加到 500,000 条记录块。我对此做了一些研究,似乎可以做到,但我没有看到任何示例代码可以满足我的要求,而且我修改此代码的所有尝试都失败了。
url = "jdbc:sqlserver://server_name.database.windows.net:1433;databaseName=db_name"
props = {"user": "usr","password": "pwd"}
df.write.mode('append').jdbc(url,"dbo.table_name",properties=props)
props = {"user": "usr","password": "pwd", "batchsize" : "500000"}