Python 如何在没有批量复制程序(BCP)的情况下批量插入Azure SQL数据库?

Python 如何在没有批量复制程序(BCP)的情况下批量插入Azure SQL数据库?,python,sqlalchemy,azure-sql-database,bulkinsert,Python,Sqlalchemy,Azure Sql Database,Bulkinsert,我想在Azure SQL数据库中批量插入大小不超过50MB的.csv文件,时间可能不超过10分钟左右 但是,批量插入是针对云的。正如在另一篇文章中指出的,BCP是一个可行的解决方案,但它需要在本地数据库中批量插入数据。然而,在PaaS基础设施中,这不是一个选项,因为在操作系统级别没有控制,并且不可能创建和管理数据库 目前,131KB的.csv需要超过10分钟的时间,才能使用标准的S3:100 DTU、250 GB Azure SQL数据库逐个上传。如何将上传速度提高至少一个数量级 import

我想在Azure SQL数据库中批量插入大小不超过50MB的.csv文件,时间可能不超过10分钟左右

但是,批量插入是针对云的。正如在另一篇文章中指出的,BCP是一个可行的解决方案,但它需要在本地数据库中批量插入数据。然而,在PaaS基础设施中,这不是一个选项,因为在操作系统级别没有控制,并且不可能创建和管理数据库

目前,131KB的.csv需要超过10分钟的时间,才能使用标准的S3:100 DTU、250 GB Azure SQL数据库逐个上传。如何将上传速度提高至少一个数量级

import pandas as pd
import sqlalchemy
table = pd.Dataframe(<your_data_here>)
sql_driver = <driver>
sql_server = <server>
sql_user = <user>
sql_pass = <password>
sql_db = <database_name>
sql_conn = sqlalchemy.create_engine(
    'mssql+pyodbc://'+sql_user+':'+sql_pass+'@'+sql_server+'/'+sql_db+'?driver='+sql_driver)
table.to_sql('table_name', con=sql_conn)
将熊猫作为pd导入
进口炼金术
table=pd.Dataframe()
sql\u驱动程序=
sql_服务器=
sql\u用户=
sql_pass=
sql_db=
sql\u conn=sqlalchemy.create\u引擎(
'mssql+pyodbc://'+sql_用户+':'+sql_通行证+'@'+sql_服务器+'/'+sql_数据库+'?驱动程序='+sql_驱动程序)
table.to\u sql('table\u name',con=sql\u conn)

您可以使用以下语法从BLOB存储帐户批量插入:

BULK INSERT Test
FROM 'source/data/Test.csv'
WITH ( DATA_SOURCE = 'MyAzureBlobStorage',
              FORMAT='CSV', CODEPAGE = 65001, 
              FIRSTROW=2,
              TABLOCK);

有关更多信息,请访问文档。

您可以使用以下语法从BLOB存储帐户批量插入:

BULK INSERT Test
FROM 'source/data/Test.csv'
WITH ( DATA_SOURCE = 'MyAzureBlobStorage',
              FORMAT='CSV', CODEPAGE = 65001, 
              FIRSTROW=2,
              TABLOCK);

欲了解更多信息,请参阅文档。

也考虑Azure数据工厂。也考虑Azure数据工厂。请您分享更多关于批量的信息。Insert@Narendra@Narendrahttps://docs.microsoft.com/en-us/sql/relational-databases/import-export/examples-of-bulk-access-to-data-in-azure-blob-storage?view=sql-server-2017您能分享更多关于服务器的信息吗大部分Insert@Narendra@Narendrahttps://docs.microsoft.com/en-us/sql/relational-databases/import-export/examples-of-bulk-access-to-data-in-azure-blob-storage?view=sql-服务器-2017