将大型CSV文件导入OrientDB
我是orient db的新手,所以我正在orient db中使用航班搜索图数据库。我有数以百万计的真实航班数据,我创建了将大型CSV文件导入OrientDB,csv,import,orientdb,Csv,Import,Orientdb,我是orient db的新手,所以我正在orient db中使用航班搜索图数据库。我有数以百万计的真实航班数据,我创建了JSON文件来导入csv文件,但导入所有数以百万计的数据需要花费数小时。它每秒只导入大约500行 我使用etl导入csv文件 这是我的json文件 { "source": { "file": { "path": "C:/Users/sams/Desktop/OrientDB2/flights.csv" } }, "extractor": {
JSON
文件来导入csv
文件,但导入所有数以百万计的数据需要花费数小时。它每秒只导入大约500行
我使用etl导入csv文件
这是我的json文件
{
"source": {
"file": {
"path": "C:/Users/sams/Desktop/OrientDB2/flights.csv"
}
},
"extractor": {
"csv": {}
},
"transformers": [
{
"vertex": {
"class": "Flight"
}
},
{
"edge":
{
"class": "Has_Flight",
"joinFieldName": "depart_airport_id",
"lookup": "Airport.airport_id",
"direction": "in"
}
},
{
"edge":
{
"class": "Flying_To",
"joinFieldName": "arrive_airport_id",
"lookup": "Airport.airport_id",
"direction": "out"
}
}
],
"loader": {
"orientdb": {
"dbURL": "plocal:C:/Users/sams/Desktop/OrientDB2/database/dataflight",
"dbType": "graph",
"dbAutoCreate": true,
"classes": [
{
"name": "Airport",
"extends": "V"
},
{
"name": "Flight",
"extends": "V"
},
{
"name": "Has_Flight",
"extends": "E"
},
{
"name": "Flying_To",
"extends": "E"
}
],
"indexes": [
{
"class": "Airport",
"fields": [
"airport_id:integer"
],
"type": "UNIQUE"
}
]
}
}
}
所以我的问题是,在Orient db中导入大型数据集还有其他机制吗
提前谢谢 您可以尝试禁用WAL、启用txLog和使用批处理 让我们试试:
"wal" = false
"batchCommit" = 1000
"txUseLog" = true
关于OrientDb loader的文档:
如果您找到一种可以提高性能的组合,请告诉我。您可以尝试禁用WAL、启用txLog和使用批处理 让我们试试:
"wal" = false
"batchCommit" = 1000
"txUseLog" = true
关于OrientDb loader的文档:
如果您找到一种可以提高性能的组合,请告诉我。sams您使用了哪种进口商?etl?还是你写了一些代码?只是编辑我的问题并添加我的etl配置文件(json文件)sams,您使用了哪个导入程序?etl?还是你写了一些代码?只需编辑我的问题并添加我的etl配置文件(json文件)