将大型CSV文件导入OrientDB

将大型CSV文件导入OrientDB,csv,import,orientdb,Csv,Import,Orientdb,我是orient db的新手,所以我正在orient db中使用航班搜索图数据库。我有数以百万计的真实航班数据,我创建了JSON文件来导入csv文件,但导入所有数以百万计的数据需要花费数小时。它每秒只导入大约500行 我使用etl导入csv文件 这是我的json文件 { "source": { "file": { "path": "C:/Users/sams/Desktop/OrientDB2/flights.csv" } }, "extractor": {

我是orient db的新手,所以我正在orient db中使用航班搜索图数据库。我有数以百万计的真实航班数据,我创建了
JSON
文件来导入
csv
文件,但导入所有数以百万计的数据需要花费数小时。它每秒只导入大约500行

我使用etl导入csv文件

这是我的json文件

{
"source": {
    "file": {
        "path": "C:/Users/sams/Desktop/OrientDB2/flights.csv"
    }
},
"extractor": {
    "csv": {}
},
"transformers": [
    {
        "vertex": {
            "class": "Flight"
        }
    },
    {
        "edge":  
            {
                "class": "Has_Flight",
                "joinFieldName": "depart_airport_id",
                "lookup": "Airport.airport_id",
                "direction": "in"
            } 
    },
    {
        "edge":
        {
                "class": "Flying_To",
                "joinFieldName": "arrive_airport_id",
                "lookup": "Airport.airport_id",
                "direction": "out"
        }
    }

],
"loader": {
    "orientdb": {
        "dbURL": "plocal:C:/Users/sams/Desktop/OrientDB2/database/dataflight",
        "dbType": "graph",
        "dbAutoCreate": true,
        "classes": [
            {
                "name": "Airport",
                "extends": "V"
            },
            {
                "name": "Flight",
                "extends": "V"
            },
            {
                "name": "Has_Flight",
                "extends": "E"
            },
            {
                "name": "Flying_To",
                "extends": "E"
            }
        ],
        "indexes": [
            {
                "class": "Airport",
                "fields": [
                    "airport_id:integer"
                ],
                "type": "UNIQUE"
            }
        ]
    }
}
}
所以我的问题是,在Orient db中导入大型数据集还有其他机制吗


提前谢谢

您可以尝试禁用WAL、启用txLog和使用批处理

让我们试试:

"wal" = false
"batchCommit" = 1000
"txUseLog" = true
关于OrientDb loader的文档:


如果您找到一种可以提高性能的组合,请告诉我。

您可以尝试禁用WAL、启用txLog和使用批处理

让我们试试:

"wal" = false
"batchCommit" = 1000
"txUseLog" = true
关于OrientDb loader的文档:


如果您找到一种可以提高性能的组合,请告诉我。

sams您使用了哪种进口商?etl?还是你写了一些代码?只是编辑我的问题并添加我的etl配置文件(json文件)sams,您使用了哪个导入程序?etl?还是你写了一些代码?只需编辑我的问题并添加我的etl配置文件(json文件)