利用OrientDB ETL在CSV的每一行创建2个顶点和一条连接边
我正在利用OrientDB ETL工具以GBs格式导入大量数据。CSV的格式如下(我使用的是orientDB 2.2): “101.186.130.130”、“527225725”、“233 djfnsdkj”、“0.119836317542” “125.143.534.148”、“112212983”、“1227 sdfsdfds”、“0.0465215171983” “103.149.957.752”、“112364761”、“1121 sdfsdfds”、“0.0938863016658” “103.190.245.128”、“785804692”、“6138 SDFSD”、“0.11776753964” 我需要创建两个顶点,一个是第1列中的值(关键点是值本身),另一个是第2列和第3列中的值(其关键点与这两个值连接,并且在第二个顶点类型中都作为属性显示),第4列将是连接这两个顶点的边的属性 我使用了下面的代码,它可以正常工作,但有一些错误,一个问题是每个csv行中的所有值都存储为IpAddress顶点中的属性,是否有任何方法只存储其中的IpAddress。其次,请告诉我连接从csv读取的两个值的方法利用OrientDB ETL在CSV的每一行创建2个顶点和一条连接边,orientdb,orientdb2.2,Orientdb,Orientdb2.2,我正在利用OrientDB ETL工具以GBs格式导入大量数据。CSV的格式如下(我使用的是orientDB 2.2): “101.186.130.130”、“527225725”、“233 djfnsdkj”、“0.119836317542” “125.143.534.148”、“112212983”、“1227 sdfsdfds”、“0.0465215171983” “103.149.957.752”、“112364761”、“1121 sdfsdfds”、“0.0938863016658”
{
"source": { "file": { "path": "/home/abcd/OrientDB/examples/ip_address.csv" } },
"extractor": { "csv": {"columnsOnFirstLine": false, "columns": ["ip:string", "dpcb:string", "address:string", "prob:string"] } },
"transformers": [
{ "merge": { "joinFieldName":"ip", "lookup":"IpAddress.ip" } },
{ "edge": { "class": "Located",
"joinFieldName": "address",
"lookup": "PhyLocation.loc",
"direction": "out",
"targetVertexFields": { "geo_address": "${input.address}", "dpcb_number": "${input.dpcb}"},
"edgeFields": { "confidence": "${input.prob}" },
"unresolvedLinkAction": "CREATE"
}
}
],
"loader": {
"orientdb": {
"dbURL": "remote:/localhost/Bulk_Transfer_Test",
"dbType": "graph",
"dbUser": "root",
"dbPassword": "tiger",
"serverUser": "root",
"serverPassword": "tiger",
"classes": [
{"name": "IpAddress", "extends": "V"},
{"name": "PhyLocation", "extends": "V"},
{"name": "Located", "extends": "E"}
], "indexes": [
{"class":"IpAddress", "fields":["ip:string"], "type":"UNIQUE" },
{"class":"PhyLocation", "fields":["loc:string"], "type":"UNIQUE" }
]
}
}
}
您好,您能发布一个csv文件的示例片段吗?Thx@Ivan感谢您的回复,刚刚更新了示例文件。您看了吗?@MichelaBonizzi我查看了文档,找不到足够的示例。例如合并两列。@非常感谢您的评论,我能够创建一个脚本并执行部分t他在工作。还有几个问题,请你帮忙。嗨,你能发布一个你的csv文件的示例片段吗?Thx@Ivan感谢您的回复,刚刚更新了示例文件。您看了吗?@MichelaBonizzi我查看了文档,找不到足够的示例。例如合并两列。@all Than对于评论,我可以创建一个脚本并做部分工作。还有一些问题,请你帮忙。