Fiware 将数据集导入ContextBroker
我目前有两个大数据集(大约200GB),我想将它们存储到Fiware 将数据集导入ContextBroker,fiware,fiware-orion,fiware-cygnus,Fiware,Fiware Orion,Fiware Cygnus,我目前有两个大数据集(大约200GB),我想将它们存储到ContextBroker中,以便对其执行数据分析。到目前为止,我已经能够使用MongoDB设置ContextBroker。我还使用ONCHANGE订阅安装了Cygnus,以便保存ContextBroker中的数据。是否可以使用CKAN将我的外部数据集存储到FIWARE平台中,或者我必须使用其他工具 Edit1:这些数据集是一组json文件,其中包含具有一系列事件的对象,并且具有时间戳,地理位置 Edit2:根据要求,我指的是一小部分数据样
ContextBroker
中,以便对其执行数据分析。到目前为止,我已经能够使用MongoDB
设置ContextBroker
。我还使用ONCHANGE
订阅安装了Cygnus
,以便保存ContextBroker
中的数据。是否可以使用CKAN
将我的外部数据集存储到FIWARE
平台中,或者我必须使用其他工具
Edit1:这些数据集是一组json
文件,其中包含具有一系列事件的对象,并且具有时间戳
,地理位置
Edit2:根据要求,我指的是一小部分数据样本:
{"track":[
{"time":"2015-11-16T00:45:29.016","midpoint":{"x":70.66,"y":188.90},"realworld":{"x":-7.49,"y":22.96},"RDCoordinate":{"x":161582.09,"y":383031.34},"UTM-WGS84":{"Latitude":51.4363489,"Longitude":5.4818640}},
{"time":"2015-11-16T00:45:29.022","midpoint":{"x":66.85,"y":189.61},"realworld":{"x":-7.53,"y":22.92},"RDCoordinate":{"x":161582.16,"y":383031.34},"UTM-WGS84":{"Latitude":51.4363489,"Longitude":5.4818649}},
{"time":"2015-11-16T00:45:29.029","midpoint":{"x":61.66,"y":189.92},"realworld":{"x":-7.60,"y":22.90},"RDCoordinate":{"x":161582.22,"y":383031.31},"UTM-WGS84":{"Latitude":51.4363486,"Longitude":5.4818658}},
{"time":"2015-11-16T00:45:29.082","midpoint":{"x":56.16,"y":190.47},"realworld":{"x":-7.66,"y":22.87},"RDCoordinate":{"x":161582.28,"y":383031.28},"UTM-WGS84":{"Latitude":51.4363483,"Longitude":5.4818667}},
{"time":"2015-11-16T00:45:29.090","midpoint":{"x":50.74,"y":191.64},"realworld":{"x":-7.71,"y":22.80},"RDCoordinate":{"x":161582.38,"y":383031.28},"UTM-WGS84":{"Latitude":51.4363483,"Longitude":5.4818681}},
{"time":"2015-11-16T00:45:29.112","midpoint":{"x":45.58,"y":192.07},"realworld":{"x":-7.78,"y":22.78},"RDCoordinate":{"x":161582.44,"y":383031.25},"UTM-WGS84":{"Latitude":51.4363480,"Longitude":5.4818690}},
{"time":"2015-11-16T00:45:29.151","midpoint":{"x":41.80,"y":193.42},"realworld":{"x":-7.80,"y":22.69},"RDCoordinate":{"x":161582.52,"y":383031.31},"UTM-WGS84":{"Latitude":51.4363486,"Longitude":5.4818701}},
{"time":"2015-11-16T00:45:29.197","midpoint":{"x":36.27,"y":194.43},"realworld":{"x":-7.86,"y":22.63},"RDCoordinate":{"x":161582.59,"y":383031.31},"UTM-WGS84":{"Latitude":51.4363486,"Longitude":5.4818712}}
]}
在Orion Conext Broker中,可以通过以下方式将每个项目建模为
事件类型的实体:
{
"id": "Item1",
"type": "Event",
"time": {
"value": "2015-11-16T00:45:29.016",
"type": "DateTime"
},
"midpoint": {
"value": {
"x": 70.66,
"y": 188.90
},
"type": "Object"
},
"realworld": {
"value": {
"x": -7.49,
"y": 22.96
},
"type": "Object"
},
"RDCoordinate": {
"value": {
"x": 161582.09,
"y": 383031.34
},
"type": "Object"
},
"UTM-WGS84": {
"value": "51.4363489, 5.4818640",
"type": "geo:point"
}
}
(上述内容可用作创建该实体的POST/v2/entities
操作的有效负载)
在该模型中,时间
、中点
、现实世界
、关系坐标
和UTM-WG84
是实体属性。注意time
和UTM-WG84
的特殊属性类型:
time
使用DateTime
,这是NGSIv2指定日期的标准方式(请参阅中的“特殊属性类型”)。我建议加入时区,以获得更高的精度(例如2015-11-16T00:45:29.016Z
)
UTM-WG84
使用geo:point
,这是NGSIv2标准方法,用于指定实体的点位置(请参见中的“实体的地理空间属性”)
在Orion Conext Broker中,可以通过以下方式将每个项目建模为事件类型的实体:
{
"id": "Item1",
"type": "Event",
"time": {
"value": "2015-11-16T00:45:29.016",
"type": "DateTime"
},
"midpoint": {
"value": {
"x": 70.66,
"y": 188.90
},
"type": "Object"
},
"realworld": {
"value": {
"x": -7.49,
"y": 22.96
},
"type": "Object"
},
"RDCoordinate": {
"value": {
"x": 161582.09,
"y": 383031.34
},
"type": "Object"
},
"UTM-WGS84": {
"value": "51.4363489, 5.4818640",
"type": "geo:point"
}
}
(上述内容可用作创建该实体的POST/v2/entities
操作的有效负载)
在该模型中,时间
、中点
、现实世界
、关系坐标
和UTM-WG84
是实体属性。注意time
和UTM-WG84
的特殊属性类型:
time
使用DateTime
,这是NGSIv2指定日期的标准方式(请参阅中的“特殊属性类型”)。我建议加入时区,以获得更高的精度(例如2015-11-16T00:45:29.016Z
)
UTM-WG84
使用geo:point
,这是NGSIv2标准方法,用于指定实体的点位置(请参见中的“实体的地理空间属性”)
您能否编辑您的问题,以详细说明您的数据集的外观?我的意思是,它们对应于上下文信息的“快照”、事件的历史序列等等。Thx!(查看Edit1后)您是否可以通过编辑添加一两个您参考的JSON对象样本?您是否可以编辑您的问题以详细说明您的数据集的外观?我的意思是,它们对应于上下文信息的“快照”、事件的历史序列等等。Thx!(查看Edit1后)您是否可以编辑以添加一两个您参考的JSON对象示例?您好。谢谢你的回复!这看起来确实是我想要的,但是这需要大量的工作来插入所有的数据。是否可以自动完成这一操作?在JSON文件中处理每行数据并将相应的创建实体命令发送到猎户座不应该是非常困难的(甚至可以考虑使用“代码> POST/PO2/OP/UPDATE < /代码>附加ActhOnType”来封装同一批中的多个实体。谢谢你的回复!这看起来确实是我想要的,但是这需要大量的工作来插入所有的数据。是否可以自动完成此操作?在JSON文件中处理每行数据并将相应的创建实体命令发送到ORION并不困难(甚至可以考虑使用“代码> POST/PO2/OP/UPDATE < /COD>附加ActoType”对同一批中的多个实体进行包”。