Sql server 使用Splunk查询json数据
我们在azure存储中有json格式的压缩数据(表和BLOB),我想将数据ETL到关系数据库,以便可以选择对数据运行sql查询 我有一个实用程序,可以将数据解压缩为json文件, 我通过SSIS包将ETL从excel转换为sql server(将json转换为excel后使用pivot) 使用splunk是否有更简单的方法达到同样的目的? 请注意,我的json架构有点复杂 json示例:Sql server 使用Splunk查询json数据,sql-server,json,excel,ssis,splunk,Sql Server,Json,Excel,Ssis,Splunk,我们在azure存储中有json格式的压缩数据(表和BLOB),我想将数据ETL到关系数据库,以便可以选择对数据运行sql查询 我有一个实用程序,可以将数据解压缩为json文件, 我通过SSIS包将ETL从excel转换为sql server(将json转换为excel后使用pivot) 使用splunk是否有更简单的方法达到同样的目的? 请注意,我的json架构有点复杂 json示例: { "columns": [ { "name": "database_name", "values"
{
"columns": [
{
"name": "database_name",
"values": [
"sales",
"salesr",
"sal"
],
"encd": 0,
"type": 0
},
{
"name": "machine_name",
"values": [
"ISRVMN823",
"ISRVMN825",
"ISRVMN822"
],
"encd": 0,
"type": 0
},
{
"name": "program_name",
"values": [
"SQLAgent - TSQL JobStep (Job 0x8701D9C6BFB3A146B9E6AB0602F5B4C3 : Step 1)",
"SQLAgent - TSQL JobStep (Job 0xE3521B34CED03441B971A36E8EF5210B : Step 1)",
"SQLAgent - TSQL JobStep (Job 0x4BBA5C65C5AF78469A7FE9B765BE430E : Step 1)"
],
"encd": 0,
"type": 0
}
],
"submission_time": 1483617753706,
"ds_id": "ISRVMN889",
"identity_broker": "00_yr",
"connection_name": "ISRVMN822SQL2012NY",
"table_name": "pass_unique_stat_5m",
"version": "1.0.0",
"duration": 300,
"sample_time": 1483617300000
}
我想在关系数据库中获得如下内容:
或者以另一种方式查询数据
谢谢给你:)
你可以忽略第一部分,那只是我把你的数据硬编码到搜索中
| makeresults
| eval json = "{
\"columns\": [
{
\"name\": \"database_name\",
\"values\": [
\"sales\",
\"salesr\",
\"sal\"
],
\"encd\": 0,
\"type\": 0
},
{
\"name\": \"machine_name\",
\"values\": [
\"ISRVMN823\",
\"ISRVMN825\",
\"ISRVMN822\"
],
\"encd\": 0,
\"type\": 0
},
{
\"name\": \"program_name\",
\"values\": [
\"SQLAgent - TSQL JobStep (Job 0x8701D9C6BFB3A146B9E6AB0602F5B4C3 : Step 1)\",
\"SQLAgent - TSQL JobStep (Job 0xE3521B34CED03441B971A36E8EF5210B : Step 1)\",
\"SQLAgent - TSQL JobStep (Job 0x4BBA5C65C5AF78469A7FE9B765BE430E : Step 1)\"
],
\"encd\": 0,
\"type\": 0
}
],
\"submission_time\": 1483617753706,
\"ds_id\": \"ISRVMN889\",
\"identity_broker\": \"00_yr\",
\"connection_name\": \"ISRVMN822SQL2012NY\",
\"table_name\": \"pass_unique_stat_5m\",
\"version\": \"1.0.0\",
\"duration\": 300,
\"sample_time\": 1483617300000
}"
| spath input=json path=columns{} | rename columns{} as cols | table cols
| mvexpand cols
| spath input=cols | rename values{} as values | table name values
| transpose header_field=name | fields - column