Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/clojure/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google bigquery 使用Sign Fluentd向BigQuery发送日志时Json格式有问题_Google Bigquery_Fluentd - Fatal编程技术网

Google bigquery 使用Sign Fluentd向BigQuery发送日志时Json格式有问题

Google bigquery 使用Sign Fluentd向BigQuery发送日志时Json格式有问题,google-bigquery,fluentd,Google Bigquery,Fluentd,我正在使用Fluentd插件向BigQuery发送日志,但BQ插件似乎在向BigQuery发送数据时将“:”改为“=>”。 日志以key=>value而不是key:value格式到达BigQuery。 我在td-agent.conf中有以下匹配定义 <match bq.*.*> type copy deep_copy true <store> type bigquery auth_method json_key json_key

我正在使用Fluentd插件向BigQuery发送日志,但BQ插件似乎在向BigQuery发送数据时将“:”改为“=>”。 日志以key=>value而不是key:value格式到达BigQuery。 我在td-agent.conf中有以下匹配定义

<match bq.*.*>
  type copy
  deep_copy true
  <store>
    type bigquery   
    auth_method json_key
    json_key /home/fereshteh/keys/LL-POC-9081311ba6a0.json    
    project my-poc
    dataset MY_POC
    table   LogMessage     
    auto_create_table true
    field_string body,header
#  buffer_chunk_limit    
#  buffer_chunk_records_limit 300  
    buffer_queue_limit 10240         
    num_threads 16
#   flush_interval  1
    buffer_type file
    buffer_path /var/log/td-agent/buffer/bq
  </store>
  <store>
    type file
    path /var/log/td-agent/bq-logtextmsg.log
  </store>
</match>    

打印副本
真的吗
类型bigquery
验证方法json密钥
json_key/home/fereshteh/keys/LL-POC-9081311ba6a0.json
投影我的poc
数据集MY_POC
表日志消息
自动创建表格为真
字段\字符串正文、标题
#缓冲区块限制
#缓冲区\u块\u记录\u限制300
缓冲区队列限制10240
线程数16
#冲洗间隔1
缓冲区类型文件
缓冲区路径/var/log/td-agent/buffer/bq
类型文件
路径/var/log/td-agent/bq-logtextmsg.log
使用“复制”功能,我能够验证源部件是否正常工作,以及复制的日志是否显示json日志的正确格式,key:value。 然而,在BigQuery中,它们显示为key=>value。 关于如何将其更改为使用“:”的任何建议? BigQuery json_提取函数不喜欢“=>”并期望“:”s。
谢谢。

如果键的值是json blob,就会发生这种情况。以下是保存在bq-logtextmsg.log副本部分中的日志:{“body”:{“asset_id”:“00000000”,“loc_id”:“76fd-7e32”,“sender_id”:“8d512d0f…”,以下是显示在BigQuery中的日志:“body”字段值:{“asset_id”=>“00000000”,“loc_id”=>“76fd-7e32”,“sender_id”=>。}