Apache pig 如何使用ApachePig将avro子字段升级到根字段?
我有以下avro模式:Apache pig 如何使用ApachePig将avro子字段升级到根字段?,apache-pig,Apache Pig,我有以下avro模式: { "id":1, "subfields": { "field_A":"value_A", "field_B":"value_B", "field_C":["value_C1","value_C2"] }, other_field: "other_field" } 使用Pig,我希望将“子字段”中的所有字段升级到主级别,从而生成的avro为: { "id":1, "field_A":"value_A", "field_B":"value_B", "field_C":["
{
"id":1,
"subfields": {
"field_A":"value_A",
"field_B":"value_B",
"field_C":["value_C1","value_C2"]
},
other_field: "other_field"
}
使用Pig,我希望将“子字段”中的所有字段升级到主级别,从而生成的avro为:
{
"id":1,
"field_A":"value_A",
"field_B":"value_B",
"field_C":["value_C1","value_C2"]
other_field: "other_field"
}
如何做到这一点?将数据加载到Pig后,数据的模式是什么?不确定,请使用AvroLoader()将其按原样加载。将数据加载到Pig后,使用
descripe
命令获取模式。