Apache spark 库杜嵌套域

我对嵌套字段的Kudu有疑问

我有来自卡夫卡的JSON，如下所示：

{
  "ts": 32,
  "status": "success",
  "uid": "3232",
  "url": "http://some_url",
  "syncpixel": "http://some_url",
  "dfp": {
    "DFP_UABrowser": "Chrome 61",
    "DFP_UAOperatingSystem": "Windows 7 ver.7.0",
    "JavascriptDisplayData_Screen_W_x_H": "1440 x 900",
    "Native_client": true
  }
}

dfp

字段有一个嵌套对象，我想通过Flume将此对象插入kudu

我知道kudu不支持嵌套字段，并且支持二进制列。 我需要做什么

将字段

dfp

转换为二进制格式并读取scala spark

将JSON转换为扁平格式（但在许多情况下并不是最好的问题，比如在页面中使用产品id、名称和其他或产品视图购买流式产品）

---

如果您使用spark/scala流媒体，则在正确设置集群时，不会出现问题。 通过spark读取整个json，并使用“explode”函数将json展平。

---

这将使生活更轻松。

如果使用spark/scala流媒体，则在正确设置群集后，将不会出现问题。 通过spark读取整个json，并使用“explode”函数将json展平。

---

这将使生活更轻松。

Impala无法使用VARCHAR或嵌套类型列创建Kudu表。Impala无法使用VARCHAR或嵌套类型列创建Kudu表。但这不是问题的答案。但这不是问题的答案。