Google cloud platform 从PubSub摄取CDAP

Google cloud platform 从PubSub摄取CDAP,google-cloud-platform,publish-subscribe,google-cloud-pubsub,google-cloud-data-fusion,cdap,Google Cloud Platform,Publish Subscribe,Google Cloud Pubsub,Google Cloud Data Fusion,Cdap,我正在尝试将数据从PubSub消息加载到GCS文件。 简单管道:pubsubsource->JSON解析器->GCS接收器 既然PubSub只接受数据参数为utf-8,我如何在CDAP中解码它? 我应该构建一个实现解码功能的自定义插件,还是使用PuSub消息中的属性而不是“数据”将数据作为字符串传递更好?我使用投影仪插件而不是PubSub源和GCS接收器之间的JSON解析器解决了这个问题。 投影仪将PubSub源的byte message属性转换为字符串(纯文本)。JSON的标准编码是utf-8

我正在尝试将数据从PubSub消息加载到GCS文件。 简单管道:pubsubsource->JSON解析器->GCS接收器

既然PubSub只接受数据参数为utf-8,我如何在CDAP中解码它?
我应该构建一个实现解码功能的自定义插件,还是使用PuSub消息中的属性而不是“数据”将数据作为字符串传递更好?

我使用投影仪插件而不是PubSub源和GCS接收器之间的JSON解析器解决了这个问题。
投影仪将PubSub源的byte message属性转换为字符串(纯文本)。

JSON的标准编码是utf-8。我可能完全误解了你的问题,但你似乎认为JSON和utf-8是两个相互排斥的东西。。。但是“PubSub只接受数据参数为utf-8”,这使得
data
非常适合JSON负载。问题是关于CDAP插件的。PubSub的发布阶段非常好。问题是以纯文本检索消息。我无法使用CDAP插件以纯文本形式检索PubSub消息,我只能读取字节或ASCII数字。