Azure解决方案将流保存到blob文件作为拼花

Azure解决方案将流保存到blob文件作为拼花,azure,avro,parquet,Azure,Avro,Parquet,我了解了一些不同的azure服务—事件中心捕获、azure数据工厂、事件中心等我正试图找到几种使用azure服务的方法: 从我的应用程序(最好是azure服务)将数据写入某个“端点”或位置 数据将被批处理并保存在BLOB的文件中 最后,格式应该是BLOB文件中的拼花 我的问题是: 我了解到events hub capture仅将文件保存为AVRO。所以我也可以考虑从原始Avro Bulb到目的地实木拼花块的第二条流水线。AZURE中是否有一个服务可以监听我的BLOB,将所有文件转换为拼花并再次保

我了解了一些不同的azure服务—事件中心捕获、azure数据工厂、事件中心等我正试图找到几种使用azure服务的方法

  • 从我的应用程序(最好是azure服务)将数据写入某个“端点”或位置

  • 数据将被批处理并保存在BLOB的文件中

  • 最后,格式应该是BLOB文件中的拼花

  • 我的问题是:

  • 我了解到events hub capture仅将文件保存为AVRO。所以我也可以考虑从原始Avro Bulb到目的地实木拼花块的第二条流水线。AZURE中是否有一个服务可以监听我的BLOB,将所有文件转换为拼花并再次保存(从文档中我不确定数据工厂是否可以做到这一点)

  • < L> > P>除了卡夫卡之外,你还可以考虑其他选项来将数据流保存到批处理中的批处理中?


    谢谢大家!

    您只需花费最少的精力,就可以将事件中心的组合作为您的端点,然后将Azure Stream Analytics连接到该端点。它可以在本地将拼花地板写入blob:

    谢谢!如果我理解正确,您建议发送到events hub,然后从events hub创建流分析,这样做类似于select*from u uu,而不做任何其他操作,并将其保存到BLOB?