Dataframe 如何使用python/scala从Spark中的Amazon Ion文件创建数据帧？

我正在尝试从AmazonIon格式文件创建一个数据帧。但在spark中，我没有找到任何离子类型的格式。所以，我使用json格式加载ion文件，但它抛出错误。是否有一种方法可以从ion文件创建数据帧

我尝试了以下代码

val df=spark.read .formatjson .loadfile:/home/mohan/Downloads/test_journal.ion

---

简短回答：不，至少不是天生的。 是来自Amazon的专有格式，它有C、java、JS和Python提供的解析器。您需要告诉Spark如何以某种方式解析此格式

您可以通过扩展API和以下内容来构建自己的数据框架