Apache spark 将Scala对象加载到RDD中
Scala类表示Apache spark 将Scala对象加载到RDD中,apache-spark,Apache Spark,Scala类表示用户。该类有一个伴生对象 类本身包含一个toXml()函数,而伴随对象有一个fromXml()函数 class User(val firstname:String, val lastname:String, val age:Int, val profession:String){ def toXml(){...} } XML文件包含由Scala类建模的用户列表 需要从XML文件创建\加载Spark RDD,以便它包含类类型的Scala对象集合,即RDD[User] 最好的
用户
。该类有一个伴生对象
类本身包含一个toXml()
函数,而伴随对象有一个fromXml()
函数
class User(val firstname:String, val lastname:String, val age:Int, val profession:String){
def toXml(){...}
}
XML文件包含由Scala类建模的用户列表
需要从XML文件创建\加载Spark RDD,以便它包含类类型的Scala对象集合,即RDD[User]
最好的方法是什么
谢谢您是否尝试过通过AbstractJavaRDDLike创建自己的RDD,并在调用函数中将XML转换为对象?能否显示示例数据和/或用户类?编辑问题以显示简单的用户类。RDD将包含用户实例,因此,作为一个简单的例子,可以过滤或过滤所有年龄超过30岁的职业“记者”的人。您有没有关于如何使用AbstractJavaRDIke的示例?感谢您尝试通过AbstractJavaRDDLike创建自己的RDD,并在调用函数中将XML转换为对象?能否显示示例数据和/或用户类?编辑问题以显示简单的用户类。RDD将包含用户实例,因此,作为一个简单的例子,可以过滤或过滤所有年龄超过30岁的职业“记者”的人。您有没有关于如何使用AbstractJavaRDIke的示例?谢谢