Scala spark sc.textString?有没有办法读取字符串?
有没有一种方法可以在spark中读取scala/java内存字符串?我不喜欢这样的事实:对于简单的试验,我需要从磁盘读取文本文件 我在找类似的东西Scala spark sc.textString?有没有办法读取字符串?,scala,apache-spark,Scala,Apache Spark,有没有一种方法可以在spark中读取scala/java内存字符串?我不喜欢这样的事实:对于简单的试验,我需要从磁盘读取文本文件 我在找类似的东西 // "invented" textString anything like this (textString) in spark? sc.textString("hi this is my string, lets word count it") 虽然我可以先写一个文件,然后再读它,但我不明白为什么没有选项可以玩内存字符串,不是吗?您可以使用并
// "invented" textString anything like this (textString) in spark?
sc.textString("hi this is my string, lets word count it")
虽然我可以先写一个文件,然后再读它,但我不明白为什么没有选项可以玩内存字符串,不是吗?您可以使用
并行化
功能:
val stringRdd = sc.parallelize(Seq("hi this is my string, lets word count it"))
您可以使用
parallelize
功能:
val stringRdd = sc.parallelize(Seq("hi this is my string, lets word count it"))
您可以使用
parallelize
功能:
val stringRdd = sc.parallelize(Seq("hi this is my string, lets word count it"))
您可以使用
parallelize
功能:
val stringRdd = sc.parallelize(Seq("hi this is my string, lets word count it"))
Spark中没有
textString
这样的东西,但考虑到我从您的问题中了解到的情况,您可以这样做:
- 从Java或Scala中所需的源读取字符串
- 将字符串转换为Seq后并行化以创建RDD,如下所示:
val str = "this is a string" val rdd = sc.parallelize(Seq(str))
- Spark中没有
textString
这样的东西,但考虑到我从您的问题中了解到的情况,您可以这样做:
- 从Java或Scala中所需的源读取字符串
- 将字符串转换为Seq后并行化以创建RDD,如下所示:
val str = "this is a string" val rdd = sc.parallelize(Seq(str))
- Spark中没有
textString
这样的东西,但考虑到我从您的问题中了解到的情况,您可以这样做:
- 从Java或Scala中所需的源读取字符串
- 将字符串转换为Seq后并行化以创建RDD,如下所示:
val str = "this is a string" val rdd = sc.parallelize(Seq(str))
- Spark中没有
textString
这样的东西,但考虑到我从您的问题中了解到的情况,您可以这样做:
- 从Java或Scala中所需的源读取字符串
- 将字符串转换为Seq后并行化以创建RDD,如下所示:
val str = "this is a string" val rdd = sc.parallelize(Seq(str))