Scala spark sc.textString?有没有办法读取字符串?

Scala spark sc.textString?有没有办法读取字符串?,scala,apache-spark,Scala,Apache Spark,有没有一种方法可以在spark中读取scala/java内存字符串?我不喜欢这样的事实:对于简单的试验,我需要从磁盘读取文本文件 我在找类似的东西 // "invented" textString anything like this (textString) in spark? sc.textString("hi this is my string, lets word count it") 虽然我可以先写一个文件,然后再读它,但我不明白为什么没有选项可以玩内存字符串,不是吗?您可以使用并

有没有一种方法可以在spark中读取scala/java内存字符串?我不喜欢这样的事实:对于简单的试验,我需要从磁盘读取文本文件

我在找类似的东西

// "invented" textString anything like this (textString) in spark?
sc.textString("hi this is my string, lets word count it") 

虽然我可以先写一个文件,然后再读它,但我不明白为什么没有选项可以玩内存字符串,不是吗?

您可以使用
并行化
功能:

val stringRdd = sc.parallelize(Seq("hi this is my string, lets word count it"))

您可以使用
parallelize
功能:

val stringRdd = sc.parallelize(Seq("hi this is my string, lets word count it"))

您可以使用
parallelize
功能:

val stringRdd = sc.parallelize(Seq("hi this is my string, lets word count it"))

您可以使用
parallelize
功能:

val stringRdd = sc.parallelize(Seq("hi this is my string, lets word count it"))

Spark中没有
textString
这样的东西,但考虑到我从您的问题中了解到的情况,您可以这样做:

  • 从Java或Scala中所需的源读取字符串
  • 将字符串转换为Seq后并行化以创建RDD,如下所示:

    val str = "this is a string"
    val rdd = sc.parallelize(Seq(str))
    

    • Spark中没有
      textString
      这样的东西,但考虑到我从您的问题中了解到的情况,您可以这样做:

      • 从Java或Scala中所需的源读取字符串
      • 将字符串转换为Seq后并行化以创建RDD,如下所示:

        val str = "this is a string"
        val rdd = sc.parallelize(Seq(str))
        

        • Spark中没有
          textString
          这样的东西,但考虑到我从您的问题中了解到的情况,您可以这样做:

          • 从Java或Scala中所需的源读取字符串
          • 将字符串转换为Seq后并行化以创建RDD,如下所示:

            val str = "this is a string"
            val rdd = sc.parallelize(Seq(str))
            

            • Spark中没有
              textString
              这样的东西,但考虑到我从您的问题中了解到的情况,您可以这样做:

              • 从Java或Scala中所需的源读取字符串
              • 将字符串转换为Seq后并行化以创建RDD,如下所示:

                val str = "this is a string"
                val rdd = sc.parallelize(Seq(str))