Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 我如何页面输出spark shell_Scala_Apache Spark - Fatal编程技术网

Scala 我如何页面输出spark shell

Scala 我如何页面输出spark shell,scala,apache-spark,Scala,Apache Spark,如何将页面输出写入spark shell控制台?例如,当我运行下面的命令列出会话中定义的术语时,我经常会得到一个很长的输出列表,该列表超过了终端中的行数 $intp.definedTerms.foreach{println(41;} 在bashshell中,我将使用less来分页命令或程序的输出。spark shell是否有类似于less的分页功能 谢谢。spark shell没有,但在最后,我链接到spark在RDD上的pipe()操作信息,让您将输出分叉到外部程序 窗口滚动 你没有说你在哪个

如何将页面输出写入spark shell控制台?例如,当我运行下面的命令列出会话中定义的术语时,我经常会得到一个很长的输出列表,该列表超过了终端中的行数

$intp.definedTerms.foreach{println(41;}

bash
shell中,我将使用
less
来分页命令或程序的输出。spark shell是否有类似于
less
的分页功能


谢谢。

spark shell没有,但在最后,我链接到spark在RDD上的pipe()操作信息,让您将输出分叉到外部程序

窗口滚动

你没有说你在哪个环境

例如,如果你在Ubuntu的Unity中,或者几乎在任何窗口系统中,终端窗口的滚动功能能满足你的需要吗

在调用spark shell之前,可以编辑.bashrc并修改滚动设置

还有一些基于GUI的有用方法可以影响窗口滚动:

这是另一个页面,提供了更多关于编辑的建议。bashrc,关于您的环境的更多信息也会很有帮助

Spark中RDD上的管道动作

此外,如果没有特定的代码,很难知道这是否适用,有一种方法可以将RDD上的操作输出通过管道传输到外部程序。看,这里有一段摘录:

通过shell命令(例如Perl命令)对RDD的每个分区进行管道传输 或者bash脚本。RDD元素被写入进程的stdin和 输出到其标准输出的行作为字符串的RDD返回


您可以使用Ammonite而不是spark shell,它具有翻页任何值的功能。

谢谢您在滚动时推我。我使用GNU屏幕来禁用终端窗口中的滚动条。事实证明,你可以进入“复制模式”[C-a ESC],它允许你使用上下翻页或箭头键在屏幕上上下移动。哈哈,太棒了,听起来像emacs:)