Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark bluemix spark作为服务-如何使用cygwin运行spark-submit.sh?_Apache Spark_Ibm Cloud - Fatal编程技术网

Apache spark bluemix spark作为服务-如何使用cygwin运行spark-submit.sh?

Apache spark bluemix spark作为服务-如何使用cygwin运行spark-submit.sh?,apache-spark,ibm-cloud,Apache Spark,Ibm Cloud,bluemix上提供的自定义spark-submit.sh脚本声明了以下限制: 限制:Linux和Mac OS X支持运行spark-submit.sh脚本 来源: 假设脚本也可以与cygwin一起工作,只要有正确的二进制文件可用,例如bash,sed,grep,curl,hash 我不明白为什么它不应该在Cygwin中工作,但是当您测试不同的场景时,可能会有一些东西失败 我用cygwin和非常简单的程序hellopy.py测试了这一点,该程序打印出sparkcontext版本,运行良好 我得到

bluemix上提供的自定义spark-submit.sh脚本声明了以下限制:

限制:Linux和Mac OS X支持运行spark-submit.sh脚本

来源


假设脚本也可以与cygwin一起工作,只要有正确的二进制文件可用,例如
bash
sed
grep
curl
hash

我不明白为什么它不应该在Cygwin中工作,但是当您测试不同的场景时,可能会有一些东西失败

我用cygwin和非常简单的程序hellopy.py测试了这一点,该程序打印出sparkcontext版本,运行良好

我得到了所有的文件stdout,sterr,spark-submit\u xxx.log。所以旋度是有效的

下面是我在安装cygwin(bash、sed、grep、curl、hash和OPENSSL、libdev)时安装的内容。获取所有更高版本。(Curl 7.471.libcurl 7.48,OpenSSL 1.0.2 libssh)

这是我做curl-V时看到的 $curl-V curl 7.47.1(i686 pc cygwin)libcurl/7.48.0 OpenSSL/1.0.2h zlib/1.2.8 libidn/1.29 libpsl/0.13.0(+libidn/1.29)libssh2/1.7.0 nghttp2/1.7.1 协议:dict文件ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3 rtsp scp sftp smb smb smtp smtps telnet tftp 功能:调试IDN IPv6大文件GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets Metalink PSL

注意:-当您在cygwin安装页面中搜索上述库时,只需检查其他支持库,如perl和其他内容(建议中的任何内容)

我希望有帮助。 将上述问题视为临时解决方案,直至正式测试。< /P> 谢谢, 查尔斯