Apache spark bluemix spark作为服务-如何使用cygwin运行spark-submit.sh?
bluemix上提供的自定义spark-submit.sh脚本声明了以下限制: 限制:Linux和Mac OS X支持运行spark-submit.sh脚本 来源:Apache spark bluemix spark作为服务-如何使用cygwin运行spark-submit.sh?,apache-spark,ibm-cloud,Apache Spark,Ibm Cloud,bluemix上提供的自定义spark-submit.sh脚本声明了以下限制: 限制:Linux和Mac OS X支持运行spark-submit.sh脚本 来源: 假设脚本也可以与cygwin一起工作,只要有正确的二进制文件可用,例如bash,sed,grep,curl,hash 我不明白为什么它不应该在Cygwin中工作,但是当您测试不同的场景时,可能会有一些东西失败 我用cygwin和非常简单的程序hellopy.py测试了这一点,该程序打印出sparkcontext版本,运行良好 我得到
假设脚本也可以与cygwin一起工作,只要有正确的二进制文件可用,例如
bash
,sed
,grep
,curl
,hash
我不明白为什么它不应该在Cygwin中工作,但是当您测试不同的场景时,可能会有一些东西失败
我用cygwin和非常简单的程序hellopy.py测试了这一点,该程序打印出sparkcontext版本,运行良好
我得到了所有的文件stdout,sterr,spark-submit\u xxx.log。所以旋度是有效的
下面是我在安装cygwin(bash、sed、grep、curl、hash和OPENSSL、libdev)时安装的内容。获取所有更高版本。(Curl 7.471.libcurl 7.48,OpenSSL 1.0.2 libssh)
这是我做curl-V时看到的
$curl-V
curl 7.47.1(i686 pc cygwin)libcurl/7.48.0 OpenSSL/1.0.2h zlib/1.2.8 libidn/1.29 libpsl/0.13.0(+libidn/1.29)libssh2/1.7.0 nghttp2/1.7.1
协议:dict文件ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3 rtsp scp sftp smb smb smtp smtps telnet tftp
功能:调试IDN IPv6大文件GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets Metalink PSL
注意:-当您在cygwin安装页面中搜索上述库时,只需检查其他支持库,如perl和其他内容(建议中的任何内容)
我希望有帮助。
将上述问题视为临时解决方案,直至正式测试。< /P>
谢谢,
查尔斯