Snowflake cloud data platform 获取错误:";CURLerror(curl_easy_perform()失败)-code=2 msg=&x27;初始化失败'&引用;

Snowflake cloud data platform 获取错误:";CURLerror(curl_easy_perform()失败)-code=2 msg=&x27;初始化失败'&引用;,snowflake-cloud-data-platform,Snowflake Cloud Data Platform,(提交以下Q&A字符串,因为这可能有利于接收类似错误消息的其他人…) 由“M”提交的问题: 我有Windows7 64位ODBC驱动程序。当使用Attunity Replicate时,我试图从Snowflake读取1TB的数据,在运行约5小时后出现以下错误: 结果下载工作程序错误:工作程序错误:[Snowflake][Snowflake](4) URL的REST请求失败:CURLerror(curl\u easy\u perform()失败)-code=2 msg='failed initia

(提交以下Q&A字符串,因为这可能有利于接收类似错误消息的其他人…)


由“M”提交的问题:

我有Windows7 64位ODBC驱动程序。当使用Attunity Replicate时,我试图从Snowflake读取1TB的数据,在运行约5小时后出现以下错误:

结果下载工作程序错误:工作程序错误:[Snowflake][Snowflake](4)

URL的REST请求失败:CURLerror(curl\u easy\u perform()失败)-code=2 msg='failed initialization'

注意:触发作业时,此错误在运行约5小时后发生

“KM”响应#1:

1) 这个问题是间歇性发生还是一直发生

2) 这个问题是否发生在小数据集上

3) 您正在使用的Snowflake ODBC版本是什么?您能使用最新的ODBC驱动程序版本2.19.14并告诉我们其行为吗

4) 您是否在网络中使用代理

5) 请从Snowflake Web GUI或SnowSQL终端运行下面的语句,以获取需要在防火墙/网络中列入白名单的端点列表。(与您的网络团队共享端点详细信息)

或者(如果您想要更可读的输出):

注意:为了正常工作,Snowflake必须能够访问一组HTTP/HTTPS地址。如果服务器策略拒绝访问大多数或所有外部IP地址和网站,则必须将这些地址列为白名单,以允许正常的服务操作

与Snowflake的所有通信都通过端口443进行。但是,CRL和OCSP认证检查通过端口80传输。您所在组织的网络管理员必须打开防火墙,以允许端口443和80上的流量


“M”跟进回应#1:

请在下面找到我对您的问题的回答:

1) 这是一个间歇性问题。并非总是失败

2) 小数据集不会出现此问题。对于较大的数据集,作业将运行11-12小时,然后由于指定的错误而失败

3) 我们正在使用ODBC驱动程序版本:2.19.09.00。将使用更高版本进行检查

4) 不,我们没有在网络中使用任何代理

5) 嗯

我将检查并列出我们网络中的所有雪花IP地址,安装最新的ODBC驱动程序,然后再次运行该作业。我会把结果告诉你的


“M”跟进回应#2:

我已将ODBC驱动程序升级到最新版本2.19.14

现在,在运行作业时,它在运行24小时后失败,并出现另一个错误

错误消息:

结果下载工作程序错误:工作程序错误:[Snowflake][Snowflake](4)

URL的REST请求失败:CURLerror(curl\u easy\u perform()失败)-code=28 msg='Timeout was reated'

你能就此提出建议吗


KM响应#2:

1) 你的操作系统是什么

2) 这个问题是发生在小数据集还是大数据集上

3) 您可以尝试清除服务器临时位置上的一些空间吗?例如,对于Windows,它将是C:\Windows\TEMP和C:\Users\\AppData\Local\TEMP,对于linux/tmp

4) 你能确定URL是白名单吗

5) 请尝试使用该命令检查连接

旋度-v-k


“M”跟进回应#3:

1) 操作系统:Windows Server 2012 R2

2) 这个问题只发生在大数据集上——特别是当作业运行约24小时时

3) 完成了。清理空间

4) URL是白名单

5) 在windows power shell上,此命令给出错误:

Invoke WebRequest:找不到与参数名称“k”匹配的参数

第1行字符:9

+ curl -v -k https://sfc-va-ds1-2-customer-stage.s3.amazonaws.com

+     ~~

  + CategoryInfo     : InvalidArgument: (:) [Invoke-WebRequest], ParameterBindingException

  + FullyQualifiedErrorId : NamedParameterNotFound,Microsoft.PowerShell.Commands.InvokeWebRequestCommand

KM响应#3:

使用CURL命令测试与雪花的连接。(确保计算机上安装了curl,如果没有安装,则可以从第三方ex下载curl。)

旋度-v-k

当临时位置没有太多空间时,有时会发生此问题。您可以尝试运行作业并监视%TEMP%空间

我不确定Attunity工具是如何工作的,但一些ETL工具(如Informatica ETL工具)会在服务器上创建临时文件并利用%TEMP%位置


“M”跟进回应#4:

使用curl命令,现在可以成功连接。我现在将触发作业并监视%TEMP%位置


还有其他想法、建议或可能的解决办法吗

select t.value:type::varchar as type, t.value:host::varchar as host, t.value:port as port from table(flatten(input => parse_json(system$whitelist()))) as t;
+ curl -v -k https://sfc-va-ds1-2-customer-stage.s3.amazonaws.com

+     ~~

  + CategoryInfo     : InvalidArgument: (:) [Invoke-WebRequest], ParameterBindingException

  + FullyQualifiedErrorId : NamedParameterNotFound,Microsoft.PowerShell.Commands.InvokeWebRequestCommand