Google cloud platform 为什么在运行数据融合时没有错误时它会失败?

Google cloud platform 为什么在运行数据融合时没有错误时它会失败?,google-cloud-platform,google-cloud-data-fusion,Google Cloud Platform,Google Cloud Data Fusion,利用谷歌云平台的数据融合,我们正在制作数据管道并对其进行优化 我使用数据融合和企业产品 这是ETL工作 地面军事系统属性 指定路径:gs://directory1/ 格式:文本 仅路径文件名:True 递归读取文件:True 其他默认设置 牧马人配置 我使用的是经过验证的指令 BigQuery属性包括: 数据集和表都已确认为正确的名称 操作:插入 当处理大约3800个数据案例时,数据管道会失败 没有错误 当我查看日志时,一些警告如下 警告 2020-10-20 19:02:58058-警告[sp

利用谷歌云平台的数据融合,我们正在制作数据管道并对其进行优化

我使用数据融合和企业产品

这是ETL工作

地面军事系统属性

指定路径:gs://directory1/

格式:文本

仅路径文件名:True

递归读取文件:True

其他默认设置

牧马人配置 我使用的是经过验证的指令

BigQuery属性包括: 数据集和表都已确认为正确的名称

操作:插入

当处理大约3800个数据案例时,数据管道会失败

没有错误

当我查看日志时,一些警告如下

警告

  • 2020-10-20 19:02:58058-警告[spark-submitter-phase-1-d33c7ba1-1306-11eb-9db4-42010a8e0010:o.a.s.d.s。HadoopDelegationTokenManager@66]-spark.Thread.security.tokens.hive.enabled已弃用。请改用spark.security.credentials.hive.enabled。 2020-10-20 19:02:58059-警告[spark-submitter-phase-1-d33c7ba1-1306-11eb-9db4-42010a8e0010:o.a.s.d.s。HadoopDelegationTokenManager@66]-spark.Thread.security.tokens.hbase.enabled已弃用。请改用spark.security.credentials.hbase.enabled

  • 2020-10-20 19:01:57615-警告[main:i.c.c.c.c。Configuration@1814]-文件:/tmp/default\u event\u gmkt\u 201905\u DataPipelineWorkflow\u 3fecd800-1306-11eb-9f04-0e7903ca009f/cConf.xml:试图覆盖最终参数:messaging.system.topics;忽略。 2020-10-20 19:01:57616-警告[main:i.c.c.c.c。Configuration@1814]-文件:/tmp/default\u event\u gmkt\u 201905\u DataPipelineWorkflow\u 3fecd800-1306-11eb-9f04-0e7903ca009f/cConf.xml:试图覆盖最终参数:app.program.runtime.monitor.topics.configs;忽略。 2020-10-20 19:01:57616-警告[main:i.c.c.c.c。Configuration@1814]-文件:/tmp/default\u event\u gmkt\u 201905\u DataPipelineWorkflow\u 3fecd800-1306-11eb-9f04-0e7903ca009f/cConf.xml:试图覆盖最终参数:messaging.max.instances;忽略。 2020-10-20 19:01:57617-警告[main:i.c.c.c.c。Configuration@1814]-文件:/tmp/default\u event\u gmkt\u 201905\u DataPipelineWorkflow\u 3fecd800-1306-11eb-9f04-0e7903ca009f/cConf.xml:试图覆盖最终参数:app.program.runtime.monitor.server.info.file;忽略

  • 请告诉我原因


    谢谢你的阅读。:)

    您好,您是否尝试过使用spark.security.credentials.hbase.enabled,如日志所示?另外,您能否分享一个代码示例,以便我们了解正在做什么?