Google cloud platform 为什么在运行数据融合时没有错误时它会失败?
Google cloud platform 为什么在运行数据融合时没有错误时它会失败?,google-cloud-platform,google-cloud-data-fusion,Google Cloud Platform,Google Cloud Data Fusion,利用谷歌云平台的数据融合,我们正在制作数据管道并对其进行优化
我使用数据融合和企业产品
这是ETL工作
地面军事系统属性
指定路径:gs://directory1/
格式:文本
仅路径文件名:True
递归读取文件:True
其他默认设置
牧马人配置
我使用的是经过验证的指令
BigQuery属性包括:
数据集和表都已确认为正确的名称
操作:插入
当处理大约3800个数据案例时,数据管道会失败
没有错误
当我查看日志时,一些警告如下
警告
2020-10-20 19:02:58058-警告[sp
利用谷歌云平台的数据融合,我们正在制作数据管道并对其进行优化
我使用数据融合和企业产品
这是ETL工作
地面军事系统属性
指定路径:gs://directory1/
格式:文本
仅路径文件名:True
递归读取文件:True
其他默认设置
牧马人配置
我使用的是经过验证的指令
BigQuery属性包括:
数据集和表都已确认为正确的名称
操作:插入
当处理大约3800个数据案例时,数据管道会失败
没有错误
当我查看日志时,一些警告如下
警告
2020-10-20 19:02:58058-警告[spark-submitter-phase-1-d33c7ba1-1306-11eb-9db4-42010a8e0010:o.a.s.d.s。HadoopDelegationTokenManager@66]-spark.Thread.security.tokens.hive.enabled已弃用。请改用spark.security.credentials.hive.enabled。
2020-10-20 19:02:58059-警告[spark-submitter-phase-1-d33c7ba1-1306-11eb-9db4-42010a8e0010:o.a.s.d.s。HadoopDelegationTokenManager@66]-spark.Thread.security.tokens.hbase.enabled已弃用。请改用spark.security.credentials.hbase.enabled
2020-10-20 19:01:57615-警告[main:i.c.c.c.c。Configuration@1814]-文件:/tmp/default\u event\u gmkt\u 201905\u DataPipelineWorkflow\u 3fecd800-1306-11eb-9f04-0e7903ca009f/cConf.xml:试图覆盖最终参数:messaging.system.topics;忽略。
2020-10-20 19:01:57616-警告[main:i.c.c.c.c。Configuration@1814]-文件:/tmp/default\u event\u gmkt\u 201905\u DataPipelineWorkflow\u 3fecd800-1306-11eb-9f04-0e7903ca009f/cConf.xml:试图覆盖最终参数:app.program.runtime.monitor.topics.configs;忽略。
2020-10-20 19:01:57616-警告[main:i.c.c.c.c。Configuration@1814]-文件:/tmp/default\u event\u gmkt\u 201905\u DataPipelineWorkflow\u 3fecd800-1306-11eb-9f04-0e7903ca009f/cConf.xml:试图覆盖最终参数:messaging.max.instances;忽略。
2020-10-20 19:01:57617-警告[main:i.c.c.c.c。Configuration@1814]-文件:/tmp/default\u event\u gmkt\u 201905\u DataPipelineWorkflow\u 3fecd800-1306-11eb-9f04-0e7903ca009f/cConf.xml:试图覆盖最终参数:app.program.runtime.monitor.server.info.file;忽略
请告诉我原因
谢谢你的阅读。:) 您好,您是否尝试过使用spark.security.credentials.hbase.enabled,如日志所示?另外,您能否分享一个代码示例,以便我们了解正在做什么?