Google cloud platform 数据融合无法分析来自JSON的响应
我正在使用CDAP参考启动数据融合批处理管道(GCS到GCS) 其中argfile是参数设置器宏的输入URL json文件的参数为:Google cloud platform 数据融合无法分析来自JSON的响应,google-cloud-platform,google-cloud-data-fusion,Google Cloud Platform,Google Cloud Data Fusion,我正在使用CDAP参考启动数据融合批处理管道(GCS到GCS) 其中argfile是参数设置器宏的输入URL json文件的参数为: { "arguments": [ { "name": "input.path", "type": "string", "value": "gs://bucket/employee
{
"arguments": [
{
"name": "input.path",
"type": "string",
"value": "gs://bucket/employee_sample.csv"
},
{
"name": "directive",
"type": "array",
"value": [
"parse-as-csv :body ',' true",
"drop body"
]
},
{
"name": "output.path",
"type": "string",
"value": "gs://bucket/FusionOutput"
},
{
"name": "PROJECT_ID",
"type": "string",
"value": "project-id"
},
{
"name": "output.schema",
"type": "schema",
"value": [
{
"name": "emp_id",
"type": "string",
"nullable": true
},
{
"name": "name_prefix",
"type": "string",
"nullable": true
},
{
"name": "first_name",
"type": "string",
"nullable": true
}
]
}
]
}
这里的问题是我收到了这个错误
Pipeline 'gcs_fusion' failed.
io.cdap.cdap.api.macro.InvalidMacroException: Argument 'input.path' is not defined.
at io.cdap.cdap.etl.common.DefaultMacroEvaluator.lookup(DefaultMacroEvaluator.java:54) ~[na:na]
at io.cdap.cdap.internal.app.runtime.plugin.MacroParser.findRightmostMacro(MacroParser.java:144)
java.lang.RuntimeException: Could not parse response from 'https://storage.cloud.google.com/bucket/argumentj.json': java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 2 column 1
at io.cdap.plugin.ArgumentSetter.handleResponse(ArgumentSetter.java:83) ~[na:na]
at io.cdap.plugin.http.HTTPArgumentSetter.run(HTTPArgumentSetter.java:76) ~[na:na]
当我尝试通过数据融合UI控制台传递参数设置器URL时,在某些运行中,相同的管道使用相同的模板
参数设置器JSON遵循中规定的语法,参数JSON文件在存储桶中设置为public
如果有人能解决这个问题,会很有帮助的
请注意,我在这里匿名了我的项目详细信息假设您的bucket可以公开访问,那么您要提供给参数设置器的URL具有以下模式:
https://storage.googleapis.com/[BUCKET_NAME]/[OBJECT_NAME]
如果bucket不可公开访问,则需要在Google云存储中为参数文件生成签名URL。您可以阅读有关如何生成签名URL的更多信息。假设您的bucket可以公开访问,那么您要提供给参数设置程序的URL具有以下模式:
https://storage.googleapis.com/[BUCKET_NAME]/[OBJECT_NAME]
如果bucket不可公开访问,则需要在Google云存储中为参数文件生成签名URL。您可以阅读有关如何生成签名URL的更多信息。谢谢!真不敢相信我竟然错过了!谢谢真不敢相信我竟然错过了!