Azure data factory 映射数据流可以使用参数化的拼花地板数据集吗?

Azure data factory 映射数据流可以使用参数化的拼花地板数据集吗?,azure-data-factory,parquet,azure-synapse,azure-data-lake-gen2,azure-data-flow,Azure Data Factory,Parquet,Azure Synapse,Azure Data Lake Gen2,Azure Data Flow,谢谢你进来 我正试图在Azure Synapse工作区中开发一个映射数据流(因此我相信这也适用于ADFv2),该数据流接受增量输入,并将其直接转换为拼花格式的输出,,其中包含使用指向ADLSGen2的拼花数据集以及参数化文件系统和文件夹的相关细节,与硬编码文件系统和文件夹相反,因为这需要创建太多的数据集,因为数据湖中有太多感兴趣的文件夹 映射数据流: 当我尝试在映射数据流中将其用作源时,调试配置(以及父管道配置)将适时地要求我输入这些参数,我很乐意输入这些参数 然后,当我尝试调试或运行管道时

谢谢你进来

我正试图在Azure Synapse工作区中开发一个映射数据流(因此我相信这也适用于ADFv2),该数据流接受增量输入,并将其直接转换为拼花格式的输出,,其中包含使用指向ADLSGen2的拼花数据集以及参数化文件系统和文件夹的相关细节,与硬编码文件系统和文件夹相反,因为这需要创建太多的数据集,因为数据湖中有太多感兴趣的文件夹

映射数据流:

当我尝试在映射数据流中将其用作源时,调试配置(以及父管道配置)将适时地要求我输入这些参数,我很乐意输入这些参数

然后,当我尝试调试或运行管道时,在不到1秒的时间内就出现了以下错误:

{
“消息”:“ErrorCode=InvalidTemplate,ErrorMessage=表达式'body('DataFlowDebuggexpressionResolver')?.50_DeltaToParquet_uuxxxxx?.ParquetCurrent.directory'无效:位置'43'处的字符串'.'不应出现。”
}
RunId:xxx-xxxxxx-xxxxxx

这个错误消息不是很具体,我不知道应该在哪里查找

我尝试用硬编码的数据集替换参数化的拼花地板数据集,它在调试和管道运行模式下都能完美工作。但是,这并不能满足我的需要,即能够重用我的拼花地板数据集,而不必为每个Data Lake文件夹创建特定的数据集

Data Lake文件系统中也没有空格。请参考这些与我的生产环境非常相似的参数:

  • 文件系统:
    prodfs001
  • 目录:
    synapse/workspace01/parquet/dim\u mydim

各位,提前感谢你们所有人

目录名synapse/workspace01/parquet/dim_mydim在dim_mydim中有一个uu,您可以尝试替换下划线,或者您可以使用dimydim来测试它是否有效