Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
从Azure中的数据工厂在ADL存储中执行U-SQL脚本_Azure_Azure Data Factory_Azure Data Lake_U Sql - Fatal编程技术网

从Azure中的数据工厂在ADL存储中执行U-SQL脚本

从Azure中的数据工厂在ADL存储中执行U-SQL脚本,azure,azure-data-factory,azure-data-lake,u-sql,Azure,Azure Data Factory,Azure Data Lake,U Sql,我的ADL存储中存储了一个USQL脚本,我正在尝试执行它。脚本文件相当大——大约250Mb 到目前为止,我有一个数据工厂,我已经创建了一个链接服务,并试图创建一个Data lake Analytics U-SQL活动 我的U-SQL活动的代码如下所示: { "name": "RunUSQLScript1", "properties": { "description": "Runs the USQL Script", "activities": [ {

我的ADL存储中存储了一个USQL脚本,我正在尝试执行它。脚本文件相当大——大约250Mb

到目前为止,我有一个数据工厂,我已经创建了一个链接服务,并试图创建一个Data lake Analytics U-SQL活动

我的U-SQL活动的代码如下所示:

{
"name": "RunUSQLScript1",
"properties": {
    "description": "Runs the USQL Script",
    "activities": [
        {
            "name": "DataLakeAnalyticsUSqlActivityTemplate",
            "type": "DataLakeAnalyticsU-SQL",
            "linkedServiceName": "AzureDataLakeStoreLinkedService",

            "typeProperties": {

                "scriptPath": "/Output/dynamic.usql",
                "scriptLinkedService": "AzureDataLakeStoreLinkedService",
                "degreeOfParallelism": 3,
                "priority": 1000
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 3,
                "timeout": "01:00:00"
            },
            "scheduler": {
                "frequency": "Day",
                "interval": 1
            }
        }
    ],
    "start": "2017-05-02T00:00:00Z",
    "end": "2017-05-02T00:00:00Z"
}
}

但是,我得到以下错误:

错误

来自>管道“RunUSQLScript1”的活动“DataLakeAnalyticsUSqlActivityTemplate”没有输出,也没有计划。请添加>输出数据集或定义活动计划


我希望此活动按需运行,也就是说,我根本不希望计划它,而且我不了解我的案例中的输入和输出是什么。我尝试运行的U-SQL脚本正在我的ADL存储上运行数百万个文件,并在对内容进行一些修改后保存它们

当前ADF不支持为USQL活动运行存储在ADL中的USQL脚本,即“typeProperties”下的“scriptLinkedService”必须是Azure Blob存储链接服务。我们将更新USQL活动的文档,使其更加清晰

支持运行存储在ADLS中的USQL脚本在我们的产品待办事项列表中,但我们还没有对此的承诺日期


Shirley Wang

目前ADF不支持按需执行活动,需要配置一个时间表。您将需要至少一个输出来驱动活动的计划执行。输出可以是虚拟Azure存储,而不实际写出数据,但ADF利用可用性属性来驱动计划执行。例如:

{
 "name": "OutputDataset",
 "properties": {
     "type": "AzureBlob",
     "linkedServiceName": "AzureStorageLinkedService",
     "typeProperties": {
         "fileName": "dummyoutput.txt",
         "folderPath": "adf/output",
         "format": {
             "type": "TextFormat",
             "columnDelimiter": "\t"
         }
     },
     "availability": {
         "frequency": "Day",
         "interval": 1
     }
 }
}