Azure 流分析作业->;数据湖输出

Azure 流分析作业->;数据湖输出,azure,azure-data-lake,azure-stream-analytics,Azure,Azure Data Lake,Azure Stream Analytics,我想使用StreamAnalytics作业设置CI/CD(ARM模板),并将输出设置为DataLake Store。 该问题与refreshToken有关: “创建数据源时,建议在此处放置伪字符串值 然后转到Azure门户对数据源进行身份验证 将使用有效的刷新令牌更新此属性“ 此外,90天后刷新令牌已过时,您需要执行“Renvew授权” 我试图授权服务负责人 如何使用DataLake自动部署ASA? 如何有效处理此90天代币的问题 也许你擦掉了痕迹:)现在还不可能。很抱歉给您带来不便。但是,

我想使用StreamAnalytics作业设置CI/CD(ARM模板),并将输出设置为DataLake Store。

该问题与refreshToken有关: “创建数据源时,建议在此处放置伪字符串值 然后转到Azure门户对数据源进行身份验证 将使用有效的刷新令牌更新此属性“

此外,90天后刷新令牌已过时,您需要执行“Renvew授权”

我试图授权服务负责人

如何使用DataLake自动部署ASA? 如何有效处理此90天代币的问题


也许你擦掉了痕迹:)

现在还不可能。很抱歉给您带来不便。但是,我们知道这非常重要,我们将在不久的将来添加服务主体身份验证(我们正在查看确切的ETA)

同时,您需要手动续订令牌。通过(1)停止作业,(2)更改令牌,然后(3)在上次停止作业时重新启动作业,可以在不丢失任何数据的情况下完成此操作


如果您有任何进一步的问题,请告诉我。

据我所知,很快基于MSI的身份验证将在预览中

但是,如果您需要即时解决方案(例如,能够让VSTS管道无误地运行),您可以执行以下操作:

"outputs": [
    {
        "name": "xxx",
        "properties": {
            "serialization": {
                "type": "Json",
                "properties": {
                    "encoding": "UTF8",
                    "format": "LineSeparated"
                }
            },
            "datasource": {
                "type": "Microsoft.DataLake/Accounts",
                "properties": {
                    "accountName": "xxx",
                    "tenantId": "xxx-xxx-xxx-xxx-xxx",
                    "tokenUserPrincipalName": "xxx@xxx.com",
                    "tokenUserDisplayName": "xxx, xxx",
                    "filePathPrefix": "xxx/{date}/{time}",
                    "dateFormat": "yyyy/MM/dd",
                    "timeFormat": "HH",
                    "refreshToken": "faketoken"
                }
            }
        }
    },
    ...
  • 创建模板(例如,使用CICD NuGet包[1])

  • 操作ARM模板
    .JobTemplate.json

    • 为ADLS输出对象添加输出数据源对象
    • 如果使用VisualStudio,您可以非常容易地从ADLS输出JSON中获取值
    • refreshToken
      设置为某个伪值很重要
例如:

"outputs": [
    {
        "name": "xxx",
        "properties": {
            "serialization": {
                "type": "Json",
                "properties": {
                    "encoding": "UTF8",
                    "format": "LineSeparated"
                }
            },
            "datasource": {
                "type": "Microsoft.DataLake/Accounts",
                "properties": {
                    "accountName": "xxx",
                    "tenantId": "xxx-xxx-xxx-xxx-xxx",
                    "tokenUserPrincipalName": "xxx@xxx.com",
                    "tokenUserDisplayName": "xxx, xxx",
                    "filePathPrefix": "xxx/{date}/{time}",
                    "dateFormat": "yyyy/MM/dd",
                    "timeFormat": "HH",
                    "refreshToken": "faketoken"
                }
            }
        }
    },
    ...
  • 部署ARM模板

  • 作业将成功启动,但必须续订令牌,因此

    • 停止工作

    • 更新ADLS输出的身份验证

    • 开始工作

资源
[1]

谢谢您提供的信息。你知道它可能的上市日期吗?天/月(1-3)?我有时间发布生产版本,所以等待2个月对我来说是可以接受的。我们也在等待这一点-如果没有这一点,目前无法使用Terraform自动化DataLake…感谢分享。我放弃了使用ASA,因为当我尝试使用它时,它包含了太多的障碍。对于身份验证,一件事是您需要更新身份验证,但第二件事是用户需要扮演“所有者”角色