Azure 流分析作业->;数据湖输出
我想使用StreamAnalytics作业设置CI/CD(ARM模板),并将输出设置为DataLake Store。 该问题与refreshToken有关: “创建数据源时,建议在此处放置伪字符串值 然后转到Azure门户对数据源进行身份验证 将使用有效的刷新令牌更新此属性“ 此外,90天后刷新令牌已过时,您需要执行“Renvew授权” 我试图授权服务负责人 如何使用DataLake自动部署ASA? 如何有效处理此90天代币的问题Azure 流分析作业->;数据湖输出,azure,azure-data-lake,azure-stream-analytics,Azure,Azure Data Lake,Azure Stream Analytics,我想使用StreamAnalytics作业设置CI/CD(ARM模板),并将输出设置为DataLake Store。 该问题与refreshToken有关: “创建数据源时,建议在此处放置伪字符串值 然后转到Azure门户对数据源进行身份验证 将使用有效的刷新令牌更新此属性“ 此外,90天后刷新令牌已过时,您需要执行“Renvew授权” 我试图授权服务负责人 如何使用DataLake自动部署ASA? 如何有效处理此90天代币的问题 也许你擦掉了痕迹:)现在还不可能。很抱歉给您带来不便。但是,
也许你擦掉了痕迹:)现在还不可能。很抱歉给您带来不便。但是,我们知道这非常重要,我们将在不久的将来添加服务主体身份验证(我们正在查看确切的ETA) 同时,您需要手动续订令牌。通过(1)停止作业,(2)更改令牌,然后(3)在上次停止作业时重新启动作业,可以在不丢失任何数据的情况下完成此操作
如果您有任何进一步的问题,请告诉我。据我所知,很快基于MSI的身份验证将在预览中 但是,如果您需要即时解决方案(例如,能够让VSTS管道无误地运行),您可以执行以下操作:
"outputs": [
{
"name": "xxx",
"properties": {
"serialization": {
"type": "Json",
"properties": {
"encoding": "UTF8",
"format": "LineSeparated"
}
},
"datasource": {
"type": "Microsoft.DataLake/Accounts",
"properties": {
"accountName": "xxx",
"tenantId": "xxx-xxx-xxx-xxx-xxx",
"tokenUserPrincipalName": "xxx@xxx.com",
"tokenUserDisplayName": "xxx, xxx",
"filePathPrefix": "xxx/{date}/{time}",
"dateFormat": "yyyy/MM/dd",
"timeFormat": "HH",
"refreshToken": "faketoken"
}
}
}
},
...
- 创建模板(例如,使用CICD NuGet包[1])
- 操作ARM模板
.JobTemplate.json
- 为ADLS输出对象添加输出数据源对象
- 如果使用VisualStudio,您可以非常容易地从ADLS输出JSON中获取值
- 将
设置为某个伪值很重要refreshToken
"outputs": [
{
"name": "xxx",
"properties": {
"serialization": {
"type": "Json",
"properties": {
"encoding": "UTF8",
"format": "LineSeparated"
}
},
"datasource": {
"type": "Microsoft.DataLake/Accounts",
"properties": {
"accountName": "xxx",
"tenantId": "xxx-xxx-xxx-xxx-xxx",
"tokenUserPrincipalName": "xxx@xxx.com",
"tokenUserDisplayName": "xxx, xxx",
"filePathPrefix": "xxx/{date}/{time}",
"dateFormat": "yyyy/MM/dd",
"timeFormat": "HH",
"refreshToken": "faketoken"
}
}
}
},
...
- 部署ARM模板
- 作业将成功启动,但必须续订令牌,因此
- 停止工作
- 更新ADLS输出的身份验证
- 开始工作
[1] 谢谢您提供的信息。你知道它可能的上市日期吗?天/月(1-3)?我有时间发布生产版本,所以等待2个月对我来说是可以接受的。我们也在等待这一点-如果没有这一点,目前无法使用Terraform自动化DataLake…感谢分享。我放弃了使用ASA,因为当我尝试使用它时,它包含了太多的障碍。对于身份验证,一件事是您需要更新身份验证,但第二件事是用户需要扮演“所有者”角色