Logging Ultra任务无法检索全部记录
我有一个超级管道,它总是在运行。我需要的统计数据是过去7天仪表板中管道执行的平均持续时间。当我尝试使用SnapLogic API从REST Get Snap检索这些记录时,我只在几天内获得了大约50个随机条目,但是,我希望的输出是一个更高的数字(500-600次执行) 我的问题是——发生这种情况是因为在这种情况下,这是一项超任务,而不是计划/触发的任务吗?我尝试过后者,在这种情况下,它是有效的。管道流如下所示: 我尝试过的解决方案之一是停止实例并使用REST Post快照再次调用它们,但是,到目前为止还没有成功Logging Ultra任务无法检索全部记录,logging,timing,snaplogic,Logging,Timing,Snaplogic,我有一个超级管道,它总是在运行。我需要的统计数据是过去7天仪表板中管道执行的平均持续时间。当我尝试使用SnapLogic API从REST Get Snap检索这些记录时,我只在几天内获得了大约50个随机条目,但是,我希望的输出是一个更高的数字(500-600次执行) 我的问题是——发生这种情况是因为在这种情况下,这是一项超任务,而不是计划/触发的任务吗?我尝试过后者,在这种情况下,它是有效的。管道流如下所示: 我尝试过的解决方案之一是停止实例并使用REST Post快照再次调用它们,但是,
有什么建议吗?ULTRA管道始终在运行,使其能够连续使用来自外部源的文档,而不会增加延迟 我尝试过的解决方案之一是停止实例并使用REST Post快照再次调用它们,但是,到目前为止还没有成功 然而,这违背了超常规任务的目的 您可以从仪表板获取快照执行计时。请参考以下屏幕截图 从仪表板上可以得到的另一件事是ULTRA特定运行的日志 显示以下有关管道执行运行时日志的详细信息 对于每个任务,请单击 状态栏 注意:根据snaplex属性中配置的管道数量和大小,日志不断滚动到备份 参考资料:
用于捕获计时的自定义日志记录 但是,如果您想在日志中设置计时,以便生成报告,则必须将其添加到ULTRA pipeline logic(或使用与启用/禁用ULTRA任务类似的SnapLogic日志API) 我们也有类似的要求,即获取每个快照执行的时间,然后将其转储到一个文件中,然后在需要时读取/处理该文件。这使我们能够更好地控制要记录的内容以及数据的外观。唯一的缺点是它还增加了代码的复杂性 关于此方法,需要记住几点:
- 不要在ULTRA管道中使用文件编写器管理单元,因为您可能会丢失沿袭信息并导致管道失败
- 创建一个简单的轻量级公共管道来进行日志记录,然后在ULTRA管道中使用管道执行管理单元来利用这个公共管道
- 不要重复使用日志管道的相同执行
- 将日志信息作为管道参数传递到此管道,而不是将其直接传递到打开的输入视图;不要让公共管道的输入和输出保持打开状态
- 另外,确保在公共管道中捕获管道参数,以便可以在仪表板中查看捕获的参数