Performance 如何限制DataStage

Performance 如何限制DataStage,performance,resources,large-data-volumes,throttling,datastage,Performance,Resources,Large Data Volumes,Throttling,Datastage,我在一个项目中工作,在这个项目中,我们运行了许多可以并行运行的DataStage序列,其中一个特别糟糕,占用了大量资源,影响了共享环境。性能调整计划正在进行中,但需要时间 同时,我希望我们可以限制DataStage,以限制这个特定作业/序列可以使用的资源——但是我个人对DataStage没有特别的经验 有谁能评论一下DataStage(我相信是v8.5)中是否存在此功能,并为我指出一些进一步的细节 第二,我知道我们可以根据用户的不同来调整速度(我认为这与AIX‘ulimit’有关,但不确定)。作

我在一个项目中工作,在这个项目中,我们运行了许多可以并行运行的DataStage序列,其中一个特别糟糕,占用了大量资源,影响了共享环境。性能调整计划正在进行中,但需要时间

同时,我希望我们可以限制DataStage,以限制这个特定作业/序列可以使用的资源——但是我个人对DataStage没有特别的经验

有谁能评论一下DataStage(我相信是v8.5)中是否存在此功能,并为我指出一些进一步的细节


第二,我知道我们可以根据用户的不同来调整速度(我认为这与AIX‘ulimit’有关,但不确定)。作为不同的用户运行不同的作业/序列是否容易/可能?

序列是单个作业的集合

In most cases, jobs in a sequence can be rearranged to run serially.  Please check the organisation of the sequence and do a critical path analyis to remove the jobs that need not run in parallel to critical jobs.

在这种情况下,可以通过在配置文件中指定节点和资源的数量来限制特定作业的资源。可能在8.5中,您可能会发现正在进行的革命是正确的

Datastage PX具有配置文件的概念。可以为运行的所有作业指定该文件,也可以逐个作业覆盖该文件。配置文件可用于限制与作业关联的物理资源

在这种情况下,如果大多数作业都有一个4节点的配置文件,则可能需要为存在性能问题的作业编写一个2节点的配置文件。这样,您将获得最小数量的并行性(而不是完全按顺序进行),并使用最小数量的资源