Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/375.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 用水壶缩放,并发问题_Java_Mysql_Database_Data Warehouse_Kettle - Fatal编程技术网

Java 用水壶缩放,并发问题

Java 用水壶缩放,并发问题,java,mysql,database,data-warehouse,kettle,Java,Mysql,Database,Data Warehouse,Kettle,我假装扩展我的应用程序,过程的某些部分包括由一些处理客户端同时运行kettle作业,在某些点转换中需要在某些共享表上执行组合查找让我们假设客户端\u表,该表增长很快,因为所有可能的客户端都未知,因此它们会在显示时插入。同时执行作业的组合查找,比如说2个,但可能不止这些,表中每个客户机的组合查找,它呈现并发性问题是因为重复条目键xxx错误,我想当组合查找在表中找不到不存在的客户机以检索其id时,插入这些客户机。事实上,每次处理客户机执行kettle作业时,都会传输新客户机,因此上述问题非常常见。我

我假装扩展我的应用程序,过程的某些部分包括由一些处理客户端同时运行kettle作业,在某些点转换中需要在某些共享表上执行组合查找让我们假设客户端\u表,该表增长很快,因为所有可能的客户端都未知,因此它们会在显示时插入。同时执行作业的组合查找,比如说2个,但可能不止这些,表中每个客户机的组合查找,它呈现并发性问题是因为重复条目键xxx错误,我想当组合查找在表中找不到不存在的客户机以检索其id时,插入这些客户机。事实上,每次处理客户机执行kettle作业时,都会传输新客户机,因此上述问题非常常见。我想知道我是否打破了kettle的哲学,或者我遗漏了什么,我读过关于使kettle转换具有事务性的文章,这可能是我的解决方案,因为我认为组合查找步骤不是事务性的? 给我一些想法


PS:我使用的是Ketter 4.2和MySql 5.2,最后我使用了我自己的事务性组合查找插件和Ketter的缓存管理,这是因为它使整个转换成为事务性的非常昂贵