使用Pentaho数据集成将Amazon红移到Mysql
我们使用的是亚马逊红移，数据库是POSTGRESQL。这些数据位于亚马逊云中。我们需要使用Pentaho数据集成软件将数据从Amazon redshift加载到Mysql。您能告诉我们如何通过Pentaho连接到redshift吗？我会尽力帮助您 红移连接需要pentaho数据集成的lib文件夹中的PostgreSql JDBC。但是Pentaho附带的版本在红移方面有一些问题，这可以通过删除现有版本并使用8.4版本来解决（如上所示） 之后，您可以使用表输入步骤在转换上创建新连接。您的查询应该运行得很好 您可以添加一个连接到mysql数据库的表输出步骤（您需要下载de-mysql JDBC连接器并将其放在lib文件夹中）使用Pentaho数据集成将Amazon红移到Mysql,mysql,linux,pentaho,amazon-redshift,Mysql,Linux,Pentaho,Amazon Redshift,我们使用的是亚马逊红移，数据库是POSTGRESQL。这些数据位于亚马逊云中。我们需要使用Pentaho数据集成软件将数据从Amazon redshift加载到Mysql。您能告诉我们如何通过Pentaho连接到redshift吗？我会尽力帮助您 红移连接需要pentaho数据集成的lib文件夹中的PostgreSql JDBC。但是Pentaho附带的版本在红移方面有一些问题，这可以通过删除现有版本并使用8.4版本来解决（如上所示） 之后，您可以使用表输入步骤在转换上创建新连接。您的查询应该运
另一种输出是具有出色性能的。但是对于第一个测试，表输出步骤应该可以完成这项工作。在我当前的项目中，我们解决了完全相同的问题，在这个项目中，我们需要从RedShift聚合大数据集，并且需要将聚合数据导入MySql以用于仪表板报告。 如果你已经决定使用Pantaho工具，那就好了。这是一个非常好的工具，但我们采取了另一种方法，因为我们有大量的数据集，而且我们用水壶/勺子得到的Spead不能满足我们的基准和业务需求 我在这里列出了解决方案，以便对其他人完全有帮助
psql -U $User -d $db_name -c "Copy (Select * From foo_table LIMIT 10) To STDOUT With CSV HEADER DELIMITER '|';" > foo_data.csv
mysqlimport --local --compress -u $MYSQL_USER -p$MYSQL_PASSWORD -h $MYSQL_HOST $MYSQL_DATABASE --fields-terminated-by='|' --ignore-lines=1 --columns C1|C2|C3|..|C4 TABLE_NAME.CSV