Php 将多个csv数据中的数据导入到一个主表中

我有一个MySQL数据库，我想从多个csv文件中导入数据。对于数据，我提供了一个表，希望在该表上将多个文件合并为一个（join）。不幸的是，我有一个问题，我的数据太大，因此它是相当耗时，直到我得到所有存储在表中。因此，问题是：处理大量数据的最佳方式是什么

---

我为每个csv文件创建了一个临时表，并将数据加载到其中。然后，我加入了所有表，并希望将查询结果插入到大表中，在那里，我已经遇到了等待时间过长的问题。我想将解决方案限制为以下语言：MySQL、PHP。到目前为止，我使用datagrip的GUI和sql控制台导入这些文件。

使用任何数据集成工具，如Pentaho，然后按照以下步骤操作：

Pentaho具有CSV导入对象

可以使用连接对象连接多个CSV文件

从合并输出中选择所有列

然后使用DB连接器输出对象将其推送到MySQL

---

使用Pentaho等任何数据集成工具，然后按照以下步骤操作：

Pentaho具有CSV导入对象

可以使用连接对象连接多个CSV文件

从合并输出中选择所有列

然后使用DB连接器输出对象将其推送到MySQL

---

您可以使用shell脚本循环遍历文件（此脚本假定文件位于当前目录中）

---

您可以使用shell脚本循环遍历文件（此脚本假定文件位于当前目录中）

---

有一个相当整洁的图书馆可以做到这一点。帮助您将数据从一个源迁移到另一个源。而且它做得很快

---

有一个非常整洁的库，可以做到这一点。帮助您将数据从一个源迁移到另一个源。而且它做得很快

---

您可以使用pentaho数据集成（ETL工具）轻松实现这一点。

---

它为我们提供了csv数据输入，您可以在其中提到您的csv文件。然后链接到表输出步骤，在该步骤中，您可以使用mysql数据库的jdbc或jndi连接。

使用pentaho数据集成（ETL工具）可以轻松实现这一点。。 它为我们提供了csv数据输入，您可以在其中提到您的csv文件。然后链接到表输出步骤，在该步骤中，您可以使用mysql数据库的jdbc或jndi连接

#!/bin/bash

for f in *.csv

do

mysql -e "load data infile '"$f"' into table my_table" -u username --password=your_password my_database

done