如何将SQLite数据库导入Hadoop HDFS

我想将SQLite数据库导入hadoop hdfs。这些数据库来自移动应用程序数据库，我想每天将多个数据库导入HDFS。

您可以尝试使用Sqoop将数据库导入HDFS

尝试此操作（在安装sqoop并进行必要的配置后）：

注意：您需要下载sqlite-jdbc-x.x.x.jar并将其复制到您的Sqoop-lib和Hadoop-lib文件夹中

您还需要将sqlite-jdbc-x.x.x.jar添加到hadoop类路径中（以防出现找不到类的错误）。在您的

hadoop env.sh

中添加此行：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/full/path/to/sqlite/jar

如果您的

/usr/local/sqlite

文件夹中有sqlite-jdbc-3.7.2.jar，请添加如下内容：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/sqlite/sqlite-jdbc-3.7.2.jar

---

您可以尝试使用Sqoop将数据库导入到HDFS

尝试此操作（在安装sqoop并进行必要的配置后）：

注意：您需要下载sqlite-jdbc-x.x.x.jar并将其复制到您的Sqoop-lib和Hadoop-lib文件夹中

您还需要将sqlite-jdbc-x.x.x.jar添加到hadoop类路径中（以防出现找不到类的错误）。在您的

hadoop env.sh

中添加此行：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/full/path/to/sqlite/jar

如果您的

/usr/local/sqlite

文件夹中有sqlite-jdbc-3.7.2.jar，请添加如下内容：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/sqlite/sqlite-jdbc-3.7.2.jar

---

---

如前所述，sqoop目前不支持SQLite。

如前所述，sqoop目前不支持SQLite。

问题是什么，它与此站点有什么关系？问题是什么，它与此站点有什么关系？出现错误Rajesh N 15/05/21 15:35:38信息sqoop。sqoop:运行sqoop版本：1.4.6 15/05/21 15:35:38错误工具。BaseSqoop工具：创建数据库管理器时出错：java.io.IOException:没有用于连接字符串的管理器：jdbc:sqlite://home/pbsi/Downloads/arjun_pbs.db 位于org.apache.sqoop.ConnFactory.getManager（ConnFactory.java:191）的org.apache.sqoop.tool.BaseSqoopTool.init（BaseSqoopTool.java:256）在

主页

之前从

jdbc中删除一个
/
：sqlite://home/pbsi/Downloads/arjun_pbs.db

。应该是这样的：

jdbc:sqlite:/home/pbsi/Downloads/arjun_pbs.db

。现在，尝试使用sqoop命令。另外，您是否在类路径中添加了

sqlite-jdbc

jar？是的，我在sqoop库中添加了sqlite-jdbc-3.7.2.jar，在删除/仍然得到相同的错误后，尝试在sqoop命令中添加

--driver org.sqlite.jdbc

。我已经更新了答案。在过去的三年里，有没有人能做到这一点？还是仍然不支持SqLite，正如myuce所提到的？出现错误Rajesh N 15/05/21 15:35:38信息sqoop.sqoop:运行sqoop版本：1.4.6 15/05/21 15:35:38错误工具。BaseSqoopTool:创建数据库管理器时出错：java.io.IOException:没有连接字符串的管理器：jdbc:sqlite://home/pbsi/Downloads/arjun_pbs.db 位于org.apache.sqoop.ConnFactory.getManager（ConnFactory.java:191）位于org.apache.sqoop.tool.BaseSqoopTool.init（BaseSqoopTool.java:256）在

主页

之前从

jdbc中删除一个
/
：sqlite://home/pbsi/Downloads/arjun_pbs.db

。应该是这样的：

jdbc:sqlite:/home/pbsi/Downloads/arjun_pbs.db

。现在，试试sqoop命令。另外，您是否在类路径中添加了

sqlite-jdbc

jar？是的，我在sqoop lib和rem之后添加了sqlite-jdbc-3.7.2.jaroving/仍然收到相同的错误尝试在sqoop命令中添加

--driver org.sqlite.JDBC

。我已经更新了答案。在过去三年中，有人能做到这一点吗？或者像myuce提到的那样，sqlite仍然不受支持吗？它说“您可以将Sqoop用于任何其他兼容JDBC的数据库。您尝试过JDBC吗？我没有，但会在有时间时试一试。还不能尝试。仍在等待我们的it提供HDP沙箱开始。只是好奇，仍然使用HDP？为什么？可能是因为我不知道更好的替代方案。”在您看来，在虚拟机上开始使用spark和hdfs应该使用什么？上面说“您可以将Sqoop用于任何其他兼容JDBC的数据库。您尝试过JDBC吗？”？我没有，但会在有时间的时候试一试。还不能尝试。仍在等待我们的IT提供HDP沙箱开始。只是好奇，仍在使用HDP？为什么？可能是因为我不知道更好的选择在您看来，在虚拟机上开始使用spark和hdfs应该使用什么？