Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/383.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 如何从现有的web应用程序访问HDFS(Hadoop文件系统)_Java_Web_Hadoop_Hdfs_Bigdata - Fatal编程技术网

Java 如何从现有的web应用程序访问HDFS(Hadoop文件系统)

Java 如何从现有的web应用程序访问HDFS(Hadoop文件系统),java,web,hadoop,hdfs,bigdata,Java,Web,Hadoop,Hdfs,Bigdata,我已经在我的集群上安装了hadoop 1.0.4,共有1个主节点和3个从节点,现在我想通过我的web应用程序访问我的HDFS文件系统,以存储和访问现有web应用程序的数据 由于我的web应用程序目前使用MySQL作为数据库,我希望用HDFS替换它 那么,我可以使用什么,以便能够通过现有的web应用程序访问HDFS呢 出于后端数据迁移的目的,我使用sqoop和flume,但我希望与HDFS进行实时应用程序同步。因为我从网页上保存的内容应该直接转到HDFS,我想要的搜索应该直接来自HDFS 请建议

我已经在我的集群上安装了hadoop 1.0.4,共有1个主节点和3个从节点,现在我想通过我的web应用程序访问我的HDFS文件系统,以存储和访问现有web应用程序的数据

由于我的web应用程序目前使用MySQL作为数据库,我希望用HDFS替换它

那么,我可以使用什么,以便能够通过现有的web应用程序访问HDFS呢

出于后端数据迁移的目的,我使用sqoop和flume,但我希望与HDFS进行实时应用程序同步。因为我从网页上保存的内容应该直接转到HDFS,我想要的搜索应该直接来自HDFS

请建议


提前谢谢。

这就像用桔子代替苹果一样

您不能用HDFS替换MySQL。MySQL是一个数据库,而HDFS是一个类似ext3/ext4的文件系统。HDFS以分布式方式运行,而ext3/ext4则不会

HDFS提供高延迟和高吞吐量,而MySQL数据库提供低延迟和低吞吐量。考虑用NoSQL数据库(Cassandra、HBase等)替换RDBMS(MySQL、Oracle等)


有大量的NoSQL数据库,根据需求分析,必须选择合适的数据库。

为什么要从mysql迁移到hadoop?感谢您的快速响应kirugan,因为我的数据每天都在增加,并且类型不同,如结构化(用户数据)和非结构化(歌曲、视频)我还想实现显示推荐功能。嗯。。。你想使用Apache Mahaout之类的东西吗?是的,我已经集成了它用于显示推荐,但我想知道如何将其与实时应用程序集成。谢谢Praveen,但这就是我用Hadoop配置的HBase,它是hadoopDB,所以我如何通过普通web应用程序访问它,我可以通过JDBC访问它吗?HBase可以从命令行访问,也可以使用Java API访问。检查HBase文档()中的相同内容。最近在HBase()中添加了一个SQL层。