Hadoop 关于spark和hbase

这是我第一次问问题，如果有什么地方需要改进，请告诉我，谢谢

这是我的系统版本：

• jdk1.8.0_65

• hadoop-2.6.1

• hbase-1.0.2

• scala-2.11.7

• spark-1.5.1

• zookeeper-3.4.6

我的问题是：

我要建立一个可以储存传感器数据的系统 我需要在其中存储数据，并分析附近的数据 实时，所以我使用spark使我的分析运行得更快， 但我想知道“我真的需要Hbase数据库吗”

运行Spark时出现一些问题：

首先运行：

hadoop:start all.sh

和

Spark:start all.sh

，然后运行 运行

Spark:Spark shell

这就是我得到的：

15 / 12 / 01 22: 16: 47 WARN NativeCodeLoader: Unable to load native - hadoop library
for your platform...using builtin - java classes where applicable Welcome to Using Scala version 2.10 .4(Java HotSpot(TM) 64 - Bit Server VM, Java 1.8 .0 _65)
Type in expressions to have them evaluated.
Type: help
for more information.
15 / 12 / 01 22: 16: 56 WARN MetricsSystem: Using
default name DAGScheduler
for source because spark.app.id is not set.Spark context available as sc.
15 / 12 / 01 22: 16: 59 WARN Connection: BoneCP specified but not present in CLASSPATH(or one of dependencies)
15 / 12 / 01 22: 16: 59 WARN Connection: BoneCP specified but not present in CLASSPATH(or one of dependencies)
15 / 12 / 01 22: 17: 07 WARN ObjectStore: Version information not found in metastore.hive.metastore.schema.verification is not enabled so recording the schema version 1.2 .0
15 / 12 / 01 22: 17: 07 WARN ObjectStore: Failed to get database
default, returning NoSuchObjectException
15 / 12 / 01 22: 17: 10 WARN NativeCodeLoader: Unable to load native - hadoop library
for your platform...using builtin - java classes where applicable
15 / 12 / 01 22: 17: 11 WARN Connection: BoneCP specified but not present in CLASSPATH(or one of dependencies)
15 / 12 / 01 22: 17: 11 WARN Connection: BoneCP specified but not present in CLASSPATH(or one of dependencies)
SQL context available as sqlContext.
scala >

有这么多警告，我做的对吗？比如在哪里可以 我设置了spark.app.id，甚至我需要spark.app.id吗？什么是“未能获取数据库默认值，返回NoSuchObjectException”

---

感谢您的帮助。

首先，您应该询问是否真的需要Spark（以及所有Hadoop基础设施）来完成此任务。也许一个使用kafka的简单java应用程序就足够了。是的，我真的需要spark和hadoop基础设施，因为我有大约20个或20多个传感器。他们中的每一个人每天都会每秒向我的数据库传递10次数据，所以我需要这个系统。将来我可以扩展我的存储空间。谢谢，克斯特亚。