Apache spark 生产中火花的系统要求_Apache Spark_Apache Spark Sql

Apache spark 生产中火花的系统要求

apache-spark

Apache spark 生产中火花的系统要求,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,请有人帮助我了解Spark在生产环境中运行的系统要求我正在尝试为来自Kafka Producer的数据的批处理设置环境每天处理的数据大小以TB为单位。数据来自HDFS，持久层也是HDFS 我得到的信息是：- 4-8 disks per node, configured without RAID (just as separate mount points). Allocating only at most 75% of the memory for Spark. The rest for

请有人帮助我了解Spark在生产环境中运行的系统要求

我正在尝试为来自Kafka Producer的数据的批处理设置环境

每天处理的数据大小以TB为单位。数据来自HDFS，持久层也是HDFS

我得到的信息是：-

4-8 disks per node, configured without RAID (just as separate mount points).
Allocating only at most 75% of the memory for Spark.
The rest for the operating system and buffer cache.
10 Gigabit or higher network is the best way to make these applications faster.

如果有人在Prod上使用Spark，请分享您的知识

非常感谢每台机器至少8-16芯

有人可以帮我一下吗。

您是否有可以询问的供应商可以与您一起分析您的特定用例？这可能是获得可接受估计的最佳方式。这在很大程度上取决于你想要达到的目标和你的要求。数据是如何结构化的？您将对其进行多少处理？它需要多快？同时需要运行多少个作业？您的灾难恢复需求如何？那么集群间的冗余呢？对硬件供应商有任何限制吗？@Secespitus:非常感谢您提供了大量有价值的信息。您有没有可以询问的供应商可以与您一起分析您的特定用例？这可能是获得可接受估计的最佳方式。这在很大程度上取决于你想要达到的目标和你的要求。数据是如何结构化的？您将对其进行多少处理？它需要多快？同时需要运行多少个作业？您的灾难恢复需求如何？那么集群间的冗余呢？对硬件供应商有什么限制吗？@Secespitus:非常感谢您提供的宝贵信息