Hadoop spark独立模式下的50-60 gb数据_Hadoop_Apache Spark_Machine Learning_Statistics_Bigdata

Hadoop spark独立模式下的50-60 gb数据

hadoop apache-spark machine-learning statistics

Hadoop spark独立模式下的50-60 gb数据,hadoop,apache-spark,machine-learning,statistics,bigdata,Hadoop,Apache Spark,Machine Learning,Statistics,Bigdata,我试图分析大约50-60GB的数据。我曾想过使用spark来实现这一点，但我无法访问集群中的多个节点。可以使用spark单机模式完成此级别的处理吗？如果是，我想知道处理数据所需的估计时间。谢谢简短回答：是的 Spark将把这个文件分成许多较小的块。在您的情况下，一次只执行几个块。这几个块应该放在内存中（您需要使用配置才能正确执行）总而言之，你可以做到这一点，但如果你有更多的内存/内核，那么你可以并行处理更多的事情，速度会更快。我有一台配备i7处理器、16 GB RAM的macbook pro

我试图分析大约50-60GB的数据。我曾想过使用spark来实现这一点，但我无法访问集群中的多个节点。可以使用spark单机模式完成此级别的处理吗？如果是，我想知道处理数据所需的估计时间。谢谢

简短回答：是的

Spark将把这个文件分成许多较小的块。在您的情况下，一次只执行几个块。这几个块应该放在内存中（您需要使用配置才能正确执行）

总而言之，你可以做到这一点，但如果你有更多的内存/内核，那么你可以并行处理更多的事情，速度会更快。