Apache spark 本地用户使用的磁芯数[*]

在这种情况下，演讲者指出，当使用master as

local[N]

时，我们应该指定一个比逻辑核数量更高的数字

他表示，本地[*]不是最优的

---

然而，这段视频有点陈旧。这样做是否仍然相关？

即使standalone spark主要用于测试目的，请不要这样做！由于spark正在与其他一些应用程序共享资源，因此始终建议为您的本地系统保留一个……您能详细说明一下吗？此外，这不是独立的，而是本地模式，我认为在这种情况下。他在视频中回答了你的观点，他说人们通常会留下6个内核来激发8个内核的活力，留下两个内核用于他们的操作系统。他说你应该把这个翻一番，然后试试12或18如果你有一个有趣的观点，我会看一看。。这确实引起了我的兴趣，您应该指定一个比逻辑核数量更高的数字，因为实际上

--num executor cores

用于松散地指定执行器可以运行的并发任务数量和线程中运行的任务数量。所以你可以超额订阅，但不要太多。顺便说一句，是萨米尔·法洛基吗？我看不到那个视频：尽管如此，DIt是一个非常有趣的黑客，但我会将其用于本地以外的其他地方@TiffanyHatsune+1！即使独立spark主要用于测试目的，也请不要这样做！由于spark正在与其他一些应用程序共享资源，因此始终建议为您的本地系统保留一个……您能详细说明一下吗？此外，这不是独立的，而是本地模式，我认为在这种情况下。他在视频中回答了你的观点，他说人们通常会留下6个内核来激发8个内核的活力，留下两个内核用于他们的操作系统。他说你应该把这个翻一番，然后试试12或18如果你有一个有趣的观点，我会看一看。。这确实引起了我的兴趣，您应该指定一个比逻辑核数量更高的数字，因为实际上

--num executor cores

用于松散地指定执行器可以运行的并发任务数量和线程中运行的任务数量。所以你可以超额订阅，但不要太多。顺便说一句，是萨米尔·法洛基吗？我看不到那个视频：尽管如此，DIt是一个非常有趣的黑客，但我会将其用于本地以外的其他地方@TiffanyHatsune+1！