Apache samza Samza on Thread的KV国营商店在哪里?

Apache samza Samza on Thread的KV国营商店在哪里?,apache-samza,Apache Samza,我需要找到Thread上的Samza将其KV国营商店放在哪里。我怀疑它和所有的Thread应用程序一样位于Thread本地应用程序目录中,但我相信它是可配置的,因为我几个月前在另一个环境中这样做过(将文件夹映射到内存),但现在不记得了 为了实现这一点,我需要能够将samza KV存储与其他应用的其他纱线应用数据分开。以下是解决方案。它打印在Samza作业日志输出中: [警告]未为记录的存储库基目录提供覆盖。这 在应用程序重新启动时禁用本地状态重用。如果你想 启用此功能,将LOGGED_STORE

我需要找到Thread上的Samza将其KV国营商店放在哪里。我怀疑它和所有的Thread应用程序一样位于Thread本地应用程序目录中,但我相信它是可配置的,因为我几个月前在另一个环境中这样做过(将文件夹映射到内存),但现在不记得了


为了实现这一点,我需要能够将samza KV存储与其他应用的其他纱线应用数据分开。

以下是解决方案。它打印在Samza作业日志输出中:

[警告]未为记录的存储库基目录提供覆盖。这 在应用程序重新启动时禁用本地状态重用。如果你想 启用此功能,将LOGGED_STORE_BASE_DIR设置为环境 运行Samza容器的所有计算机中的变量

LOGGED_STORE_BASE_DIR
可以设置为NodeManager启动的一部分。例如:

# Typical environment setup.
export JAVA_HOME=...
export YARN_CONF_DIR=...
export YARN_LOG_DIR=...
export HADOOP_LOG_DIR=...
export YARN_MASTER=...
export YARN_PID_DIR=...
export YARN_IDENT_STRING=...
export YARN_NICENESS=...
export YARN_OPTS="-XX:+UseG1GC -XX:ErrorFile=logs/hs_err.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:ErrorFile=logs/hs_err.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -Xloggc:logs/gc.log"

# Location of samza-kv stores for host affinity (should be on an SSD).
export LOGGED_STORE_BASE_DIR="/mnt/myssd/samza/logged-stores"

# Startup the Yarn NodeManager
./yarn-daemon.sh" --config "$YARN_CONF_DIR" nodemanager

仅当存储已启用changelog时,存储路径才可配置

存储位置由环境变量
LOGGED\u store\u BASE\u DIR控制

此处提供了更多详细信息: