Hadoop 将环境变量传递给配置单元转换或MapReduce

Hadoop 将环境变量传递给配置单元转换或MapReduce,hadoop,hive,hadoop-streaming,Hadoop,Hive,Hadoop Streaming,我试图将自定义环境变量传递给配置单元转换中使用的可执行文件(下面示例中的my-mapper.script) 例如: 我知道在Hadoop流媒体中,可以使用 -cmdenv EXAMPLE_DIR=/home/example/dictionaries/ 但我不知道如何在Hive Transform/MapReduce中实现这一点 有什么想法吗?你在找这样的东西吗 % hive -hiveconf CURRENT_DATE='2012-09-16' -f test.hql 您可以使用一个简单的两

我试图将自定义环境变量传递给配置单元转换中使用的可执行文件(下面示例中的my-mapper.script) 例如:

我知道在Hadoop流媒体中,可以使用

-cmdenv EXAMPLE_DIR=/home/example/dictionaries/
但我不知道如何在Hive Transform/MapReduce中实现这一点


有什么想法吗?

你在找这样的东西吗

% hive -hiveconf CURRENT_DATE='2012-09-16' -f test.hql

您可以使用一个简单的两行bash脚本包装脚本以设置环境。e、 g

#!/bin/sh
export FOO=boo
my-mapper.script
然后在查询中使用此脚本

USING 'wrapper.sh'

my-mapper.script将在环境中看到FOO(值为“boo”)。

否,这只是将变量传递给.hql脚本。我想把它传递到map reduce可执行文件中。是的,很好的一般性问题一些python示例如下:
USING 'wrapper.sh'