Hadoop 输入数量上的清管器动态载荷

Hadoop 输入数量上的清管器动态载荷,hadoop,cassandra,apache-pig,Hadoop,Cassandra,Apache Pig,我有一个场景,pig可以有多个加载功能,这个加载可以是任意数量,具体取决于用户输入 这些加载函数是cassandra cql查询加载函数。 Cassandra中“pqr”表的主键是((a,b,c),c) 例如,如果用户为“a”输入多个值,并且由于它是分区键的第一个键,所以我不能在“a”上有IN子句,另一种解决方案是在pig中有多个cql查询 If 'a' input values are 'value1' and 'value2' a1 = load 'cql://xyz/pqr?where_

我有一个场景,pig可以有多个加载功能,这个加载可以是任意数量,具体取决于用户输入

这些加载函数是cassandra cql查询加载函数。

Cassandra中“pqr”表的主键是((a,b,c),c)

例如,如果用户为“a”输入多个值,并且由于它是分区键的第一个键,所以我不能在“a”上有IN子句,另一种解决方案是在pig中有多个cql查询

If 'a' input values are 'value1' and 'value2'
a1  = load 'cql://xyz/pqr?where_clause= a=value1 and b=somevalue and c=somevalue' using Cqlstorage();
a2  = load 'cql://xyz/pqr?where_clause= a=value2 and b=somevalue and c=somevalue' using Cqlstorage();
在这里,用户可以提供任意数量的输入,因此必须根据用户输入的数量动态生成加载函数的数量


有没有解决这个问题的办法

猪不能这么做。您必须编写一个脚本来生成所需的代码。感谢您的回复,即使我也考虑过这一点,但这里我的另一个问题是如何将生成的pig脚本的这一部分包含到我的其余pig脚本中。假设我在java代码中生成这些加载函数行,或者在其他地方将这些行作为字符串,然后如何将这部分包含在我的pig脚本中。您可能会发现
RUN
命令很有用。