Fatal编程技术网
  • hbase/
  • sqoop merge此命令可用于hbase导入吗？

sqoop merge此命令可用于hbase导入吗？

hbase

sqoop merge此命令可用于hbase导入吗？,hbase,sqoop,Hbase,Sqoop,我使用sqoop将数据从sql server导入hbase。我还可以使用sqoop merge命令更新hbase中的数据吗 感谢您，sqoop merge不支持hbase，但运行新导入（甚至从其他sql表）将覆盖hbase中的数据。您可以提供自定义where+自定义列，以仅更新所需的数据，而不影响已存储在hbase中的其余数据： sqoop import --connect [CONN_STRING] --username [USERNAME] --password [PASSWORD] \ -

我使用sqoop将数据从sql server导入hbase。我还可以使用sqoop merge命令更新hbase中的数据吗

感谢您，sqoop merge不支持hbase，但运行新导入（甚至从其他sql表）将覆盖hbase中的数据。您可以提供自定义where+自定义列，以仅更新所需的数据，而不影响已存储在hbase中的其余数据：

sqoop import --connect [CONN_STRING] --username [USERNAME] --password [PASSWORD] \
--table my_mysql_table --hbase-table my_hbase_table --column-family info \
--where "date_updated >= (NOW()-INTERVAL 24 HOUR)" --columns "id, data"
此命令将使用过去24小时范围内的
my_mysql_表
中每行的
data
字段和
date\u updated
字段更新
my_hbase_表
上的列
info:data
（SQL server的条件不同）

请注意，您需要提供符合hbase行键的列以及列（
id，在本例中为
），否则将无法工作。
非常感谢。还有一个问题，在什么条件下可以使用sqoop合并？我的意思是sqoop合并支持哪种情况？它用于合并HDFS中的数据集。请看sqoop文档中的这个示例：