elasticsearch 不影响“;尺寸”;在‘;查询’;在elasticsearch中重新编制索引时
我一直在使用logstash将一个索引迁移到另一个索引。我最近尝试在本地环境中从大型数据集中重新索引一定数量的数据。因此,我尝试使用以下配置进行迁移:elasticsearch 不影响“;尺寸”;在‘;查询’;在elasticsearch中重新编制索引时,elasticsearch,logstash,logstash-configuration,elasticsearch,Logstash,Logstash Configuration,我一直在使用logstash将一个索引迁移到另一个索引。我最近尝试在本地环境中从大型数据集中重新索引一定数量的数据。因此,我尝试使用以下配置进行迁移: input{ elasticsearch{ hosts=>"localhost:9200" index=>"old_indexindex" query=>'{"query":{"match_all":{}},"size":10 }' } }filter{ mutate{ remove_
input{
elasticsearch{
hosts=>"localhost:9200"
index=>"old_indexindex"
query=>'{"query":{"match_all":{}},"size":10 }'
}
}filter{
mutate{
remove_field=>[
"@version",
"@timestamp"
]
}
}output{
elasticsearch{
hosts=>"localhost:9200"
index=>"new_index"
document_type=>"contact"
manage_template=>false
document_id=>"%{contactId}"
}
}
但是这会将旧索引中的所有文档重新索引为新索引,其中,我只希望10个文档在新索引中重新索引。
使用logstash和elasticsearch是否缺少一些概念?elasticsearch输入不进行常规搜索,而是进行搜索类型。这意味着将从索引中检索所有数据,
size
参数的作用只是定义在每个滚动期间将获取多少数据,而不是总共获取多少数据
另外,请注意,查询本身中的size
参数无效。您需要使用elasticsearch
输入的,而不是在查询中指定它
input{
elasticsearch{
hosts=> "localhost:9200"
index=> "old_index"
query=> '*'
size => 10 <--- size goes here
}
}
elasticsearch
输入不进行常规搜索,而是执行搜索类型。这意味着将从索引中检索所有数据,size
参数的作用只是定义在每个滚动期间将获取多少数据,而不是总共获取多少数据
另外,请注意,查询本身中的size
参数无效。您需要使用elasticsearch
输入的,而不是在查询中指定它
input{
elasticsearch{
hosts=> "localhost:9200"
index=> "old_index"
query=> '*'
size => 10 <--- size goes here
}
}
这很有帮助。我只是想让tue查询像elasticsearch查询一样工作。这很有帮助。我只是想让tue查询像elasticsearch查询一样工作。