elasticsearch 如何将所有数据库的表发送到elasticsearch？

这是我的情况

Food_数据库在mysql中

food_数据库中有130个表

我想通过logstash_jdbc向elasticsearch发送130个表

->如何将所有数据库的表发送到elasticsearch？

我的配置文件

（尝试）

但我不知道如何发送食物库中所有130张桌子

我通过谷歌搜索发现了一个类似的问题，但我无法解决

->

->

请帮帮我

更新发布（食品数据库中的表格）

我想

通过logstash将我的目标136表的所有值发送给elasticsearch

如果在logstash旁边运行脚本是一种选择，我将采用以下方法：


创建一个bash脚本（或您喜欢的任何语言），将其放入cron中以执行一个简单的“showtables”，并使用输出创建130个配置文件，其中仅包含logstash的输入部分，命名约定为“INPUT_tablename.conf”。该脚本应该为存在的每个表创建如上所示的配置。

确保它列出目录中的输入文件，并删除不再存在的文件
确保当文件已经存在时，它不会接触它


将FILTER.conf和OUTPUT.conf放在同一目录中
将日志存储置于自动重新加载配置模式

通过这种方式，您可以分离您正在努力解决的问题，并允许数据库在表中进行更改、添加新表以及删除或重命名旧表

我已经学会了在集群上这样做，我知道集群将变得非常大，我需要知道何时达到最大io，以便知道何时在不破坏完整设置的情况下向哪一层添加新节点。
我的问题是，为什么要在Elasticsearch中一对一发送所有表？最终目标是什么？你的用例是什么？@Val我的问题。如何将所有数据库的表发送到elasticsearch<代码>我的目标我想保存数据库架构中的所有表。

@Val这是我的用例

conf文件（尝试）

，它没有回答为什么需要Elasticsearch中的所有表的问题。将RDBMS 1:1复制到ES中是非常罕见的，通常您会创建一个或多个所需视图，并仅将其存储在ES中以用于搜索目的。也就是说，你能解释一下你的用例是什么吗？@Val-usecases

存储数据库（MYSQL）中存储的所有130个表

，并希望在kibana中可视化它们，同时检查数据是否实时存储<代码>在kibana非常感谢您的回答。我读了你的答案，但我不明白。你能提供示例代码吗？我的工作日从这里开始，我会在有时间时更新我的答案，创建所有代码并添加指向所有文档的链接，这样做时我会添加注释，这样你就会收到通知非常感谢你在我身上花费了宝贵的时间。：）我在等你。我尝试了一种新方法，但它不起作用。新方法尝试的发布作为链接保留。这个方法适用吗？

input {
    jdbc {
        clean_run => true
        jdbc_driver_library => "C:\ElasticSearch\mysql-connector-java-8.0.23\mysql-connector-java-8.0.23.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://localhost:3306/food_database?useSSL=false&user=root&password=1234"
        jdbc_user => "root"
        jdbc_password => "1234"
        schedule => "* * * * *"
        statement => "select * from ??????"
        #use_column_value => true
        #tracking_column => "jobid"
    }
}
output{
    elasticsearch {
        hosts => "localhost:9200"
        index => "test_indexfile"
    }
    stdout {
        codec => rubydebug
    }
}

+--------------------------------------+
| Tables_in_food_database              |
+--------------------------------------+
| access_token                         |
| activity                             |
| address                              |
| answer_abuse_reason                  |
| answer_report_abuse                  |
| attribute                            |
| attribute_group                      |
| banner                               |
| banner_group                         |
| banner_image                         |
| banner_image_description             |
| blog                                 |
| blog_related                         |
| category                             |
| category_commission                  |
| category_description                 |
| category_path                        |
| contact                              |
| country                              |
| coupon                               |
| coupon_product_category              |
| coupon_usage                         |
| coupon_usage_product                 |
| currency                             |
| customer                             |
| customer_activity                    |
| customer_cart                        |
| customer_document                    |
| customer_group                       |
| customer_ip                          |
| customer_transaction                 |
| customer_wishlist                    |
| delivery_allocation                  |
| delivery_location                    |
| delivery_location_to_location        |
| delivery_person                      |
| delivery_person_to_location          |
| delivery_status                      |
| email_template                       |
| geo_zone                             |
| jobs                                 |
| language                             |
| login_log                            |
| manufacturer                         |
| migrations                           |
| order                                |
| order_cancel_reason                  |
| order_history                        |
| order_log                            |
| order_product                        |
| order_product_log                    |
| order_status                         |
| order_total                          |
| page                                 |
| page_group                           |
| payment                              |
| payment_archive                      |
| payment_items                        |
| payment_items_archive                |
| paypal_order                         |
| paypal_order_transaction             |
| permission_module                    |
| permission_module_group              |
| plugins                              |
| price_update_file_log                |
| product                              |
| product_answer                       |
| product_answer_like_dislike          |
| product_attribute                    |
| product_description                  |
| product_discount                     |
| product_image                        |
| product_price_log                    |
| product_question                     |
| product_rating                       |
| product_related                      |
| product_special                      |
| product_stock_alert                  |
| product_tag                          |
| product_tire_price                   |
| product_to_category                  |
| product_varient                      |
| product_varient_option               |
| product_varient_option_details       |
| product_varient_option_image         |
| product_view_log                     |
| quotation                            |
| razorpay_order                       |
| razorpay_order_transaction           |
| service                              |
| service_category                     |
| service_category_path                |
| service_enquiry                      |
| service_image                        |
| service_to_category                  |
| sessions                             |
| settings                             |
| settlement                           |
| settlement_item                      |
| site_filter                          |
| site_filter_category                 |
| site_filter_section                  |
| site_filter_section_item             |
| sku                                  |
| stock_log                            |
| stock_status                         |
| stripe_order                         |
| stripe_order_transaction             |
| tax                                  |
| trend                                |
| trend_image                          |
| trend_recommend                      |
| user_group                           |
| users                                |
| varients                             |
| varients_value                       |
| vendor                               |
| vendor_category                      |
| vendor_coupon                        |
| vendor_coupon_product_category       |
| vendor_global_setting                |
| vendor_invoice                       |
| vendor_invoice_item                  |
| vendor_order_archive                 |
| vendor_order_archive_log             |
| vendor_order_products                |
| vendor_order_status                  |
| vendor_orders                        |
| vendor_orders_log                    |
| vendor_payment                       |
| vendor_payment_archive               |
| vendor_product                       |
| widget                               |
| widget_item                          |
| zone                                 |
| zone_to_geo_zone                     |
+--------------------------------------+
136 rows in set (0.00 sec)