Python 当查询大数据时,超集仪表板表类型是否会被挤压而变慢?

Python 当查询大数据时,超集仪表板表类型是否会被挤压而变慢?,python,olap,apache-superset,superset,Python,Olap,Apache Superset,Superset,现在我使用superset dashboard(table)来查询详细数据,但是当查询结果超过50K行时,由于浏览器中呈现的数据太大,这会使web浏览器崩溃并且速度很慢,我想如果有任何解决方案可以解决这个问题的话 案例:我使用superset dashboard作为详细数据查询,但是数据行返回到浏览器的行数超过50K,这将导致浏览器崩溃,并且速度较慢 我认为,如果有任何解决方案,可以控制仪表板下载和显示行限制将是完美的。例如,一旦查询超过500行,浏览器上只显示前500行,当下载为csv时,可以

现在我使用superset dashboard(table)来查询详细数据,但是当查询结果超过50K行时,由于浏览器中呈现的数据太大,这会使web浏览器崩溃并且速度很慢,我想如果有任何解决方案可以解决这个问题的话

案例:我使用superset dashboard作为详细数据查询,但是数据行返回到浏览器的行数超过50K,这将导致浏览器崩溃,并且速度较慢


我认为,如果有任何解决方案,可以控制仪表板下载和显示行限制将是完美的。例如,一旦查询超过500行,浏览器上只显示前500行,当下载为csv时,可以将完整数据集下载到csv。

有几种方法可以优化此设置

  • 数据库级优化:直接评估查询在数据库上运行的时间,并将其与超集进行比较。如果差异不大,那么您需要考虑在DB级别优化查询。理想情况下,您希望将尽可能多的繁重工作推送到数据库

  • 超集级别优化:

    a) 元数据库:从sqlite迁移到mysql或 postgres或其他受支持的DB

    b) 缓存:看看


  • 缓存并不能解决我的问题,我只想在查询返回到浏览器时限制数据行。但当我将limit参数设置为500行时,它也将设置下载数据集行限制。所以,我只想设置显示行限制,而不影响下载数据集。例如,在一个5000行的查询中,只显示前500行,下载csv就可以下载完整的数据集