Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/sql/77.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/drupal/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Sql 使用Tableau或PowerBI直接查询包含1b行数据的数据库_Sql_Azure_Bigdata_Tableau Api - Fatal编程技术网

Sql 使用Tableau或PowerBI直接查询包含1b行数据的数据库

Sql 使用Tableau或PowerBI直接查询包含1b行数据的数据库,sql,azure,bigdata,tableau-api,Sql,Azure,Bigdata,Tableau Api,我偶尔会看到一些人或公司展示从Tableau或PowerBI查询db/cube/etc时的响应不到5秒,有时甚至不到1秒。他们是怎么做到的?数据是否针对鳃进行了优化?他们使用的是大型数据库吗 在一个相关的问题上,我一直在用Tableau对照SQL DW分析一个小得多的数据集100m行,但仍然需要将近一分钟的时间来计算。我应该试试其他技术吗?也许是分析服务还是大数据技术 这些通常是一次性的数据分析任务,因此我不必担心数据增长 Tableau中的实时连接速度仅与底层数据源的速度相同。如果查看日志(C

我偶尔会看到一些人或公司展示从Tableau或PowerBI查询db/cube/etc时的响应不到5秒,有时甚至不到1秒。他们是怎么做到的?数据是否针对鳃进行了优化?他们使用的是大型数据库吗

在一个相关的问题上,我一直在用Tableau对照SQL DW分析一个小得多的数据集100m行,但仍然需要将近一分钟的时间来计算。我应该试试其他技术吗?也许是分析服务还是大数据技术


这些通常是一次性的数据分析任务,因此我不必担心数据增长

Tableau中的实时连接速度仅与底层数据源的速度相同。如果查看日志(C:\Users\username\Documents\My Tableau Repository\Logs\log.txt),您将看到发布到数据库的sql表。在服务器本身上运行该查询…所需时间应大致相同。旁注:Tableau在下一版本中提供了一个新的数据引擎。它叫“超”。这应该允许您从2b行中创建一个性能非常好的摘录。你现在可以下载测试版了……更多信息

很遗憾,没有办法客观地回答这个问题。我们对某人的数据库引擎、数据库背后的资源(一个服务、一组vm)、模式、查询等一无所知。我们只是猜测而已。还有你的相关问题:同样的事情。数据集大小(行数)不会说明任何有关查询、环境等的信息。谢谢David。如果这有帮助的话,这里有一个更具体的例子。2b row nyc出租车数据示例。除了使用S4,我将如何获得此性能?我想trips表中还必须有2b行,所以它不能只是优化数据模型。谢谢你的建议。我肯定会尝试优化数据,但奇怪的是,我的单个表可能有20列,并且没有连接。现在我知道我可以用它创建六个查找表,并将大约20个字符的字符串转换成整数,但它真的会对2b行产生这么大的影响吗!我想我需要做家庭作业并找出答案。我只是想确保我没有错过任何明显的东西,比如“哦,它们运行在Hadoop之上,这就是为什么它如此之快!”所以我尝试将我的7000万行数据更改为所有整数,创建了一个5维的星型模式,并创建了一个只包含维键和度量值的事实表。总体而言,业绩不错,但并没有我预期的大幅上扬。我必须在嵌入Tableau和连接到SQL的Tableau中进行同样的比较,但到目前为止还没有给人留下深刻的印象。即使我把所有的东西都放进了缓存中,我仍然对2b行的任何东西如何快速查询感到困惑。