使用bigquery分析iis日志

使用bigquery分析iis日志,iis,google-bigquery,Iis,Google Bigquery,使用bigquery加载和分析IIS日志(in)的首选方式/示例是什么?我们还需要对它进行自动分区。我们可以定期获取日志文件 我们想分析一个特定功能的使用情况,它可以通过特定的URL模式和访问者通过网站获取的最流行流的转换漏斗来识别,以确定他们从哪里进来和离开。访客可以通过cookie(存储在日志中)中的唯一ID进行标识,页面可以与referer链接(也存储在日志中) 提前感谢很容易将CSV格式的文件加载到BigQuery中。支持 我不是使用IIS的专家,但将平面日志数据加载到BigQuery的

使用bigquery加载和分析IIS日志(in)的首选方式/示例是什么?我们还需要对它进行自动分区。我们可以定期获取日志文件

我们想分析一个特定功能的使用情况,它可以通过特定的URL模式和访问者通过网站获取的最流行流的转换漏斗来识别,以确定他们从哪里进来和离开。访客可以通过cookie(存储在日志中)中的唯一ID进行标识,页面可以与referer链接(也存储在日志中)


提前感谢

很容易将CSV格式的文件加载到BigQuery中。支持

我不是使用IIS的专家,但将平面日志数据加载到BigQuery的最快方法是从CSV开始。IIS日志格式非常简单,无法使用,但您可能希望保存一个步骤并将其导出为CSV。快速搜索显示,许多人使用(注意:我自己从未使用过)将IIS日志转换为CSV。也许可以尝试一下这个或类似的工具

至于BigQuery数据集表的“自动分区”,BigQuery不会自动执行此操作,但为导出的每批IIS日志创建一个新表相当容易

根据分析的数据量,您应该每天或每小时创建一个新的BigQuery表

使用时,在命令行上编写脚本非常容易。创建一个新的BigQuery加载作业,根据您拥有的日志数据的每个时间片使用新表名

换句话说,您的BigQuery表应该如下所示:

mydataset.logs_2012_10_29
mydataset.logs_2012_10_30
mydataset.logs_2012_10_31
etc...
有关更多信息,请确保已阅读的BigQuery文档