Google cloud storage 如何找出公开下载最多的文件/存储桶?

Google cloud storage 如何找出公开下载最多的文件/存储桶?,google-cloud-storage,Google Cloud Storage,我正在为我的一些网站使用谷歌云存储,存储静态和可下载的内容,如css、js、图像、pdf等。 我怎样才能知道我的哪些文件和哪个bucket被大量下载? 我的账单只显示: 云存储下载亚太地区:924.637千兆字节(来源:谷歌存储项目[gs项目名称])-110.84美元 这一个月的工作量很大,我想删除这些文件。 是否有这方面的统计数据?查看按bucket或object细分的使用情况的当前可用方法是为每个bucket启用访问日志。启用后,GCS将导出CSV文件,其中包含有关向这些存储桶中的对象发出的

我正在为我的一些网站使用谷歌云存储,存储静态和可下载的内容,如css、js、图像、pdf等。

我怎样才能知道我的哪些文件和哪个bucket被大量下载?

我的账单只显示: 云存储下载亚太地区:924.637千兆字节(来源:谷歌存储项目[gs项目名称])-110.84美元
这一个月的工作量很大,我想删除这些文件。


是否有这方面的统计数据?

查看按bucket或object细分的使用情况的当前可用方法是为每个bucket启用访问日志。启用后,GCS将导出CSV文件,其中包含有关向这些存储桶中的对象发出的所有请求的信息。此信息可聚合以查找正在下载的顶级对象/存储桶:

见:

  • 创建一个存储桶来存储使用日志:

    gsutil mb gs://my-logs-bucket
    gsutil acl ch -g cloud-storage-analytics@google.com:W gs://my-logs-bucket
    gsutil defacl set project-private gs://my-logs-bucket
    
  • 为所有存储桶启用使用情况日志记录:

    gsutil logging set on -b gs://my-logs-bucket gs://my-bucket1
    gsutil logging set on -b gs://my-logs-bucket gs://my-bucket2
    ..
    
  • 月末,下载gs://my logs bucket中的CSV并对其进行分析,或将其加载到BigQuery中进行分析:

    wget http://storage.googleapis.com/pub/cloud_storage_usage_schema_v0.json
    bq mk storageanalysis
    bq load --skip_leading_rows=1 storageanalysis.usage \
      gs://my-logs-bucket/*_usage_* ./cloud_storage_usage_schema.json
    
    bq shell
    > SELECT cs_object, SUM(sc_bytes) AS sc_bytes
      FROM [storageanalysis.usage]
      ORDER BY sc_bytes desc LIMIT 20
    ..
    > SELECT cs_bucket, SUM(sc_bytes) AS sc_bytes
      FROM [storageanalysis.usage]
      ORDER BY sc_bytes desc LIMIT 20
    ..
    > QUIT
    

  • 感谢并感谢BigQuery的介绍。虽然这将是理想的谷歌自动分析。