Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 使用Google Cloud DLP API处理表太慢_Google Cloud Platform_Google Cloud Dlp - Fatal编程技术网

Google cloud platform 使用Google Cloud DLP API处理表太慢

Google cloud platform 使用Google Cloud DLP API处理表太慢,google-cloud-platform,google-cloud-dlp,Google Cloud Platform,Google Cloud Dlp,最近,我一直在尝试使用Python 3中的Google DLP API对表的内容进行分类。我首先在小示例上测试API,这些示例都运行得很好。但是,当我试图发送更大的表(1000行x 18列,比50000配额小)时,请求将崩溃。 在将表的大小减少到100行之后,我确实设法让它运行,但是一个100行的请求大约需要10秒钟。 大多数值都很短,您会发现下面的一些列: 地址 出生日期 电子邮件 名字 性别 职位 姓 此外,在进一步的实验之后,我注意到,如果以CSV格式(以“,”分隔的列和以“\n”分隔

最近,我一直在尝试使用Python 3中的Google DLP API对表的内容进行分类。我首先在小示例上测试API,这些示例都运行得很好。但是,当我试图发送更大的表(1000行x 18列,比50000配额小)时,请求将崩溃。 在将表的大小减少到100行之后,我确实设法让它运行,但是一个100行的请求大约需要10秒钟。 大多数值都很短,您会发现下面的一些列:

  • 地址
  • 出生日期
  • 电子邮件
  • 名字
  • 性别
  • 职位
此外,在进一步的实验之后,我注意到,如果以CSV格式(以“,”分隔的列和以“\n”分隔的行)以字符串形式提供相同的表,则运行时间将减少10倍

这是正常的行为吗?或者,我是否因为使用api不当而导致了如此糟糕的运行性能

我希望我的问题足够清楚,
感谢您抽出时间阅读此文!:)

这是一个正在研究的已知问题。一些检测器(DOB和名称检测器)在结构化数据上的工作速度比预期的慢。

啊,我明白了,谢谢你的回答,作为字符串运行怎么样?100行(2962个令牌/字或21101个字符)大约需要一秒钟,因此每个令牌大约需要0.3毫秒,这是正常运行时间还是比平均运行时间慢?再次,很抱歉用这些问题打扰您,再次感谢您抽出时间!DOB、位置和名称检测器需要复杂的算法,而这些算法目前的速度较慢!谢谢你的时间,祝你有一个愉快的一天只是更新一下这个。。。我们最近做了一个改变,将速度提高了约5倍。aboce中提到的检测器仍然会变慢,但表扫描的总体速度应该会大大提高。如何将表发送到dlp api?