Google cloud platform 使用Google Cloud DLP API处理表太慢
最近,我一直在尝试使用Python 3中的Google DLP API对表的内容进行分类。我首先在小示例上测试API,这些示例都运行得很好。但是,当我试图发送更大的表(1000行x 18列,比50000配额小)时,请求将崩溃。 在将表的大小减少到100行之后,我确实设法让它运行,但是一个100行的请求大约需要10秒钟。 大多数值都很短,您会发现下面的一些列:Google cloud platform 使用Google Cloud DLP API处理表太慢,google-cloud-platform,google-cloud-dlp,Google Cloud Platform,Google Cloud Dlp,最近,我一直在尝试使用Python 3中的Google DLP API对表的内容进行分类。我首先在小示例上测试API,这些示例都运行得很好。但是,当我试图发送更大的表(1000行x 18列,比50000配额小)时,请求将崩溃。 在将表的大小减少到100行之后,我确实设法让它运行,但是一个100行的请求大约需要10秒钟。 大多数值都很短,您会发现下面的一些列: 地址 出生日期 电子邮件 名字 性别 职位 姓 此外,在进一步的实验之后,我注意到,如果以CSV格式(以“,”分隔的列和以“\n”分隔
- 地址
- 出生日期
- 电子邮件
- 名字
- 性别
- 职位
- 姓
感谢您抽出时间阅读此文!:) 这是一个正在研究的已知问题。一些检测器(DOB和名称检测器)在结构化数据上的工作速度比预期的慢。啊,我明白了,谢谢你的回答,作为字符串运行怎么样?100行(2962个令牌/字或21101个字符)大约需要一秒钟,因此每个令牌大约需要0.3毫秒,这是正常运行时间还是比平均运行时间慢?再次,很抱歉用这些问题打扰您,再次感谢您抽出时间!DOB、位置和名称检测器需要复杂的算法,而这些算法目前的速度较慢!谢谢你的时间,祝你有一个愉快的一天只是更新一下这个。。。我们最近做了一个改变,将速度提高了约5倍。aboce中提到的检测器仍然会变慢,但表扫描的总体速度应该会大大提高。如何将表发送到dlp api?