Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/342.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/.net/22.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 在Snowflake中存储SKLearn Birch模型的有效方法(并绕过8MB二进制限制)_Python_Serialization_Scikit Learn_Pickle_Snowflake Cloud Data Platform - Fatal编程技术网

Python 在Snowflake中存储SKLearn Birch模型的有效方法(并绕过8MB二进制限制)

Python 在Snowflake中存储SKLearn Birch模型的有效方法(并绕过8MB二进制限制),python,serialization,scikit-learn,pickle,snowflake-cloud-data-platform,Python,Serialization,Scikit Learn,Pickle,Snowflake Cloud Data Platform,我的代码就是@SimonD在这篇文章中的答案。然而,我现在遇到了一个错误 编程错误:100145(22000):二进制值“800…”太长,将被截断 我试图持久化的对象是来自skLearn的集群模型(Birch)。我想知道是否有更好的方法在snowflake中存储sklearn模型 谢谢。没有办法绕过Snowflake中8MB的限制,但是在将pickle对象写入Snowflake之前,您可以使用压缩库吗?你的pickle模型有多大?我想问你为什么要把这个二进制数据存储在Snowflake中,这是一

我的代码就是@SimonD在这篇文章中的答案。然而,我现在遇到了一个错误

编程错误:100145(22000):二进制值“800…”太长,将被截断

我试图持久化的对象是来自skLearn的集群模型(Birch)。我想知道是否有更好的方法在snowflake中存储sklearn模型


谢谢。

没有办法绕过Snowflake中8MB的限制,但是在将pickle对象写入Snowflake之前,您可以使用压缩库吗?你的pickle模型有多大?我想问你为什么要把这个二进制数据存储在Snowflake中,这是一个分析数据库?大概您没有在Snowflake?@SimonD中对这些数据运行分析查询。它是10.3MB(基于pickle.dumps(mod)),其中.hex()是20.6MB。@user1420372压缩它时会发生什么?它的尺码是多少?你可以用gzip或者别的什么来检查一下。@NickW。你可能是对的,也许不是个好主意。我来自SQL Server,之前阅读过这篇文章:我喜欢将所有内容结合在一起的想法,包括1)模型版本(包括json特性字符串、训练日期等)、2)预测(链接回模型版本)3)评估指标等。进入AWS世界后,需要查看推荐的部署方法,存储等(并设置S3存储桶…)。雪花意味着我可以推迟!