Couchbase 6.5.1-cbtransfer-将数据拆分为多个文件

Couchbase 6.5.1-cbtransfer-将数据拆分为多个文件,couchbase,Couchbase,目前,我们的Couchbase存储桶中有数千个文档,我们希望将它们导出为csv(或json)格式以供进一步使用 由于文档数量巨大,我们希望将导出的数据拆分为多个文件,而不是单个大文件 目前我们正在使用cbtransfer实用程序,Couchbase文档提到,如果文件'-x cbb_max_mb=size'超过特定大小,我们可以使用额外的选项来拆分文件'-x cbb_max_mb=size' 我们使用的命令- cbtransfer csv:./data.csv-b bkt客户-u管理员-p密码-x

目前,我们的Couchbase存储桶中有数千个文档,我们希望将它们导出为csv(或json)格式以供进一步使用

由于文档数量巨大,我们希望将导出的数据拆分为多个文件,而不是单个大文件

目前我们正在使用cbtransfer实用程序,Couchbase文档提到,如果文件'-x cbb_max_mb=size'超过特定大小,我们可以使用额外的选项来拆分文件'-x cbb_max_mb=size'

我们使用的命令-

cbtransfer csv:./data.csv-b bkt客户-u管理员-p密码-x cbb_max_mb=100

有了这个,文件被创建了,但它并没有像我们预期的那样被分割成100MB的小块


有谁能指导我们如何实现这一点吗?

-x
选项是“特殊”的,不适用于所有后端和前端(备份、CSV、couchstore等)cbtransfer支持
cbb_max_mb
选项仅在写入备份时受支持,提示如下:

cbb_max_mb=目标群集上的100000剥离备份文件(如果超过mb)


还有其他一些选择:

  • 找到
    cbtransfer
    后使用Unix/Linux
  • 如果群集中有多个数据节点,请使用
    cbtransfer
    上的
    --single node
    参数。这将仅从连接字符串中指定的节点获取数据:
  • --从源群集中的单个服务器节点进行单节点传输。此单个服务器节点是源节点URL



    我还建议您看看哪一个会在某个时候取代
    cbtransfer

    -x
    选项是“特殊的”,并不适用于所有的后端和前端(备份、CSV、couchstore等)cbtransfer支持
    cbb_max_mb
    选项仅在写入备份时受支持,提示如下:

    cbb_max_mb=目标群集上的100000剥离备份文件(如果超过mb)


    还有其他一些选择:

  • 找到
    cbtransfer
    后使用Unix/Linux
  • 如果群集中有多个数据节点,请使用
    cbtransfer
    上的
    --single node
    参数。这将仅从连接字符串中指定的节点获取数据:
  • --从源群集中的单个服务器节点进行单节点传输。此单个服务器节点是源节点URL



    我还建议您看看哪一个文件会在某个时候取代cbtransfer,您看到创建了哪些文件?我只能看到创建了一个文件,其大小超过100MB-data_bkt-customer_127.0.0.1%3A8091.csv您看到创建了哪些文件?我只能看到创建了一个文件,大小超过100MB-数据_bkt-customer_127.0.0.1%3A8091.csv