Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Node.js 从AWS S3 Select获取单个记录时获取OverMaxRecordSize?_Node.js_Amazon S3_Amazon S3 Select - Fatal编程技术网

Node.js 从AWS S3 Select获取单个记录时获取OverMaxRecordSize?

Node.js 从AWS S3 Select获取单个记录时获取OverMaxRecordSize?,node.js,amazon-s3,amazon-s3-select,Node.js,Amazon S3,Amazon S3 Select,当我尝试使用selectObjectContent函数从AWS S3获取任何特定记录时,我收到一个错误OverMaxRecordSize:一条记录中的字符数超过了我们的最大阈值maxCharsPerRecord:1048576 如果我正在获取10条记录,它会正常工作,但如果试图获取其中一条记录,则会抛出上述错误 如我所见,AWS文档中出现错误的原因是“输入或结果中的记录长度大于1 MB的maxCharsPerRecord。” 请建议任何解决方案或解决方法,因为我的数据是位置数据,其大小可能超过1

当我尝试使用selectObjectContent函数从AWS S3获取任何特定记录时,我收到一个错误OverMaxRecordSize:一条记录中的字符数超过了我们的最大阈值maxCharsPerRecord:1048576

如果我正在获取10条记录,它会正常工作,但如果试图获取其中一条记录,则会抛出上述错误

如我所见,AWS文档中出现错误的原因是“输入或结果中的记录长度大于1 MB的maxCharsPerRecord。”

请建议任何解决方案或解决方法,因为我的数据是位置数据,其大小可能超过1 MB

例如:

工作:从S3S对象限制10中选择*

不工作:从S3对象中选择*,其中id='22'

我的参数是:

const params = {
      Key: 'locationdata2020.csv.gz',
      ExpressionType: 'SQL',
      Expression: `select * from s3object  s where id = '22';`,
      InputSerialization: {
        CSV: {
          FileHeaderInfo: 'USE',
          RecordDelimiter: '\n',
          FieldDelimiter: ','
        },
        CompressionType: 'GZIP'
      },
      OutputSerialization: {
        JSON: {
          RecordDelimiter: ','
        }

      }
    };

不幸的是,这是AWS解决方案的一个限制。我们遇到了一个类似的问题,结果是先批量处理数据,然后将一些聚合存储到另一个bucket,然后使用
SelectObjectContent
进行查询