Node.js 从AWS S3 Select获取单个记录时获取OverMaxRecordSize?
当我尝试使用selectObjectContent函数从AWS S3获取任何特定记录时,我收到一个错误OverMaxRecordSize:一条记录中的字符数超过了我们的最大阈值maxCharsPerRecord:1048576 如果我正在获取10条记录,它会正常工作,但如果试图获取其中一条记录,则会抛出上述错误 如我所见,AWS文档中出现错误的原因是“输入或结果中的记录长度大于1 MB的maxCharsPerRecord。” 请建议任何解决方案或解决方法,因为我的数据是位置数据,其大小可能超过1 MB 例如: 工作:从S3S对象限制10中选择* 不工作:从S3对象中选择*,其中id='22' 我的参数是:Node.js 从AWS S3 Select获取单个记录时获取OverMaxRecordSize?,node.js,amazon-s3,amazon-s3-select,Node.js,Amazon S3,Amazon S3 Select,当我尝试使用selectObjectContent函数从AWS S3获取任何特定记录时,我收到一个错误OverMaxRecordSize:一条记录中的字符数超过了我们的最大阈值maxCharsPerRecord:1048576 如果我正在获取10条记录,它会正常工作,但如果试图获取其中一条记录,则会抛出上述错误 如我所见,AWS文档中出现错误的原因是“输入或结果中的记录长度大于1 MB的maxCharsPerRecord。” 请建议任何解决方案或解决方法,因为我的数据是位置数据,其大小可能超过1
const params = {
Key: 'locationdata2020.csv.gz',
ExpressionType: 'SQL',
Expression: `select * from s3object s where id = '22';`,
InputSerialization: {
CSV: {
FileHeaderInfo: 'USE',
RecordDelimiter: '\n',
FieldDelimiter: ','
},
CompressionType: 'GZIP'
},
OutputSerialization: {
JSON: {
RecordDelimiter: ','
}
}
};
不幸的是,这是AWS解决方案的一个限制。我们遇到了一个类似的问题,结果是先批量处理数据,然后将一些聚合存储到另一个bucket,然后使用
SelectObjectContent
进行查询