Database 我需要在aws dynamodb中插入大量虚拟数据
我必须用测试数据填写dynamodb表格。我能够用下面的脚本填充10000个项目:Database 我需要在aws dynamodb中插入大量虚拟数据,database,bash,shell,amazon-web-services,amazon-dynamodb,Database,Bash,Shell,Amazon Web Services,Amazon Dynamodb,我必须用测试数据填写dynamodb表格。我能够用下面的脚本填充10000个项目: for (( c = $1; c <= $2; c++ )) do aws dynamodb put-item --table-name test_table \ --item '{"swVersion":{"S": "x.x.'${c}'"}, .... \ # multi-line item description goes on and on \ # item siz
for (( c = $1; c <= $2; c++ ))
do
aws dynamodb put-item --table-name test_table \
--item '{"swVersion":{"S": "x.x.'${c}'"}, .... \
# multi-line item description goes on and on \
# item size is about 2KB \
done
这是一个非常缓慢的过程,所以我不得不拆分1~1000、1001~2000,以此类推。
现在我尝试插入1000000个项目。我猜我可以使用批写。由于可能同时运行多个脚本,我现在也不确定该如何操作,因此我希望得到以下建议:
有没有比我尝试的更省时省钱的方法?
如何同时运行多个插入脚本?
当WCU限制为100、1000或10000时,插入方法会有什么不同?
事实上,您可以使用batchwrite,并增加配置的写入容量,因为大约1ko数据的1个写入容量单位需要1秒,因此您可以将其增加到100个写入容量单位,以每秒写入100行,计算所需时间,如果需要,还可以增加更多。 也不要忘记batchwrite一次只接受25次写入
阅读和批量插入,如果有的话,当然是解决这类问题的方法。如果您有许多不同的问题,请分别提问。另外,为什么需要插入这么多虚拟数据?如果是为了测试目的,你最好用一个mock。