Javascript 致命错误：清除程序：半空间副本分配失败_Javascript_Node.js_Arrays_Out Of Memory

Javascript 致命错误：清除程序：半空间副本分配失败

javascript node.js arrays

Javascript 致命错误：清除程序：半空间副本分配失败,javascript,node.js,arrays,out-of-memory,Javascript,Node.js,Arrays,Out Of Memory,我在运行一个节点应用程序时遇到一个错误，该应用程序处理一个非常大的文件（7600万条记录）被读取到一个数组中 Suse服务器有64GB的RAM，我还有100GB的交换文件。但是，堆转储发生在大约30GB的内存上。读取了大约3100万条记录节点版本为12.22.1 这是一个分析应用程序，它是初始数据提取的一次性工作负载。应用程序一次按100k个记录块读取文件我已经尝试了这些参数的多种排列，这是最后一次运行 --max-old-space-size=196608 --max-semi-space

我在运行一个节点应用程序时遇到一个错误，该应用程序处理一个非常大的文件（7600万条记录）被读取到一个数组中

Suse服务器有64GB的RAM，我还有100GB的交换文件。但是，堆转储发生在大约30GB的内存上。读取了大约3100万条记录

节点版本为12.22.1

这是一个分析应用程序，它是初始数据提取的一次性工作负载。应用程序一次按100k个记录块读取文件

我已经尝试了这些参数的多种排列，这是最后一次运行

--max-old-space-size=196608
--max-semi-space-size=256
--semi-space-growth-factor=4

我以前在节点4上运行过这种大型数据集，只使用了--max old space size，没有任何问题，但从我读到的内容来看，从节点12开始，内存管理是不同的

感谢您提供的任何指导或建议

感谢和问候

迪兰克

^[[0;34mINFO ^[[0m      2021-04-27 08:10:50     ^[[0;1mDSParser^[[0m    Read 31700000 lines
                ^[[0;4mtable^[[0m: "ekpo"
                ^[[0;4mstep^[[0m: 0
                ^[[0;4mmemory^[[0m: {"rss":21905813504,"heapTotal":17302638592,"heapUsed":17253034680,"external":4473602959,"arrayBuffers":4472358538}
^[[0;34mINFO ^[[0m      2021-04-27 08:10:56     ^[[0;1mDSParser^[[0m    Read 31800000 lines
                ^[[0;4mtable^[[0m: "ekpo"
                ^[[0;4mstep^[[0m: 0
                ^[[0;4mmemory^[[0m: {"rss":22110760960,"heapTotal":17492168704,"heapUsed":17435101184,"external":4473635727,"arrayBuffers":4472391306}

<--- Last few GCs --->

[11070:0x4c9f3c0]  1092787 ms: Scavenge 16733.7 (16784.8) -> 16733.6 (16784.8) MB, 84.5 / 0.0 ms  (average mu = 0.988, current mu = 0.990) allocation failure
[11070:0x4c9f3c0]  1092869 ms: Scavenge 16733.7 (16784.8) -> 16733.6 (16784.8) MB, 80.9 / 0.0 ms  (average mu = 0.988, current mu = 0.990) allocation failure
[11070:0x4c9f3c0]  1092953 ms: Scavenge 16733.7 (16784.8) -> 16733.7 (16784.8) MB, 83.9 / 0.0 ms  (average mu = 0.988, current mu = 0.990) allocation failure


<--- JS stacktrace --->
Cannot get stack trace in GC.

>  FATAL ERROR: Scavenger: semi-space copy Allocation failed -
> JavaScript heap out of memory  1: 0xa1a640 node::Abort()
> [/home/forestpin/data/retail/bin/node/node/bin/node]  2: 0xa1aa4c
> node::OnFatalError(char const*, char const*)
> [/home/forestpin/data/retail/bin/node/node/bin/node]  3: 0xb9a68e
> v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool)
> [/home/forestpin/data/retail/bin/node/node/bin/node]  4: 0xb9aa09
> v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char
> const*, bool) [/home/forestpin/data/retail/bin/node/node/bin/node]  5:
> 0xd57c85  [/home/forestpin/data/retail/bin/node/node/bin/node]  6:
> 0xdba162  [/home/forestpin/data/retail/bin/node/node/bin/node]  7:
> 0xdbbfb6 void
> v8::internal::BodyDescriptorBase::IteratePointers<v8::internal::IterateAndScavengePromotedObjectsVisitor>(v8::internal::HeapObject,
> int, int, v8::internal::IterateAndScavengePromotedObjectsVisitor*)
> [/home/forestpin/data/retail/bin/node/node/bin/node]  8: 0xdbc680 void
> v8::internal::BodyDescriptorBase::IterateJSObjectBodyImpl<v8::internal::IterateAndScavengePromotedObjectsVisitor>(v8::internal::Map,
> v8::internal::HeapObject, int, int,
> v8::internal::IterateAndScavengePromotedObjectsVisitor*)
> [/home/forestpin/data/retail/bin/node/node/bin/node]  9: 0xdbcfd1 void
> v8::internal::BodyDescriptorApply<v8::internal::CallIterateBody, void,
> v8::internal::Map, v8::internal::HeapObject, int,
> v8::internal::IterateAndScavengePromotedObjectsVisitor*>(v8::internal::InstanceType,
> v8::internal::Map, v8::internal::HeapObject, int,
> v8::internal::IterateAndScavengePromotedObjectsVisitor*)
> [/home/forestpin/data/retail/bin/node/node/bin/node] 10: 0xdbd87e
> v8::internal::Scavenger::IterateAndScavengePromotedObject(v8::internal::HeapObject,
> v8::internal::Map, int)
> [/home/forestpin/data/retail/bin/node/node/bin/node] 11: 0xdbdb8b
> v8::internal::Scavenger::Process(v8::internal::OneshotBarrier*)
> [/home/forestpin/data/retail/bin/node/node/bin/node] 12: 0xdc15bd
> v8::internal::ScavengingTask::RunInParallel(v8::internal::ItemParallelJob::Task::Runner)
> [/home/forestpin/data/retail/bin/node/node/bin/node] 13: 0xd75885
> v8::internal::ItemParallelJob::Task::RunInternal()
> [/home/forestpin/data/retail/bin/node/node/bin/node] 14: 0xd75c94
> v8::internal::ItemParallelJob::Run()
> [/home/forestpin/data/retail/bin/node/node/bin/node] 15: 0xdbf65a
> v8::internal::ScavengerCollector::CollectGarbage()
> [/home/forestpin/data/retail/bin/node/node/bin/node] 16: 0xd50741
> v8::internal::Heap::Scavenge()
> [/home/forestpin/data/retail/bin/node/node/bin/node] 17: 0xd64f1b
> v8::internal::Heap::PerformGarbageCollection(v8::internal::GarbageCollector,
> v8::GCCallbackFlags)
> [/home/forestpin/data/retail/bin/node/node/bin/node] 18: 0xd65a85
> v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace,
> v8::internal::GarbageCollectionReason, v8::GCCallbackFlags)
> [/home/forestpin/data/retail/bin/node/node/bin/node] 19: 0xd6853c
> v8::internal::Heap::AllocateRawWithRetryOrFail(int,
> v8::internal::AllocationType, v8::internal::AllocationOrigin,
> v8::internal::AllocationAlignment)
> [/home/forestpin/data/retail/bin/node/node/bin/node] 20: 0xd2ef5b
> v8::internal::Factory::NewFillerObject(int, bool,
> v8::internal::AllocationType, v8::internal::AllocationOrigin)
> [/home/forestpin/data/retail/bin/node/node/bin/node] 21: 0x107158e
> v8::internal::Runtime_AllocateInYoungGeneration(int, unsigned long*,
> v8::internal::Isolate*)
> [/home/forestpin/data/retail/bin/node/node/bin/node] 22: 0x140de99 
> [/home/forestpin/data/retail/bin/node/node/bin/node]

^[0；34mINFO^[0m 2021-04-27 08:10:50^[0；1mDSParser^[0m读取31700000行
^[0；4表^[0m:“ekpo”
^[0；4mstep^[0m:0
^[0；4mmemory^[0m:{“rss”：21905813504，“heapTotal”：17302638592，“heapUsed”：17253034680，“external”：4473602959，“arrayBuffers”：4472358538}
^[0；34mINFO^[0m 2021-04-27 08:10:56^[0；1mDSParser^[0m读取31800000行
^[0；4表^[0m:“ekpo”
^[0；4mstep^[0m:0
^[0；4mmemory^[0m:{“rss”：2211076060，“heapTotal”：17492168704，“heapUsed”：17435101184，“external”：4473635727，“arrayBuffers”：4472391306}
[11070:0x4c9f3c0]1092787毫秒：清除16733.7（16784.8）->16733.6（16784.8）MB，84.5/0.0毫秒（平均mu=0.988，当前mu=0.990）分配失败
[11070:0x4c9f3c0]1092869毫秒：清除16733.7（16784.8）->16733.6（16784.8）MB，80.9/0.0毫秒（平均mu=0.988，当前mu=0.990）分配失败
[11070:0x4c9f3c0]1092953毫秒：清除16733.7（16784.8）->16733.7（16784.8）MB，83.9/0.0毫秒（平均mu=0.988，当前mu=0.990）分配失败
无法在GC中获取堆栈跟踪。
>致命错误：清除程序：半空间副本分配失败-
>JavaScript堆内存不足1:0xa1a640节点：：中止（）
>[/home/forestpin/data/retail/bin/node/node/bin/node]2:0xa1aa4c
>节点：：OnFatalError（字符常量*，字符常量*）
>[/home/forestpin/data/retail/bin/node/node/bin/node]3:0xb9a68e
>v8:：Utils:：ReportOOMFailure（v8:：internal:：Isolate*，char const*，bool）
>[/home/forestpin/data/retail/bin/node/node/bin/node]4:0xb9aa09
>v8:：internal:：v8:：FatalProcessOutOfMemory（v8:：internal:：Isolate*，char）
>const*，bool）[/home/forestpin/data/retail/bin/node/node/bin/node]5：
>0xd57c85[/home/forestpin/data/retail/bin/node/node/bin/node]6：
>0xdba162[/home/forestpin/data/retail/bin/node/node/bin/node]7：
>0xdbbfb6无效
>v8:：internal:：BodyDescriptorBase:：IteratePoints（v8:：internal:：HeapObject，
>int，int，v8:：internal:：IterateAndScavengePromotedObjectsVisitor*）
>[/home/forestpin/data/retail/bin/node/node/bin/node]8:0xdbc680无效
>v8:：internal:：BodyDescriptorBase:：IterateJSObjectBodyImpl（v8:：internal:：Map，
>v8:：internal:：HeapObject，int，int，
>v8:：internal:：IterateAndScavengePromotedObjectsVisitor*）
>[/home/forestpin/data/retail/bin/node/node/bin/node]9:0xdbcfd1 void
>v8:：internal:：BodyDescriptorAply v8:：internal:：Map，v8:：internal:：HeapObject，int，
>v8:：internal:：IterateAndScavengePromotedObjectsVisitor*>（v8:：internal:：InstanceType，
>v8:：internal:：Map，v8:：internal:：HeapObject，int，
>v8:：internal:：IterateAndScavengePromotedObjectsVisitor*）
>[/home/forestpin/data/retail/bin/node/node/bin/node]10:0xdbd87e
>v8:：internal:：Cleavenger:：IterateAndScavengePromotedObject（v8:：internal:：HeapObject，
>v8:：内部：：映射，int）
>[/home/forestpin/data/retail/bin/node/node/bin/node]11:0xDB8B
>v8:：内部：：清道夫：：流程（v8:：内部：：OneshotBarrier*）
>[/home/forestpin/data/retail/bin/node/node/bin/node]12:0xdc15bd
>v8:：internal:：ScaventingTask:：RunInParallel（v8:：internal:：ItemParallelJob:：Task:：Runner）
>[/home/forestpin/data/retail/bin/node/node/bin/node]13:0xd75885
>v8:：internal:：ItemParallelJob:：Task:：RunInternal（）
>[/home/forestpin/data/retail/bin/node/node/bin/node]14:0xd75c94
>v8:：internal:：ItemParallelJob:：Run（）
>[/home/forestpin/data/retail/bin/node/node/bin/node]15:0xdbf65a
>v8:：内部：：清道夫收集器：：收集器垃圾（）
>[/home/forestpin/data/retail/bin/node/node/bin/node]16:0xd50741
>v8:：内部：：堆：：清除（）
>[/home/forestpin/data/retail/bin/node/node/bin/node]17:0xd64f1b
>v8:：internal:：Heap:：PerformGarbageCollection（v8:：internal:：GarbageCollector，
>v8:：GCCallbackFlags）
>[/home/forestpin/data/retail/bin/node/node/bin/node]18:0xd65a85
>v8:：internal:：Heap:：CollectGarbage（v8:：internal:：AllocationSpace，
>v8:：internal:：GarbageCollectionReason，v8:：GCCallbackFlags）
>[/home/forestpin/data/retail/bin/node/node/bin/node]19:0xd6853c
>v8:：internal:：Heap:：AllocateRawWithRetryOrFail（int，
>v8:：internal:：AllocationType，v8:：internal:：AllocationRigin，
>v8:：内部：：分配指定）
>[/home/forestpin/data/retail/bin/node/node/bin/node]20:0xd2ef5b
>v8:：internal:：Factory:：NewFillerObject（int，bool，
>v8:：internal:：AllocationType，v8:：internal:：AllocationRigin）
>[/home/forestpin/data/retail/bin/node/node/bin/node]21:0x107158e
>v8:：internal:：Runtime_AllocateInYoungGeneration（int，无符号长*，
>v8:：内部：：隔离*）
>[/home/forestpin/data/retail/bin/node/node/bin/node]22:0x140de99
>[/home/forestpin/data/retail/bin/node/node/bin/node]