Python 保存实时数据帧的最佳方法是什么？

我需要使用Python在系统上执行许多命令，同时将正在执行的所有操作都保存在数据帧中

在这种情况下，如何处理执行过程中突然终止应用程序的问题风险

---

当我在Pandas库的数据帧中添加数据时，它是否仍然只是执行期间的一个变量，如果出现问题，则该变量及其数据将完全丢失。

如果您的程序崩溃，您将丢失所有数据。避免这种情况的最佳方法是每X秒/分钟保存一次数据，以便在出现问题时进行备份

下面是一个小例子：

import pandas as pd

df = pd.read_excel("big_file")

for x in range(100000):
    # Lots of operations
    # Every one thousand loop we save the data in case the program crashes
    if np.mod(i,1000) == 0:
        df.to_csv('backup_{}.csv'.format(i))

---

作为错误处理的一部分，您可以在内存中pickle数据帧。您可以让另一个过程在您的操作中编写一个类似于备份思想的日志文件，该备份思想保留您所在位置的索引。这将作为历史记录工作，但保留实时备份，而不是迭代数据转储。一旦完成，所有这些都需要转到Microsoft SQL Server数据库。在这些建议中，保存并导出到SQL的最佳格式是什么。csv、.xls或其他？