将100 GB的数据从C#应用程序移动到Cassandra或任何类似的大数据存储中的有效方法是什么？

这100 GB的数据来自电子设备，将以文件的形式存在。 目前，我们的应用程序产生4-6 GB的数据，我们将其存储在Google Drive中。

---

我们考虑的是设置服务器并手动从该工具下载文件。

我认为您可能会调查以下几种可能性：

1-在尝试上载数据之前是否可以压缩数据，特别是如果文件格式允许高压缩率

2-在压缩和上传之前，是否可以对数据文件中的冗余信息进行清理。如果文件包含重要的重复数据字段，则可能只保留数据更改。例如，一个设备可以报告电机是否以10毫秒的间隔运行。如果电机每小时只打开/关闭一次，那么在上传之前可以删除大量信息，而不会丢失信息

3-是否有可能不断地流式传输数据，或者可能以较小的连续块（比如10或100KB）的形式传输数据。流式传输数据可能会使端到端流程更具响应性，并且对网络/互联网退出更具弹性

4-也许可以阅读一些关于一些物联网设备模式如何在在线和离线情况下将重要信息上传到云的信息

如果您提供有关设置、数据文件格式等的更多详细信息，则可以提供更具体的建议