Amazon s3 从Oracle表到红移的流式处理

我是红移和AWS生态系统的新手。我正在寻找从Oracle EBS本地表到Redshift的流式数据更改的选项或最佳实践

是否应将S3用作暂存区？因此Oracle->S3->Redshift？这对实时流式Oracle表进行红移有好处吗

有没有办法绕过S3登台并执行Oracle->AWS动态（消防软管）->红移？如果是的话，有没有这样的场景我可以读一下

用卡夫卡代替AWS动觉怎么样

AWS Kinesis或Kafka能否直接从内部部署的Oracle实例中提取

是否有其他替代方案/组件、ETL工具用于将近实时或几乎实时的数据加载到Redshift

有大量的表需要从Oracle流式传输，这是一种即时传输。我对Redshift不太熟悉，但熟悉Oracle、SQL Server、PG。如果我完全不熟悉这里的beat，请原谅

请帮助：）如有任何想法和/或参考，我们将不胜感激。

根据文件，1和2基本相同。你不会用消防水龙绕过S3，只要把它遮住。如果您在多个集群上有很多表，那么Firehose目前是无用的。当然，除非您计划自动化向AWS支持部门发送支持请求的过程以增加限制（我正在考虑，不要笑）

我会使用COPY命令进行加载

当前插入速度慢，我的意思是慢。不要使用会在后台生成insert语句的方法

我的用例： Apache Storm将事件流式传输到红移，使用S3作为暂存区。每天每个表可以处理数十万个事件，每个数据库可以处理几十个表，每个集群可以处理几个数据库，几个集群也可以。我们使用API网关、AWS Lambda和S3作为第二个进程的暂存区。同样适用于每天数以万计的事件、两个不同的集群、每个集群上的几个数据库，每个数据库中以这种方式加载一个表

理论上，您可以使用SSH发出COPY命令，但随后您必须在上准备清单文件（等待）。。。S3。所以我不知道你为什么不使用S3来进行数据存储

至于将数据从本地Oracle流式传输到S3，这是一个完全不同的主题，您应该从精通Oracle的人那里寻找答案。我想看看CDC，但我不是甲骨文专业人士，所以说不出这是不是一个好方法

---

我希望这能有所帮助。

谢谢您的回复。这很有帮助。如果你认为我的回答很有帮助，你能投票还是接受？谢谢@AdamOwczarczyk：正如我对您的用例的正确理解，风暴数据存储在S3中，然后复制到红移。在这种情况下，从Storm到S3的可靠传输是如何工作的？我不再在我们有解决方案的地方工作了。然而，如果我没记错的话，Storm-S3链路的可靠性不是一件事。如果S3客户端说文件在那里，它很可能在那里；）你的问题必须更准确。你担心什么？