Amazon ec2 动态创建的EC2实例上的PostgreSQL配置设置

Amazon ec2 动态创建的EC2实例上的PostgreSQL配置设置,amazon-ec2,ec2-ami,Amazon Ec2,Ec2 Ami,让我首先说,我认为有一种比我现在做的更好的方式。。。所以,请不要发表评论和回答说我应该使用不同的技术,等等。我有一个“合理”的具体问题 一点背景: 基本上,我有一个系统,我每天都在处理各种各样但结构相当合理的数据源(CSV文件)。这是一种相当通用的ETL类型的系统。我开始编写Python脚本,以便在内存中完成这一切。但是,我发现我写了很多代码来检查和执行规则,这些规则很容易用db模式来描述。因此,我有一系列的SQS队列(每个源一个队列),其中有文件位置(在s3上)要处理,还有一个PostgreS

让我首先说,我认为有一种比我现在做的更好的方式。。。所以,请不要发表评论和回答说我应该使用不同的技术,等等。我有一个“合理”的具体问题

一点背景:

基本上,我有一个系统,我每天都在处理各种各样但结构相当合理的数据源(CSV文件)。这是一种相当通用的ETL类型的系统。我开始编写Python脚本,以便在内存中完成这一切。但是,我发现我写了很多代码来检查和执行规则,这些规则很容易用db模式来描述。因此,我有一系列的SQS队列(每个源一个队列),其中有文件位置(在s3上)要处理,还有一个PostgreSQL db脚本要加载来处理。哈奇?对可能但是,在某种程度上,在PostgreSQL中定义所有规则非常容易。至少对我来说,我有大约15年的RDBMS经验(当你只有一把锤子时,一切看起来都像钉子,这句老话是怎么说的?)

所以,一切都很顺利。但是,在创建EC2实例时,我可以选择图像id和类型/大小。我有我使用的基本“PostgreSQL worker映像”,但它实际上只适合一种尺寸(micro)

但是,现在我想试着玩一玩,看看如果我选择中小企业,我能得到什么样的收益。我最初的想法是,我将创建单独的image_id,并为它们设置postgres配置。但是,看起来有点乱。(但是,整个事情有点混乱)

鉴于我现有的条件,有没有比单独的非盟特派团更好的方法来实现这一点

最后说明:

我的AMI都是PostgreSQL 9.1和Ubuntu 12.04。而DBs只是临时存储。它们仅在加载/处理/输出数据所需的15或20分钟内存在


如果您觉得这个问题可以在SE的DBA站点上得到更好的回答,那么请随时添加评论。我通常从StackOverflow开始,因为它是一个更大的社区,我觉得与它在一起更自在。与DBA相比,我更像是一名开发人员。

您可以让postgresql启动脚本在启动集群之前使用有关实例的元数据重新创建其配置文件。(在一个著名的端口上有一个小小的web服务可以为您提供元数据。)@JamesAylett-Hi。谢谢你的评论。我知道如何获取实例的元数据。但是,我不知道如何让“postgresql启动脚本在启动集群之前重新创建其配置文件”。我在谷歌上搜索过这个短语,但没有看到任何有用的东西。你能提供一个到文档的链接或一个“操作方法”吗?这是一个介于bash问题(我认为postgresql仍然使用老式的init脚本)和系统管理问题之间的问题。谷歌搜索肯定不会有帮助;您需要了解启动脚本是如何工作的,以及如何将内容连接到脚本中。据我所知,没有任何文档可以帮助您,如果有一个howto,我会感到惊讶。在这一点上,我建议找一位顾问,除非这里突然出现一位有帮助的人,他有时间写一个完整的例子(这绝对不是小事)。仅供将来阅读本文的人参考,我所做的只是用不同的postgres conf设置创建不同的AMI。虽然它可能没有那么优雅,但它确实起到了作用。