PHP和MySQL:下载所有带有Rets的MLS属性数据-带宽问题
我使用Rets系统(特别是PHRets)已经有一段时间了,最近才开始每晚下载数据,以存储数据库中的所有属性,但仅仅三天之后,我就提高了9GB的带宽使用率(我只分配了100GB)。有没有办法优化我的下载等等,这样我就不会在这个月的中途消耗掉带宽 如果你能给出基本的步骤或提示,我会在我的代码中实现 例如:链接到RETS、查询所有数据等PHP和MySQL:下载所有带有Rets的MLS属性数据-带宽问题,php,rets,Php,Rets,我使用Rets系统(特别是PHRets)已经有一段时间了,最近才开始每晚下载数据,以存储数据库中的所有属性,但仅仅三天之后,我就提高了9GB的带宽使用率(我只分配了100GB)。有没有办法优化我的下载等等,这样我就不会在这个月的中途消耗掉带宽 如果你能给出基本的步骤或提示,我会在我的代码中实现 例如:链接到RETS、查询所有数据等 谢谢 我可以提供一些小提示: 确保只下载更新。查询RETS服务器,查找在本地数据库中上次更新时间最长与当前时间之间更新的记录。(编辑:我在您的评论中看到您正在这样做
谢谢 我可以提供一些小提示:
- 确保只下载更新。查询RETS服务器,查找在本地数据库中上次更新时间最长与当前时间之间更新的记录。(编辑:我在您的评论中看到您正在这样做)
- 不要提取你不打算使用的数据。例如,如果不使用状态为“Closed”的属性,请确保在查询中不包含这些属性。试着过滤掉你不会使用的所有可能的标准
- 不确定您是否正在下载图像,但请将每个列表的数量保持在绝对最小值
- 我很确定你可以将下载频率降低到每48小时一次。至少,这是我们被要求与我们当地的RETS提供商一起做的事情
- 确保只下载更新。查询RETS服务器,查找在本地数据库中上次更新时间最长与当前时间之间更新的记录。(编辑:我在您的评论中看到您正在这样做)
- 不要提取你不打算使用的数据。例如,如果不使用状态为“Closed”的属性,请确保在查询中不包含这些属性。试着过滤掉你不会使用的所有可能的标准
- 不确定您是否正在下载图像,但请将每个列表的数量保持在绝对最小值
- 我很确定你可以将下载频率降低到每48小时一次。至少,这是我们被要求与我们当地的RETS提供商一起做的事情
- 确保应下载必填字段
- 确保只下载更新。查询RETS服务器
- 如果只有特定的状态数据,则进行过滤,即 活动的,连续的)
- 如果MLS支持第三方URL,则不要下载图像作为
用短语GetObject
有用提示:
- 确保应下载必填字段
- 确保只下载更新。查询RETS服务器
- 如果只有特定的状态数据,则进行过滤,即 活动的,连续的)
- 如果MLS支持第三方URL,则不要下载图像作为
用短语GetObject
下载RETS数据的有用提示
-初始设置您需要下载完整的数据与照片和XML下载
-仅限每日下载更新。
确保只下载更新。查询RETS服务器中已更新的记录(PROP_LAST_UPDATEDATE=2-2-2012T000:00+)和相同的下载照片下载查询
-尝试实现Keeplist概念并更新状态和数据
不确定您是否正在下载图像,但请将每个列表的数量保持在绝对最小值。帮助提示重新下载数据
-初始设置您需要下载完整的数据与照片和XML下载
-仅限每日下载更新。
确保只下载更新。查询RETS服务器中已更新的记录(PROP_LAST_UPDATEDATE=2-2-2012T000:00+)和相同的下载照片下载查询
-尝试实现Keeplist概念并更新状态和数据
- 我可以提供一些小提示:
不确定您是否正在下载图像,但请将每个列表的数量保持在绝对最小值。您的意思是像Rsync那样只下载新的/修改过的数据吗?我目前只通过比较数据库上的最后修改日期来下载新的/修改过的数据,但它仍在消耗我的资源。像压缩下载和批量sql插入这样的东西会有很大帮助吗?将其导出为压缩sql显然对带宽有好处。我真的不知道你能做些什么来提高你的使用率。我不知道你怎么能在3天内杀死9GB。数据库的行数有多大?(粗略地说)你的意思是像Rsync那样只下载新的/修改过的数据吗?我目前只通过比较数据库上的最后修改日期来下载新的/修改过的数据,但它仍然在消耗我的资源。像压缩下载和批量sql插入这样的东西会有很大帮助吗?将其导出为压缩sql显然对带宽有好处。我真的不知道你能做些什么来提高你的使用率。我不知道你怎么能在3天内杀死9GB。数据库的行数有多大?(大致)