PHP和MySQL:下载所有带有Rets的MLS属性数据-带宽问题

PHP和MySQL:下载所有带有Rets的MLS属性数据-带宽问题,php,rets,Php,Rets,我使用Rets系统(特别是PHRets)已经有一段时间了,最近才开始每晚下载数据,以存储数据库中的所有属性,但仅仅三天之后,我就提高了9GB的带宽使用率(我只分配了100GB)。有没有办法优化我的下载等等,这样我就不会在这个月的中途消耗掉带宽 如果你能给出基本的步骤或提示,我会在我的代码中实现 例如:链接到RETS、查询所有数据等 谢谢 我可以提供一些小提示: 确保只下载更新。查询RETS服务器,查找在本地数据库中上次更新时间最长与当前时间之间更新的记录。(编辑:我在您的评论中看到您正在这样做

我使用Rets系统(特别是PHRets)已经有一段时间了,最近才开始每晚下载数据,以存储数据库中的所有属性,但仅仅三天之后,我就提高了9GB的带宽使用率(我只分配了100GB)。有没有办法优化我的下载等等,这样我就不会在这个月的中途消耗掉带宽

如果你能给出基本的步骤或提示,我会在我的代码中实现

例如:链接到RETS、查询所有数据等


谢谢

我可以提供一些小提示:

  • 确保只下载更新。查询RETS服务器,查找在本地数据库中上次更新时间最长与当前时间之间更新的记录。(编辑:我在您的评论中看到您正在这样做)

  • 不要提取你不打算使用的数据。例如,如果不使用状态为“Closed”的属性,请确保在查询中不包含这些属性。试着过滤掉你不会使用的所有可能的标准

  • 不确定您是否正在下载图像,但请将每个列表的数量保持在绝对最小值

  • 我很确定你可以将下载频率降低到每48小时一次。至少,这是我们被要求与我们当地的RETS提供商一起做的事情


    • 我可以提供一些小提示:

      • 确保只下载更新。查询RETS服务器,查找在本地数据库中上次更新时间最长与当前时间之间更新的记录。(编辑:我在您的评论中看到您正在这样做)

      • 不要提取你不打算使用的数据。例如,如果不使用状态为“Closed”的属性,请确保在查询中不包含这些属性。试着过滤掉你不会使用的所有可能的标准

      • 不确定您是否正在下载图像,但请将每个列表的数量保持在绝对最小值

      • 我很确定你可以将下载频率降低到每48小时一次。至少,这是我们被要求与我们当地的RETS提供商一起做的事情

      有用的提示:

    • 确保应下载必填字段
    • 确保只下载更新。查询RETS服务器
    • 如果只有特定的状态数据,则进行过滤,即 活动的,连续的)
    • 如果MLS支持第三方URL,则不要下载图像作为
      GetObject
      用短语
    • 有用提示:

    • 确保应下载必填字段
    • 确保只下载更新。查询RETS服务器
    • 如果只有特定的状态数据,则进行过滤,即 活动的,连续的)
    • 如果MLS支持第三方URL,则不要下载图像作为
      GetObject
      用短语
    • 下载RETS数据的有用提示 -初始设置您需要下载完整的数据与照片和XML下载 -仅限每日下载更新。 确保只下载更新。查询RETS服务器中已更新的记录(PROP_LAST_UPDATEDATE=2-2-2012T000:00+)和相同的下载照片下载查询

      -尝试实现Keeplist概念并更新状态和数据

      不确定您是否正在下载图像,但请将每个列表的数量保持在绝对最小值。

      帮助提示重新下载数据 -初始设置您需要下载完整的数据与照片和XML下载 -仅限每日下载更新。 确保只下载更新。查询RETS服务器中已更新的记录(PROP_LAST_UPDATEDATE=2-2-2012T000:00+)和相同的下载照片下载查询

      -尝试实现Keeplist概念并更新状态和数据


      不确定您是否正在下载图像,但请将每个列表的数量保持在绝对最小值。

      您的意思是像Rsync那样只下载新的/修改过的数据吗?我目前只通过比较数据库上的最后修改日期来下载新的/修改过的数据,但它仍在消耗我的资源。像压缩下载和批量sql插入这样的东西会有很大帮助吗?将其导出为压缩sql显然对带宽有好处。我真的不知道你能做些什么来提高你的使用率。我不知道你怎么能在3天内杀死9GB。数据库的行数有多大?(粗略地说)你的意思是像Rsync那样只下载新的/修改过的数据吗?我目前只通过比较数据库上的最后修改日期来下载新的/修改过的数据,但它仍然在消耗我的资源。像压缩下载和批量sql插入这样的东西会有很大帮助吗?将其导出为压缩sql显然对带宽有好处。我真的不知道你能做些什么来提高你的使用率。我不知道你怎么能在3天内杀死9GB。数据库的行数有多大?(大致)