Mysql 如何每天将数据从云SQL导出到BigQuery?

Mysql 如何每天将数据从云SQL导出到BigQuery?,mysql,google-bigquery,google-cloud-sql,Mysql,Google Bigquery,Google Cloud Sql,我已经创建了到CloudSQL的连接,并使用EXTERNAL\u QUERY()将数据导出到Bigquery。我的问题是,由于云SQL表没有分区,我不知道导出新数据的计算效率高的方法;但是,它确实有一个日期列date\u字段,但它的数据类型是char 我试着运行以下查询,以调度类似的类型,以便插入结果:SELECT*FROM EXTERNAL_query(“connection”,“SELECT period FROM table where date_field=cast(current_da

我已经创建了到CloudSQL的连接,并使用
EXTERNAL\u QUERY()
将数据导出到Bigquery。我的问题是,由于云SQL表没有分区,我不知道导出新数据的计算效率高的方法;但是,它确实有一个日期列
date\u字段
,但它的数据类型是
char


我试着运行以下查询,以调度类似的类型,以便插入结果:

SELECT*FROM EXTERNAL_query(“connection”,“SELECT period FROM table where date_field=cast(current_date()as char);”


,鉴于:

从外部查询中选择*(“连接”,“从日期字段为'2020-03-20'的表中选择期间”)


几乎是即时的

首先,强烈建议将“日期字段”列转换为数据类型日期。这将提高未来的简单性和性能

当比较两个字符串时,MySQL将使用索引来加速查询。例如,将字符串定义为“2020-03-20”时,会成功执行此操作。将当前日期强制转换为字符串时,比较中使用的字符集可能不相同,因此无法使用索引

与“日期字段”列中的值相比,您可能希望在铸造当前日期时间后检查字符集。然后可以使用此命令而不是强制转换:
CONVERT(当前日期()在此处输入字符集)


以下是不同转换函数的示例。

您希望在什么环境下运行这些查询?@FelipeHoffa我希望在BigQuery中运行这些查询;外部查询采用MySQL格式。是。但是你想让它自动化。谁将运行查询,以及在哪个环境中运行查询。在BigQuery中运行查询的方法有很多…@FelipeHoffa我将使用BigQuery中的scheduled query选项来提取最近一天的数据并附加到结果中。很抱歉,不够清晰。