Python 有没有办法将数据从谷歌电子表格传送到clickhouse?

Python 有没有办法将数据从谷歌电子表格传送到clickhouse?,python,airflow,google-sheets-api,clickhouse,Python,Airflow,Google Sheets Api,Clickhouse,我们的员工每天都会在谷歌电子表格中填写一些数据,我需要以一定的频率(例如每天一次)将这些表格发送到clickhouse (它位于我们的aws服务器上) clickhouse每次是只从表中写入新数据还是从所有表中写入新数据并不重要 请告诉我怎样做的工作方法 从工具包中可以看出,python在理论上可以与sqlalchemy和DAG一起工作 但是对于气流中dag的开发,我还没有找到如何用python编写脚本从Google电子表格传输数据的指南 第二种选择是使用owox扩展的google电子表格,但是

我们的员工每天都会在谷歌电子表格中填写一些数据,我需要以一定的频率(例如每天一次)将这些表格发送到clickhouse

(它位于我们的aws服务器上)

clickhouse每次是只从表中写入新数据还是从所有表中写入新数据并不重要

请告诉我怎样做的工作方法

从工具包中可以看出,python在理论上可以与sqlalchemy和DAG一起工作 但是对于气流中dag的开发,我还没有找到如何用python编写脚本从Google电子表格传输数据的指南

第二种选择是使用owox扩展的google电子表格,但是你需要使用google BigQuery,这将产生一个动物园,我还不想为BQ付费


你知道如何使用脚本从google电子表格上传表格到Clickhouse吗?

我发现Python库pygsheets-使用api访问电子表格比直接访问更容易

官方pygsheets码头-

此外,我还发现了更多的库:gspread和oauth2client,它们也可以用于使用api的Python 分步指导 gspread的官方文件


我可以在airflow制作dag并管理etl流程

来访问您的google电子表格,我建议您查看或查看该流程的细节。通过google api以外的任何其他方式获取数据都可能是混乱的。问题的关键是如何一步一步地完成,很明显,有文档,但更简单的方法是可取的,没有最佳实践案例,不要与手鼓和google api跳舞。恐怕没有更简单的方法。通过API进行的连接非常简单。也不要通过翻译来理解谚语。我不知道用铃鼓跳舞是什么意思。考虑使用CURL来获得所需的数据,然后使用@弗拉迪米尔将结果传递给CH,但是在这种情况下,链接(如果创建的话)是否会被谷歌搜索引擎索引?我了解到这样一个事实:如果你使用httpI,任何人都可以通过这种方式查看信息,我只是想说这仍然在使用googleapi。它只是GSheets API.eah的一个包装器——但是,它的答案比简单的更深刻、更复杂:阅读google sheets文档,但你最初的问题是,我如何使用脚本从google sheets获取数据。不是什么是最好的方式或最简单的方式来实现和使用谷歌api数据。另外,我建议在询问之前先搜索谷歌。因为你自己很快就找到了答案。有一个问题,我们讨论最有效、最简单的解决方案是合乎逻辑的:)谢谢你的参与