使用python从sql中提取数据，进行转换并写回sql表

我有一个场景，需要从不同的sql表中提取数据，使用这些数据在python中进行转换，然后需要将结果写回sql表

这可能吗

这是一种有效的方法吗？或者你会推荐使用不同的工具吗

如何使python脚本自动化，以便从服务器上自动运行它

非常感谢

当然有可能

我认为这取决于您想要应用哪种转换，以及您对python和SQL的了解。我的意思是，如果转换类似于替换简单的数学函数，那么可以使用SQL代码来完成，但是如果是复杂的函数，或者可能缺乏SQL代码知识，那么应该使用python。我建议使用

如果您需要按照特定的时间表运行它，您只需在shell中运行它并使用cron作业

---

我是一名初级数据工程师，刚刚开始在该领域工作。我精通SQL和Python，但仍需要学习使用哪种语言以及何时使用。如果我需要从SQL中提取数据，您会使用什么库？Sqlalchemy还是pyodbc？我有在python和SQL上执行作业的经验。在我看来，在两种情况下，您应该使用SQL：（1）如果您的任务很简单（在SQL中可行），并且是一次性任务；（2）如果您的任务很简单（在SQL中可行），那么您需要直接在SQL数据库中存储或更改数据。但除此之外，Python中执行数据分析和更改更简单，社区和工具都很棒，而且在很多情况下，性能与SQL没有太大区别。作为数据工程师，您应该考虑您（或您的团队）将花费在任务上的时间（以及您需要升级或更改函数的时间）。然后把它放在一个盘子上，上面有你需要的函数的性能，然后决定哪一个对你来说更重要。例如，有一段时间，我需要一个函数来处理不同日历中的时间戳。起初我写了一个函数是SQL来做简单的工作，但后来当函数变得更复杂，其他日历出现在图片中时，我被迫使用python。最后一个建议是：永远记住，将来可能需要升级代码，否则其他人可能会成为该代码的管理者。基本上，python中的代码更具可读性，更易于理解和调试，而且开发人员也知道，没有很多开发人员可以用SQL编写代码（特别是在复杂的情况下）但是由于python的特性，您可以更容易地找到合适的python开发人员。了解熊猫的基本知识需要更多的时间，但这是值得的，因为它非常强大，将来你几乎可以用你的数据做任何事情。