Python 尝试查询mssql数据库时出现的关键问题

我对气流很陌生。我已经阅读了几次文档，在网上阅读了大量的S/O问题和许多随机文章，但还没有解决这个问题。我觉得这很简单，我做错了。 我有Docker for Windows，我拉了

puckel/Docker airflow

图像，运行了一个暴露端口的容器，这样我就可以从主机上点击UI。我有另一个运行

mcr.microsoft.com/mssql/server

的容器，我在其中恢复了WideWorldImporters示例数据库。从Airflow UI，我已经能够成功地创建到这个db的连接，甚至可以从数据分析部分查询它。查看以下图片：

因此，当这起作用时，我的dag在第二个任务

sqlData

中失败。代码如下：

from airflow.models import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator
from airflow.operators.mssql_operator import MsSqlOperator
from datetime import timedelta, datetime

copyData = DAG(
    dag_id='copyData',
    schedule_interval='@once',
    start_date=datetime(2019,1,1)
)


printHelloBash = BashOperator(
    task_id = "print_hello_Bash",
    bash_command = 'echo "Lets copy some data"',
    dag = copyData
)

mssqlConnection = "WWI"
sqlData = MsSqlOperator(sql="select top 100 InvoiceDate, TotalDryItems from sales.invoices",
                       task_id="select_some_data",
                       mssql_conn_id=mssqlConnection,
                       database="WideWorldImporters",
                       dag = copyData,
                       depends_on_past=True
          )

queryDataSuccess = BashOperator(
    task_id = "confirm_data_queried",
    bash_command = 'echo "We queried data!"',
    dag = copyData
)

printHelloBash >> sqlData >> queryDataSuccess

最初的错误是：

*[2019-02-22 16:13:09,176] {{logging_mixin.py:95}} INFO - [2019-02-22 16:13:09,176] {{base_hook.py:83}} INFO - Using connection to: 172.17.0.3  
[2019-02-22 16:13:09,186] {{models.py:1760}} ERROR - Could not create Fernet object: Incorrect padding  
Traceback (most recent call last):  
  File "/usr/local/lib/python3.6/site-packages/airflow/models.py", line 171, in get_fernet
    _fernet = Fernet(fernet_key.encode('utf-8'))  
  File "/usr/local/lib/python3.6/site-packages/cryptography/fernet.py", line 34, in __init__
    key = base64.urlsafe_b64decode(key)  
  File "/usr/local/lib/python3.6/base64.py", line 133, in urlsafe_b64decode
    return b64decode(s)  
  File "/usr/local/lib/python3.6/base64.py", line 87, in b64decode
    return binascii.a2b_base64(s)
binascii.Error: Incorrect padding*

我注意到这与加密有关，于是我继续运行了

pip-install-cryptography

和

pip-install-afflow[crytpo]

，它们都返回了完全相同的结果，通知我已经满足了要求。最后，我找到了一些东西，上面说我只需要生成一个fernet_密钥。my airflow.cfg文件中的默认键是

fernet\u key=$fernet\u key

。因此，从我运行的容器中的cli：

python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())"

得到了一个我用$FERNET\u KEY替换的代码。我重新启动了容器并重新运行了dag，现在我的错误是：

[2019-02-22 16:22:13,641] {{models.py:1760}} ERROR -   
Traceback (most recent call last):  
  File "/usr/local/lib/python3.6/site-packages/cryptography/fernet.py", line 106, in _verify_signature
    h.verify(data[-32:])  
  File "/usr/local/lib/python3.6/site-packages/cryptography/hazmat/primitives/hmac.py", line 69, in verify
    ctx.verify(signature)  
  File "/usr/local/lib/python3.6/site-packages/cryptography/hazmat/backends/openssl/hmac.py", line 73, in verify
    raise InvalidSignature("Signature did not match digest.")  
cryptography.exceptions.InvalidSignature: Signature did not match digest.

初始加密文档扫描中的哪一项与兼容性有关

---

我现在不知所措，决定问这个问题，看看我在解决这个问题时是否可能走错了路。任何帮助都将不胜感激，因为气流看起来很棒。

多亏@Tomasz的一些沟通，我终于让我的DAG开始工作了。他建议我尝试使用docker compose，它也在puckel/docker报告中列出。我最终使用了docker-compose-LocalExecutor.yml文件，而不是芹菜Executor。有一些小故障排除和更多的配置，我不得不通过以及。首先，我使用docker commit MSSQL_container_name将包含示例数据库的现有MSSQL容器转换为图像。我这样做的唯一原因是为了节省恢复备份样本数据库的时间；您可以随时将备份复制到容器中，并在以后恢复它们（如果需要）。然后，我将新图像添加到现有的docker-compose-LocalExecutor.yml文件中，如下所示：

version: '2.1'
services:
    postgres:
        image: postgres:9.6
        environment:
            - POSTGRES_USER=airflow
            - POSTGRES_PASSWORD=airflow
            - POSTGRES_DB=airflow

    mssql:
        image: dw:latest
        ports:
            - "1433:1433"

    webserver:
        image: puckel/docker-airflow:1.10.2
        restart: always
        depends_on:
            - postgres
            - mssql
        environment:
            - LOAD_EX=n
            - EXECUTOR=Local
        #volumes:
            #- ./dags:/usr/local/airflow/dags
            # Uncomment to include custom plugins
            # - ./plugins:/usr/local/airflow/plugins
        ports:
            - "8080:8080"
        command: webserver
        healthcheck:
            test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]
            interval: 30s
            timeout: 30s
            retries: 3

---

请注意，dw是我命名的基于mssql容器的新图像。接下来，我将该文件重命名为justdocker compose.yml，以便可以轻松运行

docker compose up

（不确定是否有直接指向其他YAML文件的命令）。一切就绪并运行后，我导航到Airflow UI并配置了连接。注意：由于您使用的是docker compose，您不需要知道其他容器的IP地址，因为它们使用的是我发现的DNS服务发现。然后为了测试连接，我去了数据分析做了一个特别的查询，但是连接不在那里。这是因为puckel/docker气流图像没有安装pymssql。因此，只需进入容器

docker exec-it\u webserver\u容器bash

并安装它

pip install pymssql--user

。退出容器并使用

docker compose restart

重新启动所有服务。一分钟后，一切都开始运转了。我的连接显示在临时查询中，我可以成功选择数据。最后，我打开了我的DAG，调度程序把它捡起来，一切都成功了！经过数周的谷歌搜索后，超级放松。感谢@y2k shubham的帮助，感谢@Tomasz，在r/datascience subreddit上发布了一篇关于气流的精彩透彻的帖子后，我最初联系了他。

请记住，

Fernet Key

就是你保存在

气流
连接
对象中。由于您在生成Fernet密钥之前创建了
连接
，所以在持久化时，它们的散列方式不同；现在密钥已经更新，散列（显然）将不匹配。简单地说，只需通过UI删除并重新创建您的
连接即可。[这是我的初步诊断]实际上，仅仅编辑
连接
并填写密码字段（再次）也应该suffice@y2k-shubham没有骰子。以下是我走过的步骤。运行resetdb删除所有自定义连接。重新启动docker容器。运行initdb。运行气流调度器。从cryptography.fernet import fernet；print（fernet.generate_key（）.decode（））“”中运行“python-c”以获取代码。将代码粘贴到airflow.cfg的主机副本中。Docker将host airflow.cfg复制到同一文件的容器位置。转到气流界面并设置连接。在即席查询中测试（成功）。手动运行dag。错误：无效签名。@y2k shubham我注意到，当调度程序拾取dag（不是我的手动运行）时，它通过不同的IP地址（.02而不是.03）连接，并产生不同的错误输出（我的初始错误输出，说明填充不正确）。当您运行
python-c[…]
命令时，它使用您的本地软件包，这些软件包的版本可能与Airflow不同。首先，我要检查airflow docker内的
加密
和
airflow[crypto]
版本是否与本地版本相同。有关如何在容器内安装的详细信息，请查看此处。确保版本相同。您也可以尝试在docker中生成密钥。只需使用
docker exec-it/bin/bash
在内部运行shell，然后使用
python-c
命令。