我正在使用 Docker 部署最新版本的 Airflow,一切正常,直到我将数据库指向外部 Postgres 数据库。一旦数据库指向外部数据库,Web 服务器容器就不会启动。
该版本来自 apache/airflow:latest
日志内容如下
120秒内gunicorn master没有回复
我在这里缺少什么?
我正在尝试将 pyspark 数据帧写入 Azure Postgres Citus(超大规模)。我正在使用最新的 Postgres JDBC 驱动程序,并尝试在 Databricks Runtime 7、6、5 上编写。
df.write.format("jdbc").option("url","jdbc:postgresql://<HOST>:5432/citus?user=citus&password=<PWD>&sslmode=require" ).option("dbTable", table_name).mode(method).save()
这是运行上述命令后得到的结果
org.postgresql.util.PSQLException: SSL error: Received fatal alert: handshake_failure
我已经尝试过 URL 中的不同参数,也尝试过该选项,但到目前为止还没有运气。但是,我可以使用本地计算机连接到此实例,并使用 psycopg2 在 databricks 驱动程序/笔记本上连接到此实例。Azure Postgres Citus 和 Databricks 都位于同一区域,并且 Azure Postgres Citus 是公共的。
azure apache-spark pyspark azure-postgresql azure-databricks