我在使用 Spark 通过自定义 JDBC 读取数据时遇到问题。我将如何覆盖通过 jdbc url 推断的 sql 方言?
有问题的数据库是 vitess ( https://github.com/youtube/vitess ),它运行一个 mysql 变体,所以我想指定一个 mysql 方言。jdbc url 以 jdbc:vitess/ 开头
否则 DataFrameReader 会推断默认方言使用 """ 作为引用标识符。因此,通过 spark.read.jdbc 的查询被发送为
从表中选择“id”、“col2”、“col3”、“etc”
它选择字符串表示而不是列值而不是
从表中选择 id、col2、col3 等
您是否知道是否可以将本地文件夹安装到Kubernetes运行容器中。
就像docker run -it -v .:/dev some-image bash我在本地计算机上执行此操作,然后从VS Code远程调试到容器中一样。
更新:这可能是一个解决方案:telepresence
链接:https : //kubernetes.io/docs/tasks/debug-application-cluster/local-debugging/
您是否知道可以将本地计算机安装到Kubernetes。此容器应有权访问Cassandra IP地址。
你知道有可能吗?
我们的团队开始实施事件驱动设计。我们现在正在确定记录这些事件的模式的最佳工具和实践是什么。
用于此用例的常用工具有哪些?
任何链接或建议表示赞赏。
I am very confused about why my pods are staying in pending status.
Vitess seems have problem scheduling the vttablet pod on nodes. I built a 2-worker-node Kubernetes cluster (nodes A & B), and started vttablets on the cluster, but only two vttablets start normally, the other three is stay in pending state.
When I allow the master node to schedule pods, then the three pending vttablets all start on the master (first error, then running normally), and I create …
kubernetes ×2
vitess ×2
apache-spark ×1
cloudevents ×1
event-driven ×1
jdbc ×1
rook-storage ×1