小编Haz*_*hak的帖子

在 Vagrant VM 上禁用互联网(外部访问)

我正在尝试在 Vagrant 的帮助下使用本地计算机模拟生产环境。该虚拟机不应该有任何互联网访问权限。

尝试取消 VirtualBox 设置上的“电缆连接”,但我无法通过 SSH 连接到虚拟机,这达不到目的。

流浪文件

config.vm.define "second" do |second|
  second.vm.box = "centos/7"
  second.vm.box_check_update = false
  second.vm.hostname = 'second'

  second.vm.network :private_network, ip: "111.111.11.111"

  second.vm.provider :virtualbox do |v|
    v.name = "second"
  end

  second.vm.synced_folder "/devdir", "/vagrant_data"
end
Run Code Online (Sandbox Code Playgroud)

确认

curl www.google.com  ## This should return error/ cannot found?
Run Code Online (Sandbox Code Playgroud)

预先感谢各位!

networking virtual-machine vagrant

7
推荐指数
1
解决办法
1281
查看次数

如何使用 Spark Structured Streaming 将数据从 Kafka 主题流式传输到 Delta 表

我正在尝试了解数据块增量并考虑使用 Kafka 进行 POC。基本上计划是使用来自 Kafka 的数据并将其插入到 databricks delta 表中。

这些是我所做的步骤:

  1. 在数据块上创建增量表。
%sql
CREATE TABLE hazriq_delta_trial2 (
  value STRING
)
USING delta
LOCATION '/delta/hazriq_delta_trial2'
Run Code Online (Sandbox Code Playgroud)
  1. 消费来自 Kafka 的数据。
%sql
CREATE TABLE hazriq_delta_trial2 (
  value STRING
)
USING delta
LOCATION '/delta/hazriq_delta_trial2'
Run Code Online (Sandbox Code Playgroud)

但是,当我查询表时,它是空的。

我可以确认数据来了。当我向 Kafka 主题生成消息时,我通过查看图中的尖峰来验证它。

传入数据

我错过了什么吗?

我需要关于如何将从 Kafka 获得的数据插入到表中的帮助。

scala apache-kafka apache-spark spark-structured-streaming delta-lake

5
推荐指数
1
解决办法
1932
查看次数

如何使用 Python 客户端正确验证 Kusto?

我正在尝试测试我的节点和 Azure 数据资源管理器 (ADX/ Kusto) 之间的连接。我正在考虑使用 python 脚本在 Kusto 上创建一个表。

请注意,我对这些都不是很熟悉,因此下面是详细步骤。

我正在关注Microsoft 文档上的此快速入门指南

生成应用程序 ID 和密钥

使用应用注册服务:

  1. 创建新注册(命名为 kusto 测试): 在此处输入图片说明

  2. 创建客户端机密: 在此处输入图片说明

创建 Kusto 数据库

在集群中,从 UI 创建一个数据库(称为 kusto-test)

在此处输入图片说明

授权

在 ADX 集群上 > 访问控制 (IAM) > 添加角色分配。 在此处输入图片说明

Python脚本

from azure.kusto.data.request import KustoClient, KustoConnectionStringBuilder
from azure.kusto.data.exceptions import KustoServiceError
from azure.kusto.data.helpers import dataframe_from_result_table

KUSTO_DATABASE = "kusto-test"
CLUSTER = "https://mynode.myregion.kusto.windows.net"

CLIENT_ID = "KUSTO_TEST_APP_ID" # From image above
CLIENT_SECRET = "KUSTO_TEST_PASS" # From image above

AUTHORITY_ID = "<insert here your tenant id>" …
Run Code Online (Sandbox Code Playgroud)

python azure azure-data-explorer

2
推荐指数
1
解决办法
1822
查看次数