小编lea*_*man的帖子

我是 Apache Kafka 的新手，正在探索 SimpleConsumer 以读取来自主题的消息。

我使用下面的一段代码来做同样的事情，

FetchRequestBuilder builder = new FetchRequestBuilder();
FetchRequest fetchRequest = builder.addFetch(topic, partitionId, offset, 1024).build();
FetchResponse fetchResponse;
try {
     fetchResponse = consumer.fetch(fetchRequest);
 } catch (Exception e) {}

这会读取特定分区中的所有可用消息；我想设置要读取的最大消息数。在这个阶段有没有办法做到这一点？当队列中有大量消息时，我不希望所有消息都登陆 JVM 堆。

另一个问题，

以下代码返回一个 ByteBufferMessageSet。

fetchResponse.messageSet(topic, partitionId);

这是否意味着，并非所有可用消息实际上都在内存中？

据我了解，BigChainDB 是一个基本级别的分布式数据库。它声称解决了区块链世界中的可扩展性问题。我不明白的是它如何适应整个区块链架构。

1. 在典型的区块链世界中，每个节点都拥有数据的完整副本并验证任何新交易？数据分布时，BigChain DB 是如何工作的？每个节点只验证它持有的块？即使是这样，它也需要整个链条？不清楚这里的处理可扩展性。

2. 我可以只用 BigChainDB 构建一个区块链网络，还是我需要像 Ethereum 或 Hyperledger 这样的东西来构建区块链网络本身？

3. 如果我可以用 BigChainDB 构建区块链网络，那么 BigChainDB 中智能合约的等价物是什么？

我在集群模式下部署了一个 Spark 作业，如下所示

驱动程序核心 - 1
Executor cores - 2 执行程序
数量 - 2。

我的理解是这个应用程序应该占据集群中的 5 个核心（4 个执行程序核心和 1 个驱动程序核心），但我没有在 RM 和 Spark UI 中观察到这一点。

1. 在资源管理器 UI 上，我只看到用于此应用程序的 4 个内核。
2. 即使在 Spark UI 中（单击来自 RM 的 ApplicationMaster URL），在 executors 选项卡下，驱动程序内核也显示为零。

我错过了什么吗？

集群管理器是 YARN。

当从 snowsql shell 运行查询时，我可以在 UI 上看到生成的查询 ID。稍后，如果我必须在历史记录中搜索相同的内容，我想搜索我可以定义的查询 ID 或以某种方式标记查询。

运行查询时是否可以创建自己的查询 ID 或标签？

我在尝试使用类型为 ExternalName 和入口控制器将流量重定向到外部服务时遇到问题。

我收到以下错误，我可以从主机访问该主机，但不能从 K8S 访问。此外，IP 10.96.0.10 与 kube-dns 服务相关联。

解析主机“internaldnsname.com”时出错：在 10.96.0.10:53 上查找 internaldnsname.com：没有这样的主机

我错过了什么？

入口规则

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: external-ingress
  annotations:
    kubernetes.io/ingress.class: “nginx”
    nginx.ingress.kubernetes.io/ingress.class: “nginx”
    nginx.ingress.kubernetes.io/preserve-host: “false”
spec:
  rules:
  - host:
    http:
      paths:
      - backend:
          serviceName: external-service
          servicePort: 80
        path: /

服务定义

apiVersion: v1
kind: Service
metadata:
  name: external-service
spec:
  type: ExternalName
  externalName: internaldnsname.com