听起来有点愚蠢,但我的toString()
方法需要帮助,这非常令人讨厌.我尝试在网上查找,因为toString
它正在搞砸,"没有找到Kid构造函数#2",即使它在那里,我甚至会做别的事情,但它不起作用.好的,这就是我的代码:
import java.util.*;
class Kid {
String name;
double height;
GregorianCalendar bDay;
public Kid () {
this.name = "HEAD";
this.height = 1;
this.bDay = new GregorianCalendar(1111,1,1);
}
public Kid (String n, double h, String date) {
// method that toString() can't find somehow
StringTokenizer st = new StringTokenizer(date, "/", true);
n = this.name;
h = this.height;
}
public String toString() {
return Kid(this.name, this.height, this.bDay);
}
} //end class
Run Code Online (Sandbox Code Playgroud)
好吧所以我上面的toString(我知道,我的第三个参数是关闭的,应该是一个字符串)是关闭的.如果我硬编码第三件事的价值它会变得混乱,并说它找不到这个(上面).那么我怎样才能获得日期并将其分解?
调用此类的课程如下
class Driver {
public static …
Run Code Online (Sandbox Code Playgroud) 如何在python中将数字向上舍入到第二个小数位?例如:
0.022499999999999999
应该最高可达0.03
0.1111111111111000
应该最高可达0.12
如果在小数点后三位有任何值,我希望它总是向上舍入,留下小数点后面的2个值.
我正试图找出目前的高级消费者正在努力解决的问题.我使用Kafka 0.8.2.1,在Kafka的server.properties中没有设置"offset.storage" - 我认为这意味着偏移量存储在Kafka中.(I也证实没有偏移量存储在动物园管理员通过检查ZK壳此路径:/consumers/consumer_group_name/offsets/topic_name/partition_number
)
我试着听听这个__consumer_offsets
话题,看看哪个消费者保存了什么价值的抵消,但它没有用......
我尝试了以下方法:
为控制台使用者创建了一个配置文件如下:
=> more kafka_offset_consumer.config
exclude.internal.topics=false
Run Code Online (Sandbox Code Playgroud)
并尝试了两个版本的控制台消费者脚本:
#1:
bin/kafka-console-consumer.sh --consumer.config kafka_offset_consumer.config --topic __consumer_offsets --zookeeper localhost:2181
#2
./bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 0 --broker-list localhost:9092 --formatter "kafka.server.OffsetManager\$OffsetsMessageFormatter" --consumer.config kafka_offset_consumer.config
Run Code Online (Sandbox Code Playgroud)
两者都没有奏效 - 它只是坐在那里但不打印任何东西,即使消费者正在积极消费/节省抵消.
我错过了一些其他配置/属性吗?
谢谢!
码头
到目前为止,我没有看到一个python客户端显式实现主题的创建,而不使用配置选项自动创建主题.
我刚刚下载了Hortonworks沙盒VM,里面有Hadoop版本2.7.1.我通过使用添加一些文件
hadoop fs -put /hw1/* /hw1
Run Code Online (Sandbox Code Playgroud)
...命令.之后我将删除添加的文件
hadoop fs -rm /hw1/*
Run Code Online (Sandbox Code Playgroud)
...命令,并在清理回收站后,通过
hadoop fs -expunge
Run Code Online (Sandbox Code Playgroud)
...命令.但是在重新清洗后,DFS剩余空间没有改变.即使我可以看到数据真的从/ hw1 /和recyle bin中删除了.我有fs.trash.interval parameter = 1
.
实际上我可以在/hadoop/hdfs/data/current/BP-2048114545-10.0.2.15-1445949559569/current/finalized/subdir0/subdir2
文件夹中找到所有我的数据分块,这真的让我感到惊讶,因为我希望它们被删除.
那么我的问题是如何以真正删除的方式删除数据?经过几次添加和删除后,我的空闲空间耗尽了.
我创建了一个将文件从一个文件夹移动到另一个文件夹的脚本。但由于原始文件夹是下载文件夹,我需要它始终在后台运行。
我还有一个标准的批处理文件,看起来像这样:
@py C:\\Python\Scripts\moveDLs.py %*
Run Code Online (Sandbox Code Playgroud)
我正在使用Windows 10。我找到了有关如何nohup
在批处理文件中使用的 Linux 和操作系统信息。有 Windows 版本吗?
如果有需要每次重新启动或打开PC时都执行脚本吗?
另外,当您设法使其永久化时,您如何终止该过程?
非常感谢
我正在尝试在 BULK 模式下使用具有以下属性的 Kafka Connect JDBC Source Connector。
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
timestamp.column.name=timestamp
connection.password=XXXXX
validate.non.null=false
tasks.max=1
producer.buffer.memory=2097152
batch.size=1000
producer.enable.idempotence=true
offset.flush.timeout.ms=300000
table.types=TABLE,VIEW
table.whitelist=materials
offset.flush.interval.ms=5000
mode=bulk
topic.prefix=mysql-
connection.user=kafka_connect_user
poll.interval.ms=200000
connection.url=jdbc:mysql://<DBNAME>
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter=org.apache.kafka.connect.storage.StringConverter
Run Code Online (Sandbox Code Playgroud)
我收到有关提交偏移量的以下错误,更改各种参数似乎影响不大。
[2019-04-04 12:42:14,886] INFO WorkerSourceTask{id=SapMaterialsConnector-0} flushing 4064 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2019-04-04 12:42:19,886] ERROR WorkerSourceTask{id=SapMaterialsConnector-0} Failed to flush, timed out while waiting for producer to flush outstanding 712 messages (org.apache.kafka.connect.runtime.WorkerSourceTask)
Run Code Online (Sandbox Code Playgroud) 我在Kafka上创建了一个包含4个分区的主题.(设置默认number.partition = 4)现在我想将此主题的数字分区更改为3.我只是尝试
number.partition=4
但没有变化.它仍然有4个分区.有人知道吗?
假设我有许多具有相同前缀的主题,例如:
giorgos-topic1
giorgos-topic2
giorgos-topic3
...
Run Code Online (Sandbox Code Playgroud)
用于删除单个主题的命令(例如giorgos-topic1
)如下:
./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic giorgos-topic1
Run Code Online (Sandbox Code Playgroud)
是否可以使用单个命令删除多个列,并且可能使用正则表达式/通配符(例如giorgos-*
),而不是逐个键入需要删除的所有列?
假设我有一个大约有 10 个分区的 kafka 主题,我知道每个消费者组应该有 10 个消费者在任何给定时间从该主题中读取数据,以实现最大并行度。
然而,我想知道对于一个主题在任何给定时间点可以处理的消费者组的数量是否也有任何直接的规则。(最近在一次采访中我被问到了这个问题)。据我所知,这取决于代理的配置,以便它在任何给定时间点可以处理多少个连接。
但是,只是想知道在给定时间点可以扩展多少个最大消费者组(每个消费者组有 10 个消费者)?
apache-kafka ×6
python ×3
hadoop ×1
hdfs ×1
java ×1
kafka-python ×1
kafka-topic ×1
nohup ×1
rounding ×1