我有一个 config.yaml 文件,其中包含以下我想使用 bash 脚本从配置中删除的 kafka 代理列表。
kafka.brokers:
- "node003"
- "node004"
Run Code Online (Sandbox Code Playgroud)
我目前通过使用以下命令从脚本内部调用vi来执行此操作:
vi $CONF_BENCHMARK/config.yaml -c ":%s/kafka.brokers:\(\n\s*-\s".*"\)*/kafka.brokers:/g" -c ':wq!'
Run Code Online (Sandbox Code Playgroud)
我知道sed是完成相同任务的更合适的工具,但是当我尝试将上述正则表达式转换为sed 时,它不起作用。
sed -i -e "s/kafka.brokers:\(\n\s*-\s".*"\)*/kafka.brokers:/g" $CONF_BENCHMARK/config.yaml
Run Code Online (Sandbox Code Playgroud)
我做错了什么?
我试图以JSON对象的形式发送绑定到特定observable的表单字段到我的服务器,但我在服务器端收到空的JSON字符串.我不想发送整个视图模型来完成此任务.这是我到目前为止的javascript:
$(document).ready(function(){
ko.applyBindings(new AddSubjectKo());
});
function AddSubjectKo()
{
var self=this;
self.name = ko.observable();
self.quiz = ko.observable();
self.ass = ko.observable();
self.oht = ko.observable();
self.sess = ko.observable();
self.ese = ko.observable();
self.SubjectAdded=function()
{
$.ajax({
url: "api/courses",
type: "post",
data: formToJSON(),
contentType: "application/json",
success: function(data){
alert("success");
},
error:function(jqXHR, textStatus, errorThrown) {
alert("failure");
}
});
function formToJSON() {
alert(self.name());
return JSON.stringify({
"name": self.name,
"quiz": self.quiz,
"ass": self.ass,
"oht": self.oht,
"sess": self.sess,
"ese": self.ese,
});
}
}
//$("#alert").slideDown();
}
Run Code Online (Sandbox Code Playgroud) 我刚刚从Github克隆了Spark的主存储库.我在OSX 10.9,Spark 1.4.1和Scala 2.10.4上运行它
我只是尝试使用IntelliJ Idea运行SparkPi示例程序,但得到错误:akka.actor.ActorNotFound:找不到Actor:ActorSelection [Anchor(akka.tcp:// sparkMaster @ myhost:7077 /)
我在邮件列表上查了一篇类似的帖子,但没有找到解决办法.
找到下面的完整堆栈跟踪.任何帮助将非常感激.
2015-07-28 22:16:45,888 INFO [main] spark.SparkContext (Logging.scala:logInfo(59)) - Running Spark version 1.5.0-SNAPSHOT
2015-07-28 22:16:47,125 WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:<clinit>(62)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2015-07-28 22:16:47,753 INFO [main] spark.SecurityManager (Logging.scala:logInfo(59)) - Changing view acls to: mac
2015-07-28 22:16:47,755 INFO [main] spark.SecurityManager (Logging.scala:logInfo(59)) - Changing modify acls to: mac
2015-07-28 22:16:47,756 INFO [main] spark.SecurityManager (Logging.scala:logInfo(59)) - SecurityManager: authentication disabled; …Run Code Online (Sandbox Code Playgroud) 我正在尝试通过我拥有的示例项目来学习Scala.其中有一个变量记录定义为:
val records: Iterator[Product2[K, V]]
Run Code Online (Sandbox Code Playgroud)
它以不同的方式传递.我使用以下方法探索其内容
records.foreach(println)
Run Code Online (Sandbox Code Playgroud)
但是,当我尝试再次使用此迭代器打印内容时,即使在连续的代码行中,我也没有得到任何结果.似乎迭代器被消耗了.如何防止它发生并能够探索迭代器的内容而不使其对其余代码无用?
我有一个包含一些键值对的迭代器.例如
(jen,xyz)(ken,zxy)(jen,asd)(ken,asdf)
结果应该是
(jen,2)(ken,2)
如何使用count函数(或任何其他函数)计算该特定集合的迭代器中每个键的出现次数.
编辑: 此迭代器在我的用例中表示的集合具有大量记录,可能在数百万的范围内,不需要最有效(时间复杂度较低)的方法来执行此操作.我发现默认计数方法非常快,并且可以某种方式用于产生期望结果.
我在相关节点上运行了 Zookeeper 守护进程,并尝试启动 kafka 代理,但出现以下错误:
FATAL [Kafka Server 13], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
java.lang.NumberFormatException: For input string: "2181""
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
at java.lang.Integer.parseInt(Integer.java:492)
at java.lang.Integer.parseInt(Integer.java:527)
at org.apache.zookeeper.client.ConnectStringParser.<init>(ConnectStringParser.java:72)
at org.apache.zookeeper.ZooKeeper.<init>(ZooKeeper.java:443)
at org.apache.zookeeper.ZooKeeper.<init>(ZooKeeper.java:380)
at org.I0Itec.zkclient.ZkConnection.connect(ZkConnection.java:64)
at org.I0Itec.zkclient.ZkClient.connect(ZkClient.java:876)
at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:98)
at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:84)
at kafka.server.KafkaServer.initZk(KafkaServer.scala:157)
at kafka.server.KafkaServer.startup(KafkaServer.scala:82)
at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:29)
at kafka.Kafka$.main(Kafka.scala:46)
at kafka.Kafka.main(Kafka.scala)
Run Code Online (Sandbox Code Playgroud)
我的服务器属性
broker.id=13
port=9092
host.name=node013
num.network.threads=3
num.io.threads=8
zookeeper.connect="node014:2181,node135:2181,node136:2181"
zookeeper.connection.timeout.ms=6000
Run Code Online (Sandbox Code Playgroud)
和zookeeper.properties
dataDir=/tmp/zookeeper
clientPort=2181
maxClientCnxns=0
Run Code Online (Sandbox Code Playgroud)
我已尝试但未能弄清楚为什么错误日志在端口属性中显示额外的“。知道可能导致问题的原因吗?
我有一个典型的内部集群,带有一个登录节点和多个计算节点。首先,我使用以下参数运行了一个 JVM 实例,让我的 IntelliJ 调试器连接到它。
-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005
Run Code Online (Sandbox Code Playgroud)
这个登录节点有一个可公开访问的地址,我主要是通过 ssh 来启动作业。但是,当我尝试将 IntelliJ 调试器连接到此节点上的 JVM 实例时,连接只是对其计时,并且无法连接,而我的 JVM 实例确实以挂起模式启动,等待调试器连接到它。
更新: 最初的问题似乎是我无法访问服务器上的任何其他端口,除了用于 SSH 连接的端口 22。无论如何,我能够创建一个 SOCK5 代理,将 IntelliJ 配置为使用该代理,然后成功测试连接,如下所示:
调试器控制台上的输出显示 IntelliJ 能够成功访问指定主机名上的该端口,尽管使用的是 HTTP 请求而不是 JWP 请求。
但是,当我继续将调试器连接到同一个主机:端口组合时,我无法这样做并收到以下错误:
我也试过设置,suspend=n但无济于事。
scala ×3
iterator ×2
ajax ×1
apache-kafka ×1
apache-spark ×1
bash ×1
debugging ×1
ide ×1
java ×1
javascript ×1
jquery ×1
json ×1
jvm ×1
knockout.js ×1
sed ×1
vim ×1