假设我的ElasticSearch中有电影数据,我就像这样创建它们:
curl -XPUT "http://192.168.0.2:9200/movies/movie/1" -d'
{
"title": "The Godfather",
"director": "Francis Ford Coppola",
"year": 1972
}'
Run Code Online (Sandbox Code Playgroud)
我有一堆不同年代的电影.我想所有的电影从某个特定年份(因此,1972年),复制并拷贝到"70sMovies"的新指标,但我看不出如何做到这一点.
我正在将我的应用程序移动到Docker,我不知道如何处理证书/密钥的管理.在一个主机中,我有两个Docker容器必须通过TLS监听/通信到许多客户机.在docker之前,我有一个服务器密钥和自签名证书,我的客户端使用自签名证书与服务器应用程序进行通信.
但现在他们是分离的码头集装箱,什么是正确的方法?我是否将certs/key推送到容器中的目录?如果是这样,那么我的dockerfile需要复制证书/密钥,我不希望密钥成为签入图像的一部分.(安全)
或者,我是否使用VOLUME并在主机上持有密钥/证书?我试过了,但是容器root用户看不到私钥,该私钥只读取主机root用户.
什么是正确的方法呢?谢谢
我正在构建将使用pyspark(和elasticsearch-hadoop连接器)的独立python程序.我也沉迷于Python调试器(PDB),并希望能够逐步完成我的代码.
看起来我不能像平常一样用PDB运行pyspark
./pyspark -m pdb testCode.py
Run Code Online (Sandbox Code Playgroud)
我收到错误"pyspark不支持任何应用程序选项"
是否可以从标准的python解释器运行pyspark代码?还是我需要放弃pdb?
我还在网上看到我需要在我的PYTHONPATH中包含py4j-0.9-src.zip.当我这样做时,我可以使用python解释器并逐步执行我的代码,但是当它运行任何pyspark代码时,我收到错误"Py4JavaError:Py4JJava ... t id = o18)".这个错误似乎表明我并没有真正与火花相互作用.
我该如何处理?
在Logstash中,当处理特定时间的日志时,我希望Logstash对Web服务器执行HTTP POST,发送JSON.但是,它给了我错误,不会启动logstsh.我假设它不喜欢'围绕作为消息一部分的JSON数据'.FOOIP是一个变量,其中包含在日志中找到的IP地址.任何帮助都会很棒
Logstash配置文件....
output{
if [type]=="FOO"{
http {
format=>"json"
http_method=>"post"
url=>"http://192.168.1.10/bar"
message=>"{'target':{'IPAddress':'"%{FOOIP}"},'commandName':'Test'}"
}
}
Run Code Online (Sandbox Code Playgroud) 我有 logstash 以 Json 格式摄取日志,该日志具有包含 JSON 的特定字段。由于该值被引用,Logstash 将该特定字段与 JSON 视为字符串。我希望 Logstash 也将该字段的内容视为 JSON,但无法弄清楚如何去除引号。
这是日志:{"Time":"2014-06-16","Hostname":"FOOname","Event":"Warning","CustomField":"{"Title":"这是处理的数据作为字符串","User":"FooUser"}"}
“CustomField”值周围的引号导致了问题。
谢谢
除了这种方式之外,是否有更多python友好的方式从文件中读取100行:
f=open(varFilename,"r")
count=0
for fileLine in f:
print fileLine
count+=1
if count>100:
break
Run Code Online (Sandbox Code Playgroud)
我只是觉得有一个比计数增量更好的方法,然后尝试在循环内部打破.