小编cyb*_*oof的帖子

如何将一些ElasticSearch数据复制到新索引

假设我的ElasticSearch中有电影数据,我就像这样创建它们:

curl -XPUT "http://192.168.0.2:9200/movies/movie/1" -d'
{
    "title": "The Godfather",
    "director": "Francis Ford Coppola",
    "year": 1972
}'
Run Code Online (Sandbox Code Playgroud)

我有一堆不同年代的电影.我想所有的电影从某个特定年份(因此,1972年),复制并拷贝到"70sMovies"的新指标,但我看不出如何做到这一点.

elasticsearch

48
推荐指数
4
解决办法
7万
查看次数

管理必须与TLS对话的Docker容器的证书/密钥的最佳方法是什么?

我正在将我的应用程序移动到Docker,我不知道如何处理证书/密钥的管理.在一个主机中,我有两个Docker容器必须通过TLS监听/通信到许多客户机.在docker之前,我有一个服务器密钥和自签名证书,我的客户端使用自签名证书与服务器应用程序进行通信.

但现在他们是分离的码头集装箱,什么是正确的方法?我是否将certs/key推送到容器中的目录?如果是这样,那么我的dockerfile需要复制证书/密钥,我不希望密钥成为签入图像的一部分.(安全)

或者,我是否使用VOLUME并在主机上持有密钥/证书?我试过了,但是容器root用户看不到私钥,该私钥只读取主机root用户.

什么是正确的方法呢?谢谢

ssl docker

6
推荐指数
2
解决办法
4667
查看次数

PySpark和PDB似乎没有混合

我正在构建将使用pyspark(和elasticsearch-hadoop连接器)的独立python程序.我也沉迷于Python调试器(PDB),并希望能够逐步完成我的代码.

看起来我不能像平常一样用PDB运行pyspark

./pyspark -m pdb testCode.py
Run Code Online (Sandbox Code Playgroud)

我收到错误"pyspark不支持任何应用程序选项"

是否可以从标准的python解释器运行pyspark代码?还是我需要放弃pdb?

我还在网上看到我需要在我的PYTHONPATH中包含py4j-0.9-src.zip.当我这样做时,我可以使用python解释器并逐步执行我的代码,但是当它运行任何pyspark代码时,我收到错误"Py4JavaError:Py4JJava ... t id = o18)".这个错误似乎表明我并没有真正与火花相互作用.

我该如何处理?

pyspark

6
推荐指数
0
解决办法
659
查看次数

带有JSON的Logstash中的HTTP输出

在Logstash中,当处理特定时间的日志时,我希望Logstash对Web服务器执行HTTP POST,发送JSON.但是,它给了我错误,不会启动logstsh.我假设它不喜欢'围绕作为消息一部分的JSON数据'.FOOIP是一个变量,其中包含在日志中找到的IP地址.任何帮助都会很棒

Logstash配置文件....

output{
    if [type]=="FOO"{
       http {
       format=>"json"
       http_method=>"post"
       url=>"http://192.168.1.10/bar"
       message=>"{'target':{'IPAddress':'"%{FOOIP}"},'commandName':'Test'}"
    }
}
Run Code Online (Sandbox Code Playgroud)

logstash

4
推荐指数
1
解决办法
9597
查看次数

需要在 LogStash 中将字符串转换为 JSON

我有 logstash 以 Json 格式摄取日志,该日志具有包含 JSON 的特定字段。由于该值被引用,Logstash 将该特定字段与 JSON 视为字符串。我希望 Logstash 也将该字段的内容视为 JSON,但无法弄清楚如何去除引号。

这是日志:{"Time":"2014-06-16","Hostname":"FOOname","Event":"Warning","CustomField":"{"Title":"这是处理的数据作为字符串","User":"FooUser"}"}

“CustomField”值周围的引号导致了问题。

谢谢

json elasticsearch logstash

3
推荐指数
1
解决办法
8613
查看次数

如何在python中更好地读取文件的行

除了这种方式之外,是否有更多python友好的方式从文件中读取100行:

  f=open(varFilename,"r")
  count=0
  for fileLine in f:
      print fileLine
      count+=1
      if count>100:
          break
Run Code Online (Sandbox Code Playgroud)

我只是觉得有一个比计数增量更好的方法,然后尝试在循环内部打破.

python file

0
推荐指数
2
解决办法
241
查看次数

标签 统计

elasticsearch ×2

logstash ×2

docker ×1

file ×1

json ×1

pyspark ×1

python ×1

ssl ×1