如何将Elasticsearch数据从一台服务器移动到另一台服务器？

我在一个具有多个索引的本地节点上运行Elasticsearch 1.1.1的服务器A. 我想将该数据复制到运行Elasticsearch 1.3.4的服务器B.

程序到目前为止

1. 在两台服务器上关闭ES
2. 将所有数据scp到新服务器上的正确数据目录.(数据似乎位于我的debian盒子上的/ var/lib/elasticsearch /)
3. 将权限和所有权更改为elasticsearch:elasticsearch
4. 启动新的ES服务器

当我使用ES头插件查看集群时,不会出现任何索引.

似乎没有加载数据.我错过了什么吗？

我已将弹性搜索服务器放在提供基本身份验证的Apache反向代理之后.

直接从浏览器向Apache进行身份验证工作正常.但是,当我使用Kibana 3访问服务器时,我收到身份验证错误.

显然,因为没有与Kibana的Ajax调用一起发送auth标头.

我将以下内容添加到Kibana供应商目录中的elastic-angular-client.js,以实现快速和脏的身份验证.但由于某种原因,它不起作用.

$http.defaults.headers.common.Authorization = 'Basic ' + Base64Encode('user:Password');

在Kibana中实施基本身份验证的最佳方法和地点是什么？

/*! elastic.js - v1.1.1 - 2013-05-24
 * https://github.com/fullscale/elastic.js
 * Copyright (c) 2013 FullScale Labs, LLC; Licensed MIT */

/*jshint browser:true */
/*global angular:true */
'use strict';

/* 
Angular.js service wrapping the elastic.js API. This module can simply
be injected into your angular controllers. 
*/
angular.module('elasticjs.service', [])
  .factory('ejsResource', ['$http', function ($http) {

  return function (config) {
    var

      // use existing ejs object if it exists
      ejs = window.ejs || …

刚刚发现Elasticsearch具有文档版本.真棒!真正做到.

但是,比较文档的不同版本并提取所有差异的正确方法是什么.是否存在可用的查询,或者我是否必须在业务逻辑中执行此操作？

有没有办法以更高效的方式使用Standford Tagger？

每次调用NLTK的包装器都会为每个分析的字符串启动一个新的java实例,这非常非常慢,特别是当使用更大的外语模型时......

http://www.nltk.org/api/nltk.tag.html#module-nltk.tag.stanford

我们计划使用Google Tensorflow构建图像分类器.

我想知道使用卷积深度神经网络训练自定义图像分类器的最小值和最佳要求是什么？

问题具体是:

• 每个班级应该至少提供多少张图片？
• 我们需要appx吗？每班提供相同数量的训练图像,或者每班的数量是不同的？
• 错误图像数据对训练数据的影响是什么？例如,500个网球鞋和50个其他鞋的图像.
• 是否有可能训练一个比最近发布的初始-v3模型更多类的分类器？让我们说:30.000.

我一整天都在寻找这个,似乎目前没有针对python的chromedriver实现提供的解决方案.

如何使用webdriver.Chrome()方法设置特定的chrome.prefs(例如profile.managed_default_content_settings.images = 2等配置文件设置)？

我已经通过webdriver.ChromeOptions()尝试了它,但没有成功.在Java中,有适当的功能可用于实现此目的.

但是Python？这就是我目前所做的......

    options = webdriver.ChromeOptions()
    options.add_argument('--allow-running-insecure-content')
    options.add_argument('--disable-web-security')
    options.add_argument('--disk-cache-dir=/var/www/cake2.2.4/app/tmp/cache/selenium-chrome-cache')
    options.add_argument('--no-referrers')
    options.add_argument('--window-size=1003,719')
    options.add_argument('--proxy-server=localhost:8118')
    options.add_argument("'chrome.prefs': {'profile.managed_default_content_settings.images': 2}")


    self.selenium = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver',chrome_options=options)

我将我的问题改为完整的卷曲娱乐脚本.这样可以更容易地重现问题(使用自定义分析器搜索失败).我正在使用最新的ES版本

删除旧数据

curl -XDELETE "http://localhost:9200/test_shingling"

使用设置创建索引

curl -XPOST "http://localhost:9200/test_shingling/" -d '{
  "settings": {
    "index": {
      "number_of_shards": 10,
      "number_of_replicas": 1
    },
    "analysis": {
      "analyzer": {
        "ShingleAnalyzer": {
          "tokenizer": "BreadcrumbPatternAnalyzer",
          "filter": [
            "standard",
            "lowercase",
            "filter_stemmer",
            "filter_shingle"
          ]
        }
      },
      "filter": {
        "filter_shingle": {
          "type": "shingle",
          "max_shingle_size": 2,
          "min_shingle_size": 2,
          "output_unigrams": false
        },
        "filter_stemmer": {
          "type": "porter_stem",
          "language": "English"
        }
      },
      "tokenizer": {
        "BreadcrumbPatternAnalyzer": {
          "type": "pattern",
          "pattern": " |\\$\\$\\$"
        }
      }
    }
  }
}'

定义映射

curl -XPOST "http://localhost:9200/test_shingling/item/_mapping" -d '{
  "item": { …

我想从视频中提取一段视频。不幸的是，我没有像这样运行 ffmpeg 的开始时间位置和持续时间：

ffmpeg -sameq -ss [start_seconds] -t [duration_seconds] -i [input_file] [outputfile]

相反，我有第一个和最后一个帧号。那么...是否可以根据帧位置使用 ffmpeg 对 mp4 视频进行切片？

当有多个涉及多个线程的芹菜工作者都查询同一个数据库时,我正在努力使我的Flask,SQLAlchemy(mysql)和Celery设置正常工作.

问题是我无法弄清楚如何以及在何处应用所需的更改,这些更改为烧瓶应用程序和每个芹菜工作者提供了一个独立的数据库对象.

根据我的理解,需要单独的会话来避免令人讨厌的数据库错误,例如阻止其他数据库查询的不完整事务.

这是我目前的项目结构

/flask_celery.py

from celery import Celery

def make_celery(app):
    celery = Celery(app.import_name, backend=app.config['CELERY_RESULT_BACKEND'],
                    broker=app.config['CELERY_BROKER_URL'])
    celery.conf.update(app.config)
    TaskBase = celery.Task
    class ContextTask(TaskBase):
        abstract = True
        def __call__(self, *args, **kwargs):
            with app.app_context():
                return TaskBase.__call__(self, *args, **kwargs)
    celery.Task = ContextTask
    return celery

/app.py

#!/usr/bin/env python

import config
from app import app

app.run(port=82,debug=True, host='0.0.0.0')
#app.run(debug=True)

应用程序/ __ init.py__

from flask import Flask
from celery import Celery
from flask_sqlalchemy import SQLAlchemy
from flask_migrate import Migrate
from flask_celery import make_celery

app = Flask(__name__)
app.config.from_object('config')
app.secret_key …

我正在尝试将 Pandas 数据框插入 Clickhouse。

这是我的代码

import pandas
import sqlalchemy as sa

uri = 'clickhouse://default:@localhost/default'
ch_db = sa.create_engine(uri)

pdf = pandas.DataFrame.from_records([
    {'year': 1994, 'first_name': 'Vova'},
    {'year': 1995, 'first_name': 'Anja'},
    {'year': 1996, 'first_name': 'Vasja'},
    {'year': 1997, 'first_name': 'Petja'},
])

pdf.to_sql('test_humans', ch_db, if_exists='append', index=False)

这就是我收到的错误。这是否与缺少有关引擎的额外参数有关？我怎样才能解决这个问题？

异常：代码：62，e.displayText() = DB::Exception：语法错误：在位置 65 处失败（第 7 行，第 2 列）：FORMAT TabSeparatedWithNamesAndTypes。预期之一：引擎，存储定义（版本 19.15.2.2（官方版本））

记录

信息：sqlalchemy.engine.base.Engine：存在表 test_ humans 信息：sqlalchemy.engine.base.Engine：{} 信息：sqlalchemy.engine.base.Engine：创建表 test_ humans （名字 TEXT，年份 BIGINT ）

信息：sqlalchemy.engine.base.Engine：{} 信息：sqlalchemy.engine.base.Engine：ROLLBACK