小编Kev*_*Dev的帖子

从bash脚本启动时,Logstash关闭停止

我写了一个bash脚本,它在指定的文件夹中找到CSV文件,并使用正确的配置文件将它们管道到logstash中.但是,当运行此脚本时,我遇到以下错误,表示关闭进程已停止,导致无限循环,直到我用ctrl+ 手动停止它c:

[2018-03-22T08:59:53,833][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"6.2.3"}
[2018-03-22T08:59:54,211][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
[2018-03-22T08:59:57,970][INFO ][logstash.pipeline        ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}
[2018-03-22T08:59:58,116][INFO ][logstash.pipeline        ] Pipeline started succesfully {:pipeline_id=>"main", :thread=>"#<Thread:0xf6851b3 run>"}
[2018-03-22T08:59:58,246][INFO ][logstash.agent           ] Pipelines running {:count=>1, :pipelines=>["main"]}
[2018-03-22T08:59:58,976][INFO ][logstash.outputs.file    ] Opening file {:path=>"/home/kevin/otrs_customer_user"}
[2018-03-22T09:00:06,471][WARN ][logstash.shutdownwatcher ] {"inflight_count"=>0, "stalling_thread_info"=>{["LogStash::Filters::CSV", {"separator"=>";", "columns"=>["IOT", "OID", "SUM", "XID", "change_by", "change_time", "city", "company", "company2", "create_by", "create_time", "customer_id", "email", "fax", "first_name", "id", "inst_city", "inst_first_name", "inst_last_name", "inst_street", "inst_zip", "last_name", …
Run Code Online (Sandbox Code Playgroud)

linux bash elasticsearch logstash

5
推荐指数
1
解决办法
2284
查看次数

DynamoDB 分页 - 最后评估的键在最后一页不为空

我正在尝试使用 Java SDK 在 DynamoDB 中实现分页。

我有一个简单的数据模型,一个HashKeyid 和一个日期为RangeKey. 我想查询给定日期之后的所有日期。到目前为止,这有效,但问题是使用最后一个评估键的分页部分。

查询最后一页时,lastEvaluatedKey不为空,仍指向查询的最后一页的最后一项。使用此键设置的另一个查询èxclusiveStartKey则返回 0 结果,带有null lastEvaluatedKey.

我的代码如下所示:

var query = new DynamoDBQueryExpression<DynamoModel>();
var keyCondition = ImmutableMap.<String, AttributeValue>builder()
        .put(":v_userid", new AttributeValue().withS(userId))
        .put(":v_date", new AttributeValue().withS(date.toString()))
        .build();

if (!StringUtils.isEmpty(lastKey)) {
    query.setExclusiveStartKey(ImmutableMap.<String, AttributeValue>builder()
            .put("userId", new AttributeValue().withS(userId))
            .put("date", new AttributeValue().withS(lastKey)).build());
}

query.withKeyConditionExpression("userId = :v_userid AND date >= :v_date");
query.withExpressionAttributeValues(keyCondition);
query.setLimit(2);

QueryResultPage<DynamoModel> resultPage = mapper.queryPage(DynamoModel.class, query);
Run Code Online (Sandbox Code Playgroud)

有人知道为什么lastEvaluatedKey在到达与 匹配的最后一个项目时 不为空KeyCondition吗?当我只保存符合条件的项目时,LastEvaluatedKey正如预期的那样为空。

java amazon-dynamodb aws-sdk

5
推荐指数
1
解决办法
6448
查看次数

Python - 将dict列表附加到嵌套的defaultdict时的键错误

我正在尝试在Python中创建嵌套字典的数据结构.我将2个类似sql-table的关系csv文件读入数据帧,然后逐行将它们转换为字典.在这些词典中,我存储了我从另一个csv创建的词典.

只要我将字典直接存储在dict键中,我的代码就可以正常工作.

但我真正想要的是data[id]['ticket']包含一个字典列表.(1位客户可以拥有多张门票)

import json
import pandas as pd
import collections

# Import csv into dataframe (maybe not necessesary)
df1 = pd.read_csv('customer.csv', sep=';', header=0, dtype=object, na_filter=False)
df2 = pd.read_csv('tickets.csv', sep=';', header=0, dtype=object, na_filter=False)

df1['tickets'] = '' #create new empty column in dataframe 1

data = collections.defaultdict(dict)

# Convert initial dataframe to dictionary of dictionarys
for index, row in df1.iterrows():
    row_dict = row.to_dict()
    data[row_dict['id']] = row_dict
    data[row_dict['id']]['tickets'] = []

# Convert each row of dataframe 2 to into dictionary …
Run Code Online (Sandbox Code Playgroud)

python json dictionary pandas defaultdict

3
推荐指数
1
解决办法
551
查看次数

从(RSA)公钥手动创建JWK

我需要将RSA公钥转换为有效的JWK。特别是JWK的值“ n”和“ e”是我正在努力解决的值。在https://tools.ietf.org/html/rfc7517#page-25上查看示例JWK时,编码似乎不正确。

目前,我的代码基本上如下所示:

private Map<String, Object> generateJWK(PublicKey publicKey){

    RSAPublicKey rsa = (RSAPublicKey) publicKey;

    Map<String, Object> values = new HashMap<>();

    values.put("kty", rsa.getAlgorithm()); // getAlgorithm() returns kty not algorithm
    values.put("kid", "someuniqueid");
    values.put("n", Base64.encode(rsa.getModulus().toString()));
    values.put("e", Base64.encode(rsa.getPublicExponent().toString()));
    values.put("alg", "RS256");
    values.put("use", "sig");

    return values;
}
Run Code Online (Sandbox Code Playgroud)

但是,输出似乎未正确编码或e类似以下内容:NjU1Mzc=

n不包括特殊字符,如-_+。:

jMzk1MNT0xTk2NED1xzzgNyQ00IykADzMAM0c0wz0M0MONj2z5TgNzI3yAM0OONYzzMjzwNzDxgAzxDxzMMAjTwNNDYMINMgNQDOEAkIM2jMQzkjUTDUYONNg1A00Tw1Nx4YEzAzjUT1MTNMjDjMM1MNNAjyTMIzxNADDINQANwT5yTDEMjEzNz2z2gOgjDDDNyNDjTzz43ETOYMI35gDjE00MYYM2DzDjDgww53Mwz0ME1NMgOM3MIzYTzMwzOMIQU5MjOzUjMNQNNg50U5NIDNzw2DMMOggNcQQM21TI5NMzDTN5Mj123O33MNNMkyNTNONxMM5wMMc04jTgAUE3MM1zMg4NNMT4MNDMM5yTO2j4jNDEMy1yNANNAzOIEUDzNwzExwTIkNjUjkN54Uz0DT5x0zM51k2MxYkx0zMNzxMkDUDTTQN3gAYODATQDDwMDMjMMcONjxMNTYMT5kgxNkMjNMQU0jzMEwIIMzTzUD4MgYDkDNzcAzN0TN4yNTz11DMxDUjDM2MyDMy4DEINMwT22QxjNNEzNDATy1OM1NNDxYgz5TxDkj3gQ32kIwNNkDO3xczDAENcTMNO0MOjTDwE3g11wNUcgNTwQk30kjjNNzTz4jTj4OOjQNYzMzcMjTQMkyzNNNUQOTOMMkMMMNzwNxDOEkg4xADIT4DNxMz2TENT4yN4z2I2zjyMU3DTOEQN4MIQjNDMU5Y11QkccwMNI0kNzyNjMMN4NMTTNMzMwxMjjDzgAANO1zwjYIEUjM1ADgDNjxTITMNNkIYxzyzzEEDMzDzNjzM4NjNNjc3ITTD0T5jzN=
Run Code Online (Sandbox Code Playgroud)

我是否正确假设值n和e均未正确编码?我应该如何将PublicKey转换为JWK?(不能使用第三方库)

java rsa public-key jwk

3
推荐指数
1
解决办法
1875
查看次数