小编Lio*_*erg的帖子

aws lambda 函数使用主机文件

我在 node.js 中使用 AWS Lambda 函数。有没有办法配置 lambda 函数以使用主机记录?

例如:

{domain:'www.example.com',ip:'190.10.20.30'}
Run Code Online (Sandbox Code Playgroud)

node.js aws-lambda

7
推荐指数
0
解决办法
1824
查看次数

apache flink - 错误处理的正确方法

我想知道 Flink 中是否有内置错误处理的选项。可能有2种情况:

  1. 来自 Kafka 的当前消息(在我的情况下)无效,继续下一个

  2. 未捕获的异常 - 从我所见,它可以完全停止流聚合。

我可以处理这两种情况吗?(Java代码)

apache-flink

6
推荐指数
1
解决办法
2230
查看次数

neo4j 在从 csv 导入期间指定数据类型

有没有办法在导入时告诉neo4j值的类型?例如,neo4j 是否知道“2015-0104T10:33:44”是日期还是字符串?

谢谢!

types neo4j cypher load-csv

5
推荐指数
1
解决办法
4156
查看次数

密码加载CSV渴望且动作持续时间长

即时通讯加载的文件有85K行-19M,服务器具有2个内核,14GB RAM,运行centos 7.1和oracle JDK 8,并且使用以下服务器配置可能需要5-10分钟

dbms.pagecache.memory=8g                  
cypher_parser_version=2.0  
wrapper.java.initmemory=4096  
wrapper.java.maxmemory=4096
Run Code Online (Sandbox Code Playgroud)

安装在/ etc / fstab中的磁盘:

UUID=fc21456b-afab-4ff0-9ead-fdb31c14151a /mnt/neodata            
ext4    defaults,noatime,barrier=0      1  2
Run Code Online (Sandbox Code Playgroud)

将此添加到/etc/security/limits.conf中:

*                soft      memlock         unlimited
*                hard      memlock         unlimited
*                soft      nofile          40000
*                hard      nofile          40000
Run Code Online (Sandbox Code Playgroud)

将此添加到/etc/pam.d/su

session         required        pam_limits.so
Run Code Online (Sandbox Code Playgroud)

将此添加到/etc/sysctl.conf中:

vm.dirty_background_ratio = 50
vm.dirty_ratio = 80
Run Code Online (Sandbox Code Playgroud)

通过运行以下命令禁用日志:

 sudo e2fsck /dev/sdc1
 sudo tune2fs /dev/sdc1
 sudo tune2fs -o journal_data_writeback /dev/sdc1
 sudo tune2fs -O ^has_journal /dev/sdc1
 sudo e2fsck -f /dev/sdc1
 sudo dumpe2fs /dev/sdc1
Run Code Online (Sandbox Code Playgroud)

除此之外,在运行探查器时,我会遇到很多“渴望者”,而我真的不明白为什么:

 PROFILE LOAD CSV WITH HEADERS FROM …
Run Code Online (Sandbox Code Playgroud)

neo4j cypher

5
推荐指数
1
解决办法
656
查看次数

neo4j cypher匹配命令连接

这两个Chypher声明是否相同:

//first
match (a)-[r]->(b),b-[r2]->c

//second
match (a)-[r]->(b)
match b-[r2]->c
Run Code Online (Sandbox Code Playgroud)

neo4j cypher

3
推荐指数
1
解决办法
637
查看次数

lambda 函数偶尔会出现连接超时

我不知道为什么,但有时 - 每 20 次 lambda 调用中,我会收到一个错误:

Connection timed out after 120000ms
Run Code Online (Sandbox Code Playgroud)

调用是从 ECS 容器完成的,所有(调用者和 lambda)都是用 node.js 编写的。

我应该检查什么?

在此输入图像描述

aws-lambda

3
推荐指数
1
解决办法
3432
查看次数

Neo4j分区

是一种在neo4j分区之间进行物理分离的方法吗?意味着以下查询将转到node1:

Match (a:User:Facebook)
Run Code Online (Sandbox Code Playgroud)

此查询将转到另一个节点(可能托管在docker上)

Match (b:User:Google)
Run Code Online (Sandbox Code Playgroud)

情况就是这样:我想在neo4j下存储几个客户的数据,希望很多.现在,我不确定什么是最好的设计,但它必须满足几个条件:

  1. 不应该从密码查询返回混合数据(很难确定,没有开发人员会在密码查询中忘记":Partition1"(例如))
  2. 1客户端的性能不应该影响另一个客户端,例如,如果一个客户端有大量数据,另一个客户端有少量数据,或者如果一个客户端的"重"查询当前正在运行,我不想要其他客户端lite"另一个客户的查询遭受慢速缓慢的性能

换句话说,当我拥有更多客户端时,将所有内容存储在1个节点之下,在未来的某个时刻,我认为会有可扩展性问题.

顺便说一句,几乎没有集群?

还有什么分区优势为每个客户创建不同的Label?例如:Users_client_1,Users_client_2等

partitioning neo4j

2
推荐指数
1
解决办法
2405
查看次数

bucket_selector中的_bucket_count-管道聚合

我正在努力使这项工作顺利。这种语法甚至应该工作吗?我指的是这个git问题:https : //github.com/elastic/elasticsearch/pull/19571

谢谢!

GET index/type/_search?ignore_unavailable
{
  "size": 0,
  "aggs": {
    "groupby_country": {
      "terms": {
        "field": "country",
        "size": 2000
      },
      "aggs": {
        "should_we_consider": {
          "bucket_selector": {
            "buckets_path": {
              "hits": "groupby_domain.**_bucket_count**"
            },
            "script": "_bucket_count.hits>0"
          }
        },
        "groupby_domain": {
          "terms": {
            "field": "domain",
            "size": 2000
          },
          "aggs": {
            "groupby_page": {
              "terms": {
                "field": "page",
                "size": 2000,
                "min_doc_count": 2
              }
            }
          }
        }
      }
    }
  }
}
Run Code Online (Sandbox Code Playgroud)

elasticsearch elasticsearch-5

1
推荐指数
1
解决办法
671
查看次数

AWS Lambda - 解决 100% CPU 问题

几天前我开始使用 Lambda。每个 lambda 调用都是我拥有的 CRON 作业的执行。我注意到非常简单的任务会超时(5 分钟),这些任务不会消耗大量内存/CPU,并且在本地运行它们时,确实花费了不到 20 秒的时间。

然后我将此代码添加到 lambda 的主文件中:

const libCpuUsage = require('cpu-usage');

libCpuUsage(1000, function (load) {
    if (load > 60)
        console.log("\rCPU LOAD: " + load + "%   ");
});
Run Code Online (Sandbox Code Playgroud)

我在日志中看到“CPU 负载:100%”(有时)

我的问题是:

  1. 我怎样才能找到每个调用的CPU使用率
  2. 据我所知,lambda 正在一个文档容器上运行(?),并且许多事件可以发送到同一个容器。我可以限制事件数量吗?
  3. 当在 docker 上运行时,我给任务分配了 2048 个 CPU 单位,但从未获得 100% 的使用率。我怎样才能给 lambda 相同的值
  4. 我还可以检查其他事情吗?

aws-lambda

1
推荐指数
1
解决办法
626
查看次数