小编AIR*_*AIR的帖子

我是AWS的新手,正致力于在Python上创建lambda函数.该函数将获取dynamodb表流并写入s3中的文件.这里文件的名称应该是表的名称.有人可以告诉我如果调用lambda函数的触发器如何获取表名？

感谢帮助.

我在AWS EMR上学习Spark.在这个过程中,我试图理解执行者数量( - num-executors)和执行者核心(--executor-cores)之间的区别.请问有人请告诉我吗？

此外,当我试图提交以下工作时,我收到错误:

spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 5   --executor-memory 1g -–conf spark.yarn.submit.waitAppCompletion=false wordcount.py s3://test/spark-example/input/input.txt s3://test/spark-example/output21

Error: Unrecognized option: -–conf

我创建了一个ES域来搜索vpcglow日志和带有每日索引的云跟踪日志.现在,状态为RED:

{
   "cluster_name": "678628912247:test",
   "status": "red",
   "timed_out": false,
   "number_of_nodes": 17,
   "number_of_data_nodes": 17,
   "active_primary_shards": 687,
   "active_shards": 1374,
   "relocating_shards": 0,
   "initializing_shards": 0,
   "unassigned_shards": 8,
   "number_of_pending_tasks": 0
}

进一步调查我发现,一个指数是RED:

red   open cwl-2016.02.19 5 1    381700  102899 335.8mb 167.9mb

调查碎片:

cwl-2016.02.19  2   p   UNASSIGNED                  
cwl-2016.02.19  2   r   UNASSIGNED                  
cwl-2016.02.19  0   p   UNASSIGNED                  
cwl-2016.02.19  0   r   UNASSIGNED                  
cwl-2016.02.19  3   p   STARTED 381700  167.9mb x.x.x.x Elektra Natchios
cwl-2016.02.19  3   r   STARTED 381700  167.9mb x.x.x.x Chronos 
cwl-2016.02.19  1   p   UNASSIGNED                  
cwl-2016.02.19  1   r   UNASSIGNED                  
cwl-2016.02.19  4   p …