小编AKS*_*OTE的帖子

我们可以创建一个Lambda函数,当我们将记录写入Dynamo DB表并且该记录写入Kinesis流时,可以执行该函数吗？基本上我们可以用Lambda函数写Kinesis流吗？如果是,请分享示例代码.我也想知道它是如何工作的......谢谢

我在 Redshift 中有一个表，其中包含样本 ID 71082 的以下记录：

id       trm_num        start_time
71082   PCMAMGA759551   2012-05-02 09:41:54
71082   PCMAMGA759551   2015-06-02 13:23:39
71082   PCMAMGA759551   2015-09-03 13:23:39
71082   PCMAMGA759551   2015-12-11 07:25:25
71082   PCMAMGA759551   2017-01-10 09:03:22

我只想为每个 id 选择 1 个随机记录。为此，我尝试了查询：

select * from mytable where id=71082 order by random limit 1;

它为我获取了随机记录。但是该表有 1000 个不同的 ID。如何修改我对其他 ID 的查询？

我使用AWS EMR 5.2实例m4.2x large,包含10个节点,用于使用Spark 2.0.2运行我的Spark应用程序.我用过的属性maximizeResourceAllocation=true.我在spark-defaults.conf中看到我在哪里看到以下属性:

spark.executor.instances         10
spark.executor.cores             16
spark.driver.memory              22342M
spark.executor.memory            21527M
spark.default.parallelism        320

在yarn-site.xml中,我看到yarn.nodemanager.resource.memory-mb=24576(24GB).我只知道spark.executor.instances设置为10,因为我正在使用10个节点集群.但有人可以向我解释如何设置其他属性,如驱动程序内存和执行程序内存的计算方式？我也使用了属性.maximizeResourceAllocation=true这会影响内存吗？