小编ozz*_*acs的帖子

我想使用AWS javascript sdk发送带有验证码的短信.

var AWS = require('aws-sdk');
AWS.config.region = 'us-east-1';
var sns = new AWS.SNS();

var params = {
  Message: 'this is a test message',
  MessageStructure: 'string',
  PhoneNumber: '+12346759845'
};

sns.publish(params, function(err, data) {
  if (err) console.log(err, err.stack); // an error occurred
  else     console.log(data);           // successful response
});

我一直在"params"中找到"意外的密钥\'PhoneNumber".

我已经按照文档中的示例进行了操作,据我所知,我所拥有的内容似乎是有效的.显然,我不需要创建一个主题来发送单个短信.

我想在我的 spark 执行器日志中看到完整的堆栈跟踪。

我有例如：

引起：java.lang.RuntimeException：java.lang.Long 不是 org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificUnsafeProjection.apply_0$(generated.java:434) 处 int 架构的有效外部类型在 org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificUnsafeProjection.apply(generated.java:737) 在 org.apache.spark.sql.catalyst.encoders.ExpressionEncoder.toRow(ExpressionEncoder.scala:290) .. . 18 更多

我想看看还有 18 个失踪的。我曾尝试更改为日志记录级别等，但没有帮助。

exitTotalDF
  .filter($"accid" === "dc215673-ef22-4d59-0998-455b82000015")
  .groupBy("exiturl")
  .agg(first("accid"), first("segment"), $"exiturl", sum("session"), sum("sessionfirst"), first("date"))
  .orderBy(desc("session"))
  .take(500)

org.apache.spark.sql.AnalysisException: cannot resolve '`session`' given input columns: [first(accid, false), first(date, false),  sum(session), exiturl, sum(sessionfirst), first(segment, false)]

它像sum函数一样无法正确找到列名.

使用Spark 2.1

我在 Spark 中有类似下面的内容，我将其分组，然后尝试从我的结构中找到具有最高值的内容。

test.map(x => tester(x._1, x._2, x._3, x._4, x._5))
  .toDS
  .select($"ac", $"sk", struct($"num1", struct($"time", $"num1")).as("grp"))
  .groupBy($"ac", $"sk")
  .agg(max($"grp")).show(false)

我不确定 max 函数如何确定最大值。我使用嵌套结构的原因是因为当所有内容都在同一结构中时，它似乎使用 num1 而不是下一个数字来创建 max 函数。