小编Akk*_*kki的帖子

AWS Lambda热门和冷启动

您好我是AWS Lambda的新手.我想知道Hot Lambda函数(热启动)和Cold Lambda函数(冷启动)是什么意思?任何人都可以详细解释我和Hot Lambda和Cold Lambda有什么区别

amazon-web-services aws-lambda

11
推荐指数
1
解决办法
3210
查看次数

使用Flink DataStream计算窗口持续时间的平均值

我正在使用Flink DataStream API,其中有机架可用,我想按机架ID计算温度组的"平均值".我的窗口持续时间为40秒,我的窗口每10秒钟滑动一次......以下是我的代码,我计算每个rackID每10秒的温度总和,但现在我想计算平均温度::

static Properties properties=new Properties();
    public static Properties getProperties()
    {
        properties.setProperty("bootstrap.servers", "54.164.200.104:9092");
        properties.setProperty("zookeeper.connect", "54.164.200.104:2181");
        //properties.setProperty("deserializer.class", "kafka.serializer.StringEncoder");
        //properties.setProperty("group.id", "akshay");
        properties.setProperty("auto.offset.reset", "earliest");
        return properties;
    }

 @SuppressWarnings("rawtypes")
public static void main(String[] args) throws Exception 
{
    StreamExecutionEnvironment env=StreamExecutionEnvironment.getExecutionEnvironment();
    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
    Properties props=Program.getProperties();
    DataStream<TemperatureEvent> dstream=env.addSource(new FlinkKafkaConsumer09<TemperatureEvent>("TemperatureEvent", new TemperatureEventSchema(), props)).assignTimestampsAndWatermarks(new IngestionTimeExtractor<>());
    DataStream<TemperatureEvent> ds1=dstream.keyBy("rackId").timeWindow(Time.seconds(40), Time.seconds(10)).sum("temperature");
    env.execute("Temperature Consumer");
}
Run Code Online (Sandbox Code Playgroud)

如何计算上述例子的平均温度?

java apache-flink flink-streaming

5
推荐指数
1
解决办法
2513
查看次数

Spark SQL 从数据源动态获取最大值和最小值

我正在使用 Spark SQL,我想每天从 Oracle 表中获取整个数据(包含超过 1800k 条记录)。当我从Oracle读取数据时,应用程序挂起,因此我使用了partitionColumn、lowerBound和upperBound的概念。但是,问题是如何动态获取主键列的下限和上限值?lowerBound和upperBound的值每天都会发生变化。那么如何动态获取主键列的边界值呢?谁能指导我解决我的问题的示例?

apache-spark apache-spark-sql pyspark databricks

4
推荐指数
1
解决办法
1907
查看次数

在shell脚本中向AWS SNS消息添加换行符

我想通过EC2中的shell脚本发送AWS SNS通知.以下是我的命令:

aws sns publish --topic-arn arn:aws:sns:x:x:x \
  --region=$AWS_DEFAULT_REGION \
  --subject "Processing Error - ${tablename}" \
  --message "An error has occurred in API data processing. The error file ${error_file} has been written to the errors folder...The file contents of ${error_file} are : $(cat ${error_file})"
Run Code Online (Sandbox Code Playgroud)

我的问题是我不知道在使用" cat"命令打印文件内容之前如何插入换行符?我想在换行后打印文件的内容.现在它被附加到"The file contents of ...".

如何在--message参数中添加换行符?

linux shell amazon-ec2 amazon-web-services amazon-sns

3
推荐指数
1
解决办法
2365
查看次数