小编caf*_*eyd的帖子

每30秒运行一次cron

好的,我有一个cron,我需要每30秒运行一次.

这是我有的:

*/30 * * * * /bin/bash -l -c 'cd /srv/last_song/releases/20120308133159 && script/rails runner -e production '\''Song.insert_latest'\'''
Run Code Online (Sandbox Code Playgroud)

它运行,但这是每30分钟还是30秒运行一次?

此外,我一直在阅读如果我经常运行它,cron可能不是最好的工具.还有其他更好的工具,我可以在Ubuntu 11.04上使用或安装,这将是一个更好的选择吗?有没有办法修复上面的cron?

ubuntu cron scheduled-tasks

270
推荐指数
11
解决办法
45万
查看次数

Scala,Spark中==和===之间的区别

我来自Java背景,是Scala的新手.

我正在使用Scala和Spark.但是我无法理解我在哪里使用=====.

任何人都可以告诉我在哪种情况下我需要使用这两个运算符,有什么区别=====

scala apache-spark

35
推荐指数
3
解决办法
3万
查看次数

从s3获取getObject时,aws lambda函数获取访问权限

我在Lambda函数上从S3 AWS服务获得了acccess denied错误.

这是代码:

// dependencies
var async = require('async');
var AWS = require('aws-sdk');
var gm = require('gm').subClass({ imageMagick: true }); // Enable ImageMagick integration.

exports.handler = function(event, context) {
    var srcBucket = event.Records[0].s3.bucket.name;
    // Object key may have spaces or unicode non-ASCII characters.
    var key = decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, " "));
/*
{
    originalFilename: <string>,
    versions: [
        {
            size: <number>,
            crop: [x,y],
            max: [x, y],
            rotate: <number>
        }
    ]
}*/
    var fileInfo;
    var dstBucket = "xmovo.transformedimages.develop";
    try {
        //TODO: Decompress and …
Run Code Online (Sandbox Code Playgroud)

amazon-s3 amazon-web-services amazon-iam aws-lambda

31
推荐指数
7
解决办法
4万
查看次数

EMR主节点是否知道其集群ID?

我希望能够创建EMR集群,并让这些集群将消息发送回某个中央队列.为了使其工作,我需要在每个主节点上运行某种代理.这些代理中的每一个都必须在此消息中标识自己,以便收件人知道该消息所针对的群集.

主节点是否知道其ID(j-*************)?如果没有,那么是否还有其他一些识别信息可以让邮件收件人推断出这个ID?

我已经看了一下配置文件/home/hadoop/conf,我没有发现任何有用的东西.我发现了ID /mnt/var/log/instance-controller/instance-controller.log,但看起来很难找到.我想知道实例控制器可能从哪个位置获取该ID.

hadoop amazon-web-services amazon-emr

19
推荐指数
2
解决办法
8826
查看次数

使用在aws-sdk中扮演角色的配置文件(AWS JavaScript SDK)

使用AWS SDK for JavaScript,我想使用一个承担角色的默认配置文件.这与AWS CLI完美配合.将node.js与SDK一起使用不承担该角色,而只使用访问密钥所属的AWS账户的凭据.我找到了这个文档,但它没有涉及假设一个角色:http://docs.aws.amazon.com/sdk-for-javascript/v2/developer-guide/loading-node-credentials-shared.html

有小费吗?

这是我的配置文件:

[default]
role_arn = arn:aws:iam::123456789:role/Developer
source_profile = default
output = json
region = us-east-1
Run Code Online (Sandbox Code Playgroud)

node.js aws-sdk aws-sdk-nodejs

18
推荐指数
4
解决办法
1万
查看次数

从SparkSession中检索SparkContext

我正在运行一个Spark批处理作业并使用,SparkSession因为我需要很多spark-sql功能来处理我的每个组件.它SparkContext在我的父组件中初始化,并作为传递给子组件SparkSession.

在我的一个子组件中,我想为我添加两个以上的配置SparkContext.因此,我需要检索SparkContextSparkSession,停止并重新创建SparkSession与额外的配置.为此,我如何从SparkSession中检索SparkContext

scala apache-spark

11
推荐指数
2
解决办法
9993
查看次数

如何在PySpark中展平嵌套列表?

我有一个RDD结构,如:

rdd = [[[1],[2],[3]], [[4],[5]], [[6]], [[7],[8],[9],[10]]]
Run Code Online (Sandbox Code Playgroud)

我希望它成为:

rdd = [1,2,3,4,5,6,7,8,9,10]
Run Code Online (Sandbox Code Playgroud)

如何编写地图或缩小功能以使其工作?

python apache-spark rdd

8
推荐指数
1
解决办法
9906
查看次数

是否可以在不使用 Amazon Cognito 的情况下使用 AWS Amplify?

我有 android 和 iOS 应用程序。我需要允许他们在 S3 上下载和上传资产,有时希望将数据发送到移动设备而不必使用 Amazon Cognito,因为它需要花费很多钱。我有秘密密钥和访问密钥,我希望移动用户使用这些密钥,而不必使用 Amazon Cognito。

那么是否可以在没有 Amazon Cognito 的情况下使用 AWS Amplify?

amazon-cognito aws-amplify

8
推荐指数
1
解决办法
1837
查看次数

AWS登录循环-无法访问门户

问题:我试图以root用户身份从AWS门户登录我的账户,但是现在,在添加密码后,我一直重定向到:https : //portal.aws.amazon.com/billing/signup? redirect_url = https%3A%2F%2Faws.amazon.com%2Fregistration-confirmation#/ start,无论如何。

到今天为止一切正常,我第一次遇到此重定向。
主浏览器:Chrome-版本62.0.3202.94

根据在google上发现的类似案例的结果,我尝试了以下操作,但仍然
无法解决问题:-Chrome:删除了所有cookie和缓存数据
-Chrome:重新启动了设备以及浏览器
-Chrome:使用了隐身模式
-Firefox(一个aws成员说这是最合适的浏览器):尝试了普通模式和私有模式
-Firefox:删除了所有cookie和缓存数据
-Edge:尝试了普通模式和私有模式

有人建议已经使用S3Browser,它似乎不是一个有效的解决方案,只是每周访问几次AWS Portal,所以我将其作为最后的选择。

如果有人遇到相同的问题或有其他建议/想法,将不胜感激。

提前致谢。

cookies loops login amazon-ec2 amazon-web-services

6
推荐指数
2
解决办法
881
查看次数

根据多个包含过滤一个List

我想过滤一个List,我只想保留一个字符串,如果字符串包含.jpg,.jpeg.png:

scala>  var list = List[String]("a1.png","a2.amr","a3.png","a4.jpg","a5.jpeg","a6.mp4","a7.amr","a9.mov","a10.wmv")
list: List[String] = List(a1.png, a2.amr, a3.png, a4.jpg, a5.jpeg, a6.mp4, a7.amr, a9.mov, a10.wmv)
Run Code Online (Sandbox Code Playgroud)

我发现这.contains对我没有帮助!

所需输出:

List("a1.png","a3.png","a4.jpg","a5.jpeg")
Run Code Online (Sandbox Code Playgroud)

collections scala list filter scala-collections

5
推荐指数
1
解决办法
2万
查看次数