小编Joh*_*ein的帖子

删除amazon s3 java中的文件,目录和存储桶

我想知道如何做到这一点.我查看了sdk文档并提供了一些示例,但我很困惑语法通常如何.

如果我想删除文件,我假设我使用deleteObject(path, key).但是,什么是"关键"?

另外你如何删除目录?我似乎找不到这样做的方法.

java amazon-web-services

18
推荐指数
4
解决办法
3万
查看次数

AWS S3 CLI中的选择性文件下载

我有S3桶中的文件,我试图根据日期下载文件,如8月8日,8月​​9日,我如何下载选择性日期文件?我使用了以下代码,但它仍然下载整个存储桶列表

aws s3 cp s3://bucketname/ folder/file --profile pname --exclude \"*\" --recursive --include \"" + "2015-08-09" + "*\"
Run Code Online (Sandbox Code Playgroud)

我不确定,如何实现这一目标.

amazon-s3 amazon-web-services

18
推荐指数
1
解决办法
3万
查看次数

通过IP限制对CloudFront的访问

我想限制对某些IP的存取区访问.我知道如何通过限制访问特定IP地址来创建存储桶策略.

我的问题:这可以与CloudFront一起使用吗?怎么样?我是否只允许某些IP访问CloudFront?

amazon-s3 amazon-web-services amazon-cloudfront

18
推荐指数
2
解决办法
1万
查看次数

Route 53记录集在不同的端口上

我是一个ruby dev,我刚开始学习一些Node.js.

我正在AWS上运行一个实例来托管我的rails应用程序,其中乘客+ nginx正在侦听端口80.

现在我想在同一个实例(t1-micro)上托管一个node.js应用程序并将其用于侦听端口8000.

如何使用Route 53创建记录集以将subdomain.domain.com指向my.ip:8000

我已经尝试设置指向my.ip:8000的IPV4记录但没有成功.

知道我做错了什么吗?

我可以使用nginx来为我的nodejs应用程序提供服务吗?

dns amazon-ec2 amazon-web-services amazon-route53

17
推荐指数
2
解决办法
2万
查看次数

将CSV加载到Redshift中,带标题?

是否可以选择使用标题将CSV加载到Redshift中?我看到了CSV的文档,但它没有说明标题.理想情况下,它可以使用标头来确定要加载的列.

csv etl amazon-web-services amazon-redshift

17
推荐指数
1
解决办法
2万
查看次数

AWS S3 sync - 删除,删除本地的新文件

aws s3 sync --delete 删除了一些新文件.

例如:

存储桶中有一个文件 - S3://my-bucket/images/1.jpg

然后,我将一个文件上传到服务器: 2.jpg

服务器中有2个文件:1.jpg2.jpg

开始运行同步cronjob:

aws s3 sync s3://my-bucket/ ./ --delete
aws s3 sync  ./ s3://my-bucket/ --delete
Run Code Online (Sandbox Code Playgroud)

我们为什么要添加--delete- 我们要删除s3中的文件并将其同步到服务器.

我们将文件上传到服务器并删除s3中的文件.

有没有办法解决它?

amazon-s3 amazon-web-services aws-cli

17
推荐指数
2
解决办法
2万
查看次数

拉og时出现Facebook错误:图片

无论出于何种原因,我在FB上共享链接时尝试使用的图像不会加载.给出的确切错误是:

提供og:图像,无法下载.这可能是由于几种不同的原因,例如您的服务器使用不受支持的内容编码.爬虫接受deflate和gzip内容编码.

我正在使用s3存储桶来保存我的图像,就我而言,存储桶是公共的,我可以在任何浏览器上加载这些图像.我还添加了og:image,og:image:url,og:image:secure_url,og:image:height,og:image:width和og:image:type to meta tags,so to meta标签是关注我认为我已涵盖所有理由.我应该添加一个特定的设置吗?谢谢你的帮助

share facebook amazon-s3 amazon-web-services

17
推荐指数
2
解决办法
7815
查看次数

如何使用额外文件进行 AWS 粘合作业

我有一个用 python 编写的 ETL 作业,它由具有以下目录结构的多个脚本组成;

\n\n
my_etl_job\n |\n |--services\n |  |\n |  |-- __init__.py\n |  |-- dynamoDB_service.py\n |\n |-- __init__.py\n |-- main.py\n |-- logger.py\n
Run Code Online (Sandbox Code Playgroud)\n\n

main.py是从上述目录导入其他脚本的入口点脚本。上面的代码上传到由 dev 端点创建的 ETL 集群后,在 dev-endpoint 上运行得非常好。既然现在我想在生产中运行它,我想为它创建一个合适的粘合作业。my_etl_job但是当我以format压缩整个目录时.zip,将其上传到 artifacts s3 存储桶中,并将 .zip 文件位置指定到脚本位置,如下所示

\n\n
s3://<bucket_name>/etl_jobs/my_etl_job.zip\n
Run Code Online (Sandbox Code Playgroud)\n\n

这是我在胶水作业 UI 仪表板上看到的代码;

\n\n
PK\n    \xef\xbf\xbd\xef\xbf\xbd\xef\xbf\xbdP__init__.pyUX\xef\xbf\xbd\'\xef\xbf\xbd^"\xef\xbf\xbd^A\xef\xbf\xbd\xef\xbf\xbd)PK#7\xef\xbf\xbdP  logger.pyUX\xef\xbf\xbd\xef\xbf\xbd^1\xef\xbf\xbd\xef\xbf\xbd^A\xef\xbf\xbd\xef\xbf\xbd)]\xef\xbf\xbdMk\xef\xbf\xbd0\xef\xbf\xbd\xef\xbf\xbd\xef\xbf\xbd\xef\xbf\xbda\xef\xbf\xbd&v+\xef\xbf\xbd\xef\xbf\xbd\xef\xbf\xbdA\xef\xbf\xbdB\xef\xbf\xbd\xef\xbf\xbd\xef\xbf\xbd`x\xef\xbf\xbd\xef\xbf\xbd\xef\xbf\xbd\xef\xbf\xbdq\xef\xbf\xbd\xef\xbf\xbd} ...AND ALLOT MORE...\n
Run Code Online (Sandbox Code Playgroud)\n\n

似乎胶水作业不接受 .zip 格式?如果是,那么我应该使用什么压缩格式?

\n\n

更新: \n我检查了粘合作业可以选择接受额外的文件,Referenced files path其中我提供了上述文件的所有路径的逗号分隔列表,并将 script_location 更改为仅引用main.py文件路径。但这也没有奏效。粘合作业抛出错误 no module found logger (我在 logger.py 文件中定义了这个模块)

\n

python amazon-s3 aws-glue

17
推荐指数
2
解决办法
3万
查看次数

AWS:身份池配置无效.检查此池的已分配IAM角色

我创建了一个用户池和标识池.

我用过javascript sdk.

我可以使用javascript sdk注册,发送确认码并确认用户成功.

但是,当我尝试使用身份验证方法登录用户并尝试使用下面的代码传递idToken时,使用"CognitoIdentityCredentials"获取凭据

logins[cognitoEndpoint + "/" + userPoolId] = jwtToken;

    AWS.config.credentials = new AWS.CognitoIdentityCredentials({
      IdentityPoolId: identityPoolId,
      Logins: logins
    });
Run Code Online (Sandbox Code Playgroud)

它给了我以下错误

Error: Invalid identity pool configuration. Check assigned IAM roles for this pool.
    at Request.extractError (aws-sdk.js:104063)
    at Request.callListeners (aws-sdk.js:106060)
    at Request.emit (aws-sdk.js:106034)
    at Request.emit (aws-sdk.js:105121)
    at Request.transition (aws-sdk.js:104843)
    at AcceptorStateMachine.runTo (aws-sdk.js:108480)
    at aws-sdk.js:108492
    at Request.<anonymous> (aws-sdk.js:104859)
    at Request.<anonymous> (aws-sdk.js:105123)
    at Request.callListeners (aws-sdk.js:106070)
Run Code Online (Sandbox Code Playgroud)

我已授予管理员访问身份池的"未经身份验证的角色"和"未经身份验证的角色"以及我正在使用其凭据的用户的权限.

我是新来的.谁能告诉我我错过了什么?

任何帮助,将不胜感激.

javascript amazon-web-services angularjs amazon-cognito aws-sdk

16
推荐指数
1
解决办法
6746
查看次数

Python + Boto:botocore.exceptions.ClientError:调用HeadObject操作时发生错误(404):未找到

我正在从AWS S3 Bucket下载文件,如下所示:

import boto3

s3client = boto3.client("s3")
s3 = boto3.resource('s3')

bucket_name = 'practice_bucket'
bucket = s3.Bucket(bucket_name)

for obj in bucket.objects.all():
    filename = obj.key.rsplit('/')[-1]
    s3client.download_file(bucket_name, obj.key, "/txt/" + filename)
Run Code Online (Sandbox Code Playgroud)

当试图将一些文件放在子目录下时,例如/txt/我收到错误:botocore.exceptions.ClientError: An error occurred (404) when calling the HeadObject operation: Not Found.

奇怪的是,它适用于使用相同方法的其他文件类型,但不适用于具有.json扩展名的文件类型.

可能是什么问题?我甚至试过没有把它们放在一个绝对的子目录路径中,我没有得到任何错误,并将文件下载到与脚本下载相同的目录中.但是当我实际定义下载文件的路径时,我得到了错误.

提前谢谢你,一定要投票/接受答复

python amazon-s3 amazon-web-services python-2.7 boto3

16
推荐指数
1
解决办法
1万
查看次数