标签: google-cloud-storage

我们正在收集有关不同系统的信息.目前我们正在寻找存储解决方案.对于大文件,我们会有大量的传出流量.

我想将s3与谷歌云存储进行比较.

谷歌云存储在90TB时的成本约为0.08美元/ GB.S3约为0.06美元.但是谷歌云存储已经有了一个cdn,这比使用cloudfront的亚马逊s3更便宜.

现在我读到某个地方,google cloud stroage比非常大的文件的s3慢得多.这是真的 ？

我找不到任何信息.

如果我有大量的传出流量和大文件,我还有哪些替代方案？

编辑:

基准测试:

http://blog.zencoder.com/2012/07/23/first-look-at-google-compute-engine-for-video-transcoding/

我经常使用至少有两个帐户的Google云端存储:personal@gmail.com和work@corp.com.我曾经为这两个帐户gsutil config创建.boto文件,我已将其重命名为personal.boto和work.boto.

cp personal.boto ~/.boto每当我需要在这些帐户之间切换时,必须记住输入是很累人的.有没有更好的办法？

这令我感到困惑.我显然可以理解为什么帐户ID是全球性的,但为什么桶名？

如果有这样的话会更有意义:https://accountID.storageservice.com/bucketName

哪个会在accountID下命名空间桶.

我错过了什么,为什么这些显然精英建筑师选择以这种方式处理桶名？

我目前正在这样做,但它非常慢,因为我有数TB的数据:

gsutil du -sh gs://my-bucket-1/

对于子文件夹也是如此:

gsutil du -sh gs://my-bucket-1/folder

有可能以某种方式在其他地方以某种其他方式获得完整存储桶(或子文件夹)的总大小,这种速度要快得多吗？

我最近在 Node.js 上使用 google 云存储 SDK 时遇到了这个错误。我知道这在过去没有任何改变的情况下是有效的，但我已经有一段时间没有接触代码了，可能是错误的。

这是错误本身：

Error: error:1E08010C:DECODER routines::unsupported
    at Sign.sign (node:internal/crypto/sig:131:29)
    at Object.sign (node_modules/jwa/index.js:152:45)
    at Object.jwsSign [as sign] (node_modules/jws/lib/sign-stream.js:32:24)
    at GoogleToken.requestToken (node_modules/gtoken/build/src/index.js:232:31)
    at GoogleToken.getTokenAsyncInner (node_modules/gtoken/build/src/index.js:166:21)
    at GoogleToken.getTokenAsync (node_modules/gtoken/build/src/index.js:145:55)
    at GoogleToken.getToken (node_modules/gtoken/build/src/index.js:97:21)
    at JWT.refreshTokenNoCache (node_modules/google-auth-library/build/src/auth/jwtclient.js:172:36)
    at JWT.refreshToken (node_modules/google-auth-library/build/src/auth/oauth2client.js:153:24)
    at JWT.getRequestMetadataAsync (node_modules/google-auth-library/build/src/auth/oauth2client.js:298:28) {
  library: 'DECODER routines',
  reason: 'unsupported',
  code: 'ERR_OSSL_UNSUPPORTED'
}

引发此错误的代码如下：

Error: error:1E08010C:DECODER routines::unsupported
    at Sign.sign (node:internal/crypto/sig:131:29)
    at Object.sign (node_modules/jwa/index.js:152:45)
    at Object.jwsSign [as sign] (node_modules/jws/lib/sign-stream.js:32:24)
    at GoogleToken.requestToken (node_modules/gtoken/build/src/index.js:232:31)
    at GoogleToken.getTokenAsyncInner (node_modules/gtoken/build/src/index.js:166:21)
    at GoogleToken.getTokenAsync (node_modules/gtoken/build/src/index.js:145:55)
    at GoogleToken.getToken (node_modules/gtoken/build/src/index.js:97:21)
    at …

我正在尝试设置Google Cloud Storage存储桶来存储和提供我网站的所有静态对象.我还试图将该存储桶中的所有对象推送到Google Cloud CDN提供的所有全局边缘位置.

我在Google云端存储上创建了一个存储桶:cdn.mysite.com.我为铲斗location设置选择了"US"多区域.

我的假设是存储在此存储桶中的任何对象都将被复制到所有us-*区域以实现高耐久性目的,但不会推送到所有Google Cloud CDN全局边缘位置以用于CDN目的.

或者我的"美国"多区域存储桶中的所有对象是否已经自动推送到所有Google Cloud CDN边缘位置？

我很惊讶我无法弄清楚我的水桶是否已经是CDN了.即使经过两天的搜索(谷歌,具有讽刺意味).

在此先感谢您的帮助.

更改Google云端存储中的文件需要多长时间才能传播？

我有这个非常令人沮丧的问题,我改变文件的内容并通过gsutil重新上传,但更改不会显示几个小时.有没有办法强制更改文件立即传播所有内容？

如果我查看Google云端存储控制台中的文件,它会看到新文件,但如果我点击公共网址,那么它就是旧版本,在某些情况下,还有2个版本.

有没有我没有设置的标题？

编辑:

我试过gsutil -h "Cache-Control: no-cache" cp -a public-read MyFile,它没有帮助,但也许旧的文件需要在新的无缓存版本接管之前到期？

我在文件上做了一个curl -I并得到了回复:

HTTP/1.1 200 OK
Server: HTTP Upload Server Built on Dec 12 2012 15:53:08 (1355356388)
Expires: Fri, 21 Dec 2012 19:58:39 GMT
Date: Fri, 21 Dec 2012 18:58:39 GMT
Last-Modified: Fri, 21 Dec 2012 18:53:41 GMT
ETag: "66d820174d6de17a278b327e4c3e9b4e"
x-goog-sequence-number: 3
x-goog-generation: 1356116021512000
x-goog-metageneration: 1
Content-Type: application/octet-stream
Content-Language: en
Accept-Ranges: bytes
Content-Length: 160
Cache-Control: public, max-age=3600, no-transform
Age: 3449

这似乎表明它将在一小时内到期,尽管没有缓存.

Google Analytics开发者控制台中的某些功能(如Analytics API)在您达到配额之前是免费的.其他功能(如Google云端存储)会在首次点击时产生费用.

当我上传文件https://console.developers.google.com/ > Storage > Cloud Storage > Storage Browser并将该文件公之于众时,我每GB流量支付约0.12美元.

但理论上,此链接的流量可能会爆炸,例如因为突然受欢迎.因此,我想设置每日或每月的成本限制.

问:如何保护自己免受Google Developers Console中过高的成本影响？

我已经在谷歌云平台上创建了一个简单的Tomcat网络服务器,本月我被指控为"从美洲到中国的计算引擎网络互联网出口:2636.552 Gibibyte(项目:xxx)"和服务'计算引擎网络互联网从美洲到美洲的出口.

"从美国到中国的计算机引擎网络出口"究竟意味着什么？

我正在尝试将Google Cloud Storage存储桶中的csv文件读取到熊猫数据框中.

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
from io import BytesIO

from google.cloud import storage

storage_client = storage.Client()
bucket = storage_client.get_bucket('createbucket123')
blob = bucket.blob('my.csv')
path = "gs://createbucket123/my.csv"
df = pd.read_csv(path)

它显示以下错误消息:

FileNotFoundError: File b'gs://createbucket123/my.csv' does not exist

我做错了什么,我找不到任何不涉及谷歌datalab的解决方案？