标签: google-cloud-platform

gsutil rsync 上的同步阶段很慢?

我刚刚开始使用 GCS 作为我的网络服务器的备份。一台服务器有 120 万个 JPEG(3.5TB),并且所有这些都在 10 个小时左右的时间内完美同步。

另一个有 250 万个 JPEG(尽管只是缩略图/预览 - 总共 300GB)。我第一次这样做时,“构建同步状态”很快就完成了 250 万次。几分钟。虽然我的会话被中断了(wifi 掉线了),当我通过 SSH 尝试再次运行它时,“在源列表中”提示迅速咬住了 10000、20000、30000。然后几乎停止了。半小时后,才到了三十万。我知道它也必须确定目的地有哪些文件,但我认为这不会显着减慢“在源列表中...”的回声?

它是否表明我的文件系统有问题,如果是,我应该检查什么?

还是出于某种原因,这是预期的行为?

尝试将 gsutil rsync 与 200 万个文件一起使用到一个存储桶中是个坏主意吗?我找不到谷歌关于一个存储桶中可以放置多少文件的指南,所以我假设它是数十亿/无限的?

FWIW 文件都在嵌套的子目录中,任何一个目录中的文件都不超过 2000 个。

谢谢

编辑:我使用的确切命令是:

gsutil -m rsync -r /var/www/ gs://mybucketname/var/www
Run Code Online (Sandbox Code Playgroud)

rsync google-cloud-storage google-cloud-platform gsutil

6
推荐指数
1
解决办法
2701
查看次数

我们可以在创建后编辑 bigquery 表的架构吗?

我错误地将字段指定为整数而不是浮点数。我发现创建表后我无法更正字段。我必须再次删除并重新创建表才能使事情正确。有谁知道在创建表后修改字段的更好方法?谢谢。

big-data google-cloud-platform

6
推荐指数
1
解决办法
8535
查看次数

App Engine 应用的静态 IP 地址

我目前正在将我的电子商务应用程序迁移到 Google App Engine。我正在使用 PHP 灵活运行时 (PHP flex)。

其中一项交易需要调用我的支付提供商的 HTTP API。现在的问题是,我的支付提供商要求通过一些带外注册预先将所有呼叫者 IP 地址列入白名单。注册非常受限,每个客户端只接受少数 IPv4 地址。

我知道 GAE 会根据需要生成新实例,这些实例将从大池中分配 IP 地址。因此,注册地址列表也不是一种选择。

我知道这违背了自动缩放的目的,但有什么方法可以为我的应用程序分配静态 IP 地址?

在 GAE 中还有其他方法可以解决这个问题吗?

在 VPC 内启动我的应用程序会有帮助吗?

google-app-engine google-cloud-platform

6
推荐指数
1
解决办法
7680
查看次数

我在做 Google Cloud 部署错了吗?

我以前使用过 Heroku 和 AWS,现在正在使用 App Engine 和 Cloud SQL (Postgres) 在 Google Cloud 平台上设置服务。

我们尝试使用 12 要素原则构建应用程序。

事实证明,设置是如此乏味,以至于我开始怀疑我是否只是从根本上错过了某些东西。

以下是让我感到困惑的事情:

  1. 鼓励将密码写入以源代码管理 (app.yaml) 结尾的文件中。
  2. 需要破解加载环境变量的解决方法(如果我不希望它们致力于源代码控制)。
  3. 找到连接到云 sql 实例我需要一行引用 app.yaml 中的特定实例 - 所以现在我需要 app.staging.yaml 和 app.production.yaml ?
  4. 找到那条线似乎只支持 1 个数据库实例,如果我们希望应用程序连接到 2 个数据库,则不清楚是否有支持。

我是否错过了服务器管理方面的一些重大发展,这些发展已成为最佳实践?刚刚发现#3 和#4 后,我真的开始认为我一定在我的设置中做了一些根本性的错误。我有没有?

google-app-engine google-cloud-sql google-cloud-platform

6
推荐指数
1
解决办法
164
查看次数

如何调试 Google Cloud 中的内部 400 错误

我们有一个要从 AWS 迁移到 Google Cloud 的系统。服务器通过 Kubernetes 进行容器化和部署。

我们有前端对后端进行 api 调用。很多时候这些 api 调用都会成功。

间歇性地,我们看到 api 调用失败并返回 400 响应,而不是访问后端,正文内容设置为通用的 Google 错误:

“400。这是一个错误。

您的客户发出了格式错误或非法的请求。我们知道的就这些。”

我们在日志中看不到到达后端的请求。就好像它在谷歌内部迷失了一样。

从前端容器内部或从我们的本地机器从命令行执行完全相同的调用每次都有效。

我的问题是:

i) 有没有人看到过类似的东西并且有解决这个问题的方法?

ii) 我们如何调试它?

仅供参考,请求是一个简单的 GET,如下所示:“ https://example.com/v1/session/12345?frontend_ip=1.2.3.4%2C+5.6.7.8&req_timestamp=2018-04-19+10%3A46

google-compute-engine google-cloud-platform

6
推荐指数
1
解决办法
2086
查看次数

谷歌云负载均衡器直接到云函数?

我正在尝试将流量从Google Cloud Load Balancer (LB) 直接发送到Cloud Function

我的 Cloud Function 有一个HTTP URL trigger,如果我从浏览器点击该 URL,它就可以工作,所以我需要的只是负载均衡器上的规则来代理该 URL。

所以设置将是:

Load Balancer -> Cloud Function -> Cloud Storage
Run Code Online (Sandbox Code Playgroud)

然而,从 LB 后端配置来看,似乎唯一允许的选项是服务(例如虚拟机)或存储桶(即云存储):

负载均衡器配置截图

我是否遗漏了什么,或者根本无法将流量直接从 Cloud Load Balancer 发送到 Cloud Function?

load-balancing google-cloud-platform

6
推荐指数
1
解决办法
3732
查看次数

如何清除 Google Cloud Platform 控制台中的通知?

我使用 Google Cloud Platform (GCP) 的基于 Web 的控制台来执行可能失败的调试或测试任务(其他任务使用gcloudCLI自动化)。结果,我有越来越多的失败任务。每一个都会增加右上角我的通知图标上警报徽章的计数器。那很烦人。更重要的是,我不确定最近是否出现了问题(“之前是计数器 934 还是 933?”)。

我的问题:如何清除通知?我在弹出窗口和活动概览中都找不到按钮。弹出窗口的屏幕截图在此处链接。在右上角可以看到红色的8,表示过去总共有8个任务失败。

console google-cloud-platform

6
推荐指数
1
解决办法
1001
查看次数

如何在 Google Cloud VM 上设置邮件服务器?

我想知道如何在 Google VP 实例上设置像 postfix 这样的邮件服务器。

我正在运行 Ubuntu 16.04(和 LAMP 堆栈),无法让邮件服务器从网站发送电子邮件。

我已经安装了postfix,并打开了端口25,但没有运气。

关于如何进行的任何想法?

错误日志:网络不可达、连接超时

ubuntu email-server google-cloud-platform

6
推荐指数
1
解决办法
2万
查看次数

在没有 GSuit 帐户的情况下拥有 GCP 帐户的正确方法是什么?

我的组织不使用 GSuit,但我们仍想使用 Google Cloud Platform。我使用我的非 gsuit 电子邮件地址在那里注册,并且我有一个可以登录的 GCP 帐户。

我看到了两个可能相关的问题。当我尝试邀请我组织的其他成员使用他们的非 gsuit 非 gmail 电子邮件地址时,我收到此错误:

电子邮件地址和域必须与有效的 Google 帐户或 Google Apps 帐户相关联。

我如何邀请他们成为 Google 或 Google Apps 帐户?

我创建的项目似乎不属于任何组织:

在此处输入图片说明

为非 gsuit 公司设置此设置的正确方法是什么?

当我去IAM & Admin> 时Identity and Organization,我看到:

在此处输入图片说明

当我尝试注册 Cloud Identity 时,我最终会看到以下屏幕:

在此处输入图片说明

感觉就像我正在注册 GSuite,我对它不感兴趣(但我不确定是否是这种情况)。

如果我尝试注册,则会收到此错误:

在此处输入图片说明

我必须创建该帐户才能开始使用 Google Cloud Platform,但现在我无法创建组织?这有点令人困惑。

如果我去管理用户或组,这就是我看到的:

在此处输入图片说明

google google-cloud-platform google-cloud-identity

6
推荐指数
1
解决办法
1万
查看次数

通过 VPN 隧道访问 Google Cloud SQL

我们有一个从办公室到 Google Cloud 的 VPN 隧道。它工作正常,我们能够访问虚拟机和容器(kubernetes)。

问题是无法使用此隧道访问 SQL 实例。您可以跳过虚拟机实例,但无法直接连接。显然,问题在于 SQL 实例没有直接连接到 VPC 子网。我们尝试在 VPC 的“Cloud Router”上强制路由,但没有成功。我们尝试为所有 VPC 范围添加“允许所有”防火墙规则,但事实并非如此。

知道如何通过 VPN 隧道到达 SQL 实例吗?

google-cloud-sql google-cloud-platform google-cloud-vpn

6
推荐指数
1
解决办法
4413
查看次数