标签: cloud

开源分布式计算/云计算框架

我想知道是否有人知道任何好的开源分布式计算项目?我有一个计算密集型程序,可以从分布式计算中受益(如 SETI@Home 等),并且想知道是否有人见过这样的东西,或者我会从头开始开发它吗?

cloud distributed

5
推荐指数
1
解决办法
7220
查看次数

哪种数据库技术适用于大结构化数据?

场景:假设您的 200 个表中有 90TB 的文本。这是结构化的相关数据。相比dbpedia只是数据更多。任何真正关系型、分布式和高性能的数据库都可以完成这项工作。不要\xe2\x80\x99 期望像社交网络那样多的更新,但大约 500 次读取查询/秒 20 次更新/秒,但除此之外所需的主要功能是高速对数据库进行大型分析,因为数据将通过机器进行重新处理和改进像 apache mahout 一样不断学习。

\n\n

现在的第一个问题是,从哪些数据库技术开始(或等待它们被释放)来首先维护所有数据,网络访问者数量相对较少,但对快速分析/机器学习的要求很高?其次,为了可能发生的特殊目的而跟踪哪些其他数据库,以及哪些数据库应从列表中删除或成对放置,哪些数据库应仅应用一个(/更好的)。

\n\n
Cloudera/Brisk (Cassandra,Hive)\nmysql(cluster), mariadb\nBerkeley DB\ndrizzle, nimbusdb,\nscidb (http://www.theregister.co.uk/2010/09/13/michael_stonebraker_interview/)\nmongodb\ndatadraw\nneo4j\n
Run Code Online (Sandbox Code Playgroud)\n

mysql cloud bigtable mongodb cassandra

5
推荐指数
1
解决办法
595
查看次数

是否可以在不集成操作系统的情况下将数据从服务器推送到客户端(手机、电脑)

有没有一种方法可以让服务器以无线方式、无缝地将一些数据推送到客户端(可能是 Windows(手机)、iPhone、Mac 或 Android 设备),而无需任何操作系统集成?

如果是这样,实现此目的的最佳设计模式是什么?实现此目的的最佳技术是什么?

cloud networking network-protocols

5
推荐指数
1
解决办法
2406
查看次数

分布式互斥体

我们的云中有数百台服务器。这些服务器中的任何一个都可以随时调用一个脚本。我必须确保在任何给定时间只有一台服务器正在运行该脚本。当一台服务器已获取脚本锁定,而另一台服务器尝试执行时,只需写入日志文件并退出即可。可以有多个这样的脚本,每个脚本都有一个单独的互斥锁。这意味着我想要一个能够容纳多个服务器多个脚本的解决方案。我正在寻找一个非常简单的解决方案。请向我指出任何可用的工具或建议我实现这一点的流行方法。

cloud distributed-computing

5
推荐指数
1
解决办法
4803
查看次数

当 DHT 中的节点死亡时,数据会发生什么?

问题取自这里: https: //groups.google.com/forum/#!topic /byu-cs-460-computer-networking/hpESI0NapmY

“我在考虑分布式哈希表如何存储数据。我知道每个节点都有一个标识符,然后数据存储在标识符与其(数据)哈希值最接近的后继节点上。我也明白当节点加入或离开网络时,数据将被传输以反映网络中存在的新节点集。

我不明白的是,当节点在移交数据之前死亡时会发生什么。那数据丢失了吗?也许我真正的问题是:如何保证数据在 DHT 中不会丢失?”

cloud p2p dht

5
推荐指数
1
解决办法
874
查看次数

Google Cloud SQL - 性能参差不齐

现在,我承认我对使用 Google Cloud SQL 还很陌生,但我在本地运行 MySQL 服务器方面拥有多年的经验,我认为自己几乎是这方面的专家。

现在,几天前我已经将手机游戏 RummyFight 使用的数据库上传到 Google Cloud SQL。MySQL 数据库通常在仅具有 2 GB RAM 的 2GHz PC (Win Server 2000) 上运行。在高峰时段,它每秒处理大约 250 个请求,并且由于它构建良好,索引使用良好,我的本地计算机已经能够应对它。

这些天我一直在监控Cloud SQL,我发现性能时不时会出现非常严重的下降。几乎就好像它静止不动一样。我玩游戏的客户也有同样的经历。

请看一下随附的今晚的屏幕截图,并向我解释这是否正常。我确实需要一个可靠的数据库,我不知道我对Google的云SQL要求是否太高。也许它更多的是为了数量而不是速度。

请指教。

PS 云数据库配置为具有异步写入功能的 D4-2 GB RAM。

PS #2:是的,我已经排除了问题出在网络服务器中的可能性,因为它与本地数据库中使用的相同。此外,最大负载仅为 2%。

数据库性能图

mysql cloud google-cloud-sql

5
推荐指数
1
解决办法
1737
查看次数

Docker 容器中的 LDAP 身份验证

默认情况下,当Docker容器启动时,里面的用户是sudo。

我想:

  1. 默认情况下将 sudo 用户锁定在容器中。
  2. 在容器中使用 LDAP 身份验证而不是默认身份验证(当用户与映像一起提供时,或者在容器运行时由 sudo 用户创建)。

为此,我运行了一个容器并将其配置为与 LDAP 服务器通信。接下来,我从此容器创建了一个图像。

现在,我可以使用此映像运行容器(但只能作为 sudo 用户)并执行将su LDAP_USER当前用户更改为 LDAP 用户。但是,当我尝试使用 运行容器时-u LDAP_USER,出现用户不存在的错误。

所以问题是:是否可以使用 LDAP 身份验证来运行带有 -u LDAP_USER 的容器?也许我可以以某种方式使用主机来做到这一点?

谢谢。

cloud ldap docker

5
推荐指数
1
解决办法
1万
查看次数

如何在我端播放嵌入的 OneDrive 视频?

不太确定我是否可以问这个问题,所以我希望没问题。我有一个网站,我想在其中嵌入和播放存储在 OneDrive 云服务上的视频。到目前为止,这听起来很简单,但事情是这样的:虽然我实际上可以通过提供的嵌入 iframe 代码嵌入它,但除非在 OneDrive 网站上重定向,否则无法播放它。我在互联网上进行了研究,但看起来像是死胡同,没有人真正解决这个谜团。这就是我得到的:

官方嵌入链接:
<iframe src="https://onedrive.live.com/embed?cid=5FAC7D8A540D1B7A&resid=5FAC7D8A540D1B7A%21141&authkey=AM3Y3EuRuTPbKo0" width="320" height="240" frameborder="0" scrolling="no" allowfullscreen></iframe>

该嵌入内容无法从我的网站播放。当我按下“播放”按钮后,它会将我重定向到:

https://onedrive.live.com/redir.aspx?cid=5fac7d8a540d1b7a&resid=5FAC7D8A540D1B7A!141&parId=5FAC7D8A540D1B7A!140&authkey=!AM3Y3EuRuTPbKo0

然后在这里:

https://onedrive.live.com/?cid=5fac7d8a540d1b7a&id=5FAC7D8A540D1B7A%21141&sff=1&authkey=!AM3Y3EuRuTPbKo0

最后在这里我可以玩它:

https://onedrive.live.com/?authkey=%21AM3Y3EuRuTPbKo0&cid=5FAC7D8A540D1B7A&id=5FAC7D8A540D1B7A%21141&parId=5FAC7D8A540D1B7A%21140&o=OneUp

官方分享链接:
https://onedrive.live.com/redir?resid=5FAC7D8A540D1B7A!141&authkey=!AJVBaVimMA1e0cc&ithint=video%2cmp4

由此我找到了一种通过下载更改 redir 部分来创建直接下载链接的方法:

https://onedrive.live.com/download?resid=5FAC7D8A540D1B7A!141&authkey=!AJVBaVimMA1e0cc&ithint=video%2cmp4

可以放进去<iframe>或者<video>但是还是不能播放。也可以将 redir 更改为嵌入:

<iframe src="https://onedrive.live.com/embed?resid=5FAC7D8A540D1B7A!141&authkey=!AJVBaVimMA1e0cc&ithint=video%2cmp4" width="320" height="240" frameborder="0" scrolling="no" allowfullscreen></iframe>

这与官方嵌入链接几乎相同。然后还有像这样的字符串:&em=2and &Embed=1(不太确定它们代表什么,但它们确实改变了重定向的输出)示例:

https://onedrive.live.com/embed?resid=5FAC7D8A540D1B7A!141&ithint=video%2cmp4&em=2&Embed=1

据我了解,这些列出的字符串总是可以被跳过:
?cid=5FAC7D8A540D1B7A
&authkey=AM3Y3EuRuTPbKo0
&ithint=video%2cmp4
&id=5FAC7D8A540D1B7A%21141
&parId=5FAC7D8A540D1B7A%21140
&o=OneUp

有了这个,我就处于嵌入根本不嵌入的地步。这就像“将我重定向到 OneDrive 并在那里播放”这个新词。当然,我也尝试过在 OneDrive 支持方面寻求帮助,但他们表现得很愚蠢!并不断问我,当我可以在驱动器上正常播放视频时,为什么需要在我的网站上播放视频。显然他们在嘲笑我。我并没有真正尝试将它们用作我的 ftp 服务器(即使我不想将其视为他们的业务,除非我违反了他们的行为准则),我只是想在我的网站上播放我的嵌入视频,就像在 Youtube、Vimeo 上播放一样或每日运动。(好吧,说实话,如果我没有购买 2TB 存储空间,我也不会那么困扰)

我最终寻找“真正的嵌入”或至少是“直接链接”,就像我在图像方面发现的那样:http : //1drv.ms/1PbOhF8,其中直接链接是:https://u6gkqq.dm2303.livefilestore .com/y3mtdqmTctG9LFmZ_HLl1tYgUkWTiB8xkCZ0-nOKP2_SLzkuVXtzJzhavaA8axBWlqrVezVbDjA4bO-8AJjbVSp_Yc3luKWSiMVuhvRhnvYFie_FfOEQldmztKVtOlxGrG18AIftsAbOwfXOR rB8TZ1EPZYFmKQ6KfmA8Q2TWqStxE/%D0%9D%D1%8C%D1%8E-%D0%99%D0%BE%D1%80%D0%BA-%D0%B0%D0%BC%D0% B5%D1%80%D0%B8%D0%BA%D0%B0-%D0%BA%D1%80%D0%B0%D1%81%D0%B8%D0%B2%D1%8B%D0%B5 -%D0%BA%D0%B0%D1%80%D1%82%D0%B8%D0%BD%D0%BA%D0%B8-倾斜-移位-2344711.jpeg?psid=1

我的意思是,必须有一种方法如何真正获得存储文件的直接链接,即使它是视频,对吧?

我什至尝试将视频插入我的桌面 MS PowerPoint …

html cloud iframe onedrive

5
推荐指数
2
解决办法
1万
查看次数

Google Cloud Compute Engine 定价是否取决于处理器使用情况?

过去几个月我一直在使用 Google Cloud Compute Engine,但由于其 60 天积分系统,我还不需要支付任何费用。然而,现在我正在考虑实际支付服务费用,我试图更好地了解定价结构的运作方式。

据我了解,不同的机器类型具有不同的每小时成本,并且这些每小时成本可能会根据各种折扣(例如持续使用折扣)而有所不同。但我仍然不完全清楚的一件事是,处理器使用、RAM 使用或 SSD 使用等因素是否对成本有影响,或者成本是否仅取决于给定实例的启动和运行时间。

例如,如果其中一台连续运行的n1-standard-4服务器的所有四个核心 24/7 都以 100% 的速度运行,那么在一个月的时间内,我是否应该看到两台服务器之间的总体成本存在差异?另一个大部分时间闲着?

cloud google-compute-engine price

5
推荐指数
1
解决办法
1477
查看次数

AWS - Cognito 联合身份

我创建了一个联合身份,其中包含:

  1. 身份池 ID us-west-2:XXXX-XXXXXXX-XXXX-XXXX-XXXX
  2. 用户池 ID us-west-2_XXXXXXXXX
  3. 应用客户端 ID XXXXXX

当我尝试使用身份池 ID连接到:https : //cognito-idp.us-west-2.amazonaws.com/us-west-2 : XXXX-XXXXXXX-XXXX-XXXX-XXXX/.well-known/ jwks.json

我得到:

{"message":"1 validation error detected: Value 'us-west-2:XXXX-XXXXXXX-XXXX-XXXX-XXXX' at 'userPoolId' failed to satisfy constraint: Member must satisfy regular expression pattern: [\\w-]+_[0-9a-zA-Z]+"}
Run Code Online (Sandbox Code Playgroud)

如果我尝试使用用户池 ID us-west-2_XXXXXXXXX https://cognito-idp.us-west-2.amazonaws.com/us-west-2_xxxxxxxxxxxxxxx/.well-known/jwks.json

{"message":"User pool us-west-2_ does not exist."}
Run Code Online (Sandbox Code Playgroud)

我怎样才能解决这个问题?

cloud authentication amazon-web-services amazon-cognito

5
推荐指数
1
解决办法
246
查看次数