标签: cloud-storage

免费的云存储提供商,其API不含oauth?

任何人都知道 免费(一些免费的卷,2-5 GB我的意思 - 连续,不仅仅是像Amazon S3这样的第一年)云存储提供商,它有一个使用oauth 的API ?

我需要从控制台服务(预定的Web浏览器和用户输入免费应用程序)进行定期备份.

我看过DropBox,Google Drive,SkyDrive和UbuntuOne.
DropBox和Google使用oAuth,我无法使用oAuth(oAuth 不是网络浏览器和用户输入免费).
UbuntuOne的"API"是一个可怕的混乱 - 根本无法使用.
SkyDrive SDK需要Windows.我在Linux服务器上有我的数据,这不会改变.

.net c# cloud backup cloud-storage

5
推荐指数
0
解决办法
869
查看次数

import cloudstorage,SyntaxError:语法无效

我想使用Google云端存储客户端库函数.

为此,我必须这样做import cloudstorage.为了让cloudstorage我下载Google云端存储客户端库.

我尝试导入cloudstorage使用python -c "import cloudstorage".我收到以下错误:

Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "/Users/fghavamian/Documents/PhD_work/Codes/python/convnet_gcloud/cloudstorage/__init__.py", line 20, in <module>
    from .api_utils import RetryParams
  File "/Users/fghavamian/Documents/PhD_work/Codes/python/convnet_gcloud/cloudstorage/api_utils.py", line 173
    except self.retriable_exceptions, e:
                                    ^
SyntaxError: invalid syntax
Run Code Online (Sandbox Code Playgroud)

我错过了什么吗?

python cloud-storage google-cloud-storage

5
推荐指数
1
解决办法
1619
查看次数

在 owncloud 中创建用户时获取状态码 997

我正在尝试通过 owncloud 用户配置 API 创建用户,当尝试请求以下 api 时:

curl -X POST http://admin:secret@localhost/owncloud/ocs/v1.php/cloud/users -d userid="user1" -d password="user1"

我得到回应:

<?xml version="1.0"?>
<ocs>
 <meta>
  <status>failure</status>
  <statuscode>997</statuscode>
  <message>Unauthorised</message>
 </meta>
 <data/>
</ocs>
Run Code Online (Sandbox Code Playgroud)

cloud cloud-storage owncloud

5
推荐指数
1
解决办法
337
查看次数

在Android应用程序中存储数据的最佳方法?

我是Android编程的新手,并试图创建一个显示预定义引号,诗歌等的应用程序.我想知道在应用程序中存储这些字符串的最佳方法是什么?SQLite数据库,XML文件,文本文件?有关云存储的任何建议以及如何在Android应用程序中实现这一点?

提前致谢!

database android cloud-storage

4
推荐指数
1
解决办法
1万
查看次数

来自 SAS url 的 Azcopy 给出错误

我正在尝试从 SAS url 位置复制到目标存储帐户。我尝试了以下命令,但几乎没有错误:

AzCopy.exe /来源:http : //www.blob.core.windows.net/vhd1/? sv=2014-02-14&sr=c&sig=xxxxxxxxxxxxxxxxx&st=2015-08-05T04%3A00%3A00Z&se=2015-049-0 %3A00%3A00Z&sp=rl /Dest: https://yyyyyyyy.blob.core.windows.net/vhds /Destkey:zzzzzzzzzzzzzzzzzzz filename1.vhd /Y

命令的语法不正确。参数“源”中的 SAS 标记无效。'sr' 不是内部或外部命令,也不是可运行的程序或批处理文件。'sig' 不是内部或外部命令,也不是可运行的程序或批处理文件。'st' 不是内部或外部命令,也不是可运行的程序或批处理文件。'se' 不是内部或外部命令,也不是可运行的程序或批处理文件。'sp' 不是内部或外部命令,也不是可运行的程序或批处理文件。

AzCopy.exe /Source: http://wwwwwwww.blob.core.windows.net/vhd1 /Dest: https://xxxxxxxxxx.blob.core.windows.net/vhds /SourceSAS:?sv=2014-02-14&sr =c&sig=yyyyyyyyyy&sp=rl /Destkey:zzzzzzzzz filename1.vhd /Y

命令的语法不正确。参数“SourceSAS”中的 SAS 标记无效。'sr' 不是内部或外部命令,也不是可运行的程序或批处理文件。'sig' 不是内部或外部命令,也不是可运行的程序或批处理文件。'st' 不是内部或外部命令,也不是可运行的程序或批处理文件。'se' 不是内部或外部命令,也不是可运行的程序或批处理文件。'sp' 不是内部或外部命令,也不是可运行的程序或批处理文件。

我想知道这些错误的原因可能是什么。

谢谢

signatures azure-storage-blobs cloud-storage azcopy

4
推荐指数
1
解决办法
9099
查看次数

将数百万个文件从S3复制到GCS的最佳方法?

我正在寻找一种将S3存储桶中的大量文件(超过1000万个)移至Google Cloud Storage的方法,但到目前为止仍然存在问题。

目前,我正在使用gsutil,因为它对S3和GCS之间的通信提供了本机支持,但是我获得的性能却不尽人意。也许我只是在做错事,但我一直在使用以下gsutil命令:

gsutil -m cp -R s3://bucket gs://bucket
Run Code Online (Sandbox Code Playgroud)

我启动了一个c3.2xlarge AWS实例(16GB 8CPU),以便可以拥有足够的功率,但是看来该包装箱的吞吐能力没有2GB 2CPU包装箱好,我不明白吗?

我一直在搞弄~/.boto配置文件,目前设置了以下选项:

parallel_process_count = 8
parallel_thread_count = 100
Run Code Online (Sandbox Code Playgroud)

我认为可以肯定的是,将线程数增加10倍会有所帮助,但是到目前为止,从我的测试来看,这并没有什么改变。还有什么可以做来提高性能的吗?

还是有更好的工具将S3数据移至GCS?我正在看SDK,并且半心想用Java编写某些东西。

amazon-s3 cloud-storage google-cloud-storage

3
推荐指数
1
解决办法
1247
查看次数

使用 DevelopmentStorage 的 CloudStorageAccount 凭据

我正在开发一个 webjob 来将项目放入队列 (C#)。我是新手,正在学习一些教程,但我不知道如何CloudStorageAccount为本地开发存储创建 a 的实例。在我的配置文件中,我有这个

<add name="AzureWebJobsStorage" connectionString="UseDevelopmentStorage=true;" />
Run Code Online (Sandbox Code Playgroud)

并且在我的 C# 方法中,我想创建一个我的实例CloudStorageAccount,就像这样

var account = new CloudStorageAccount(new StorageCredentials(accountName, accountKey), true);
Run Code Online (Sandbox Code Playgroud)

什么都要accountNameaccountKey对本地存储的发展?

azure c#-4.0 cloud-storage

3
推荐指数
1
解决办法
1639
查看次数

使用 AWS S3 存储桶的授权错误

node s3_listbuckets.js
Error TypeError [ERR_INVALID_CHAR]: Invalid character in header content ["Authorization"]
    at ClientRequest.setHeader (_http_outgoing.js:470:3)
    at new ClientRequest (_http_client.js:219:14)
    at Object.request (https.js:305:10)
    at features.constructor.handleRequest 
...
XXX
... 
{
  message: 'Invalid character in header content ["Authorization"]',
  code: 'NetworkingError',
  region: 'XXX',
  hostname: 's3.XXX.amazonaws.com',
  retryable: true,
  time: XXX
}
Run Code Online (Sandbox Code Playgroud)

javascript amazon-s3 amazon-web-services node.js cloud-storage

3
推荐指数
1
解决办法
2719
查看次数

在两个谷歌云项目之间复制数据以及以数据为中心的环境中开发和生产环境的最佳实践

我有两个问题:

  1. 由于存储桶名称是唯一的,如何在开发环境和生产环境中保持桶名称完全相同。或者基于数据的环境中开发和生产环境的最佳实践是什么?

  2. 如何将数据从一个项目复制到另一个项目。我尝试搜索,但无法找到在两个项目之间复制的有效方法。

PS:存储传输允许在同一项目内的两个存储桶之间复制,而不是跨项目。即使使用搜索选项,我也无法从不同的项目中找到存储桶。我使用 gs://another-project-bucket 进行搜索

cloud-storage google-cloud-storage google-cloud-platform

3
推荐指数
1
解决办法
8041
查看次数

Bigquery dbt_external_tables 外部数据配置

使用 dbt_external_tables 包时我需要一些帮助。

我意识到,在 GCS 中的 csv 中,有些行似乎有换行符,这在尝试查询由宏创建的表时会导致一些问题。

有时,手动进行外部表配置时,BigQuery UI 有两个选项: 允许锯齿状行 (CSV) 允许带引号的换行符 (CSV) true 我通常将这些选项设置为 true,有时问题会得到解决。我不知道如何使用 dbt_external_tables 来做到这一点。

这很重要,因为我在尝试查询 dbt 创建的表时收到此错误“读取表时出错:kpi-process.file_csv.History,错误消息:CSV 表引用列位置 9,但从位置开始的行:10956 包含只有7列。”

external-tables cloud-storage google-bigquery dbt

3
推荐指数
1
解决办法
3052
查看次数