标签: bucket

如果我的AWS账户中有一个我具有读/写访问权限的按钮,有没有办法获得所有者的CanonicalUser ID？

除非您是所有者,否则读取ACL策略似乎是不可能的:/.

对于允许将单个riak存储桶备份(通过流式传输或快照)到文件的解决方案,您有什么建议？

假设我需要在Hashset中存储1000个对象,我是否有1000个桶包含每个对象(通过为每个对象生成哈希码的唯一值)或者有10个桶大致包含100个对象？

拥有唯一存储桶的一个优点是我可以在调用equals()方法时节省执行周期吗？

为什么设置数量的桶并尽可能均匀地分配对象是非常重要的？

什么应该是理想的铲斗比率？

我在Couchbase中有两个桶,一个是Couchbase类型,另一个是Memcachced类型:当我运行我的测试时,我收到一个错误:元素服务器可能只在本节中出现一次.以下是我的配置:

  <couchbase>
    <servers bucket="RepositoryCache" bucketPassword="">
      <add uri="http://127.0.0.1:8091/pools/default"/>
    </servers>

    <servers bucket="default" bucketPassword="">
      <add uri="http://127.0.0.1:8091/pools/default"/>
    </servers>
  </couchbase>

 How to configure multiple buckets and resolve the issue? I hv read the manual and I could not find much help.

更新的问题

在我的查询中，我先聚合日期，然后聚合传感器名称。是否可以根据父存储桶的嵌套聚合和文档总数（或任何其他聚合）计算比率？查询示例：

{
  "size": 0,
  "aggs": {
    "over_time": {
      "aggs": {
        "by_date": {
          "date_histogram": {
            "field": "date",
            "interval": "1d",
            "min_doc_count": 0
          },
          "aggs": {
            "measure_count": {
              "cardinality": {
                "field": "date"
              }
            },
            "all_count": {
              "value_count": {
                "field": "name"
              }
            },
            "by_name": {
              "terms": {
                "field": "name",
                "size": 0
              },
              "aggs": {
                "count_by_name": {
                  "value_count": {
                    "field": "name"
                  }
                },
                "my ratio": count_by_name / all_count * 100 <-- How to do that?
              }
            }
          }
        }
      }
    }
  }
}

我想要一个自定义指标，它可以给出count_by_name …

我有一个HashMap.它有16个桶(默认情况下).现在有两个具有不同hashCodes的密钥可能是同一个桶的一部分吗？或者它总是为不同的hashCode创建一个新的桶,这样HashMap扩展了桶的大小？

阅读很多帖子,但只是困惑自己.

我正在尝试在相当大的数据集上使用 Spark 的bucketBy功能。

dataframe.write()
    .format("parquet")
    .bucketBy(500, bucketColumn1, bucketColumn2)
    .mode(SaveMode.Overwrite)
    .option("path", "s3://my-bucket")
    .saveAsTable("my_table");

问题是我的 Spark 集群有大约 500 个分区/任务/执行器（不确定术语），所以我最终得到的文件如下所示：

part-00001-{UUID}_00001.c000.snappy.parquet
part-00001-{UUID}_00002.c000.snappy.parquet
...
part-00001-{UUID}_00500.c000.snappy.parquet

part-00002-{UUID}_00001.c000.snappy.parquet
part-00002-{UUID}_00002.c000.snappy.parquet
...
part-00002-{UUID}_00500.c000.snappy.parquet

part-00500-{UUID}_00001.c000.snappy.parquet
part-00500-{UUID}_00002.c000.snappy.parquet
...
part-00500-{UUID}_00500.c000.snappy.parquet

这是 500x500=250000 个分桶镶木地板文件！FileOutputCommitter将其提交到 S3需要很长时间。

有没有一种方法可以像 Hive 一样为每个存储桶生成一个文件？或者有更好的方法来处理这个问题吗？截至目前，我似乎必须在降低集群的并行性（减少编写器数量）或减少镶木地板文件的并行性（减少存储桶数量）之间做出选择。

谢谢

我们如何使用 gsutil 命令创建文件夹。我在气流中使用 Bashoperator，需要使用 gsutil Bash 命令，存储桶已创建，我想在存储桶内创建一个文件夹。我已经尝试过以下命令，但它对我不起作用。

$ gsutil cp <new_folder> gs://<bucketname>/  

我收到错误 - CommandException：没有匹配的 URL：new_folder

如果你把一个存储桶设置为静态网站，有没有办法追踪谁访问过它？例如 IP 地址、查看时间等...

我查看了 stackdriver 日志，但它只显示事件，例如创建存储桶、上传文件等...

我正在尝试将一些 Google Play 报告加载到我的 BigQuery 项目中，但在 Could Storage 中查找存储桶时遇到问题。

1. 我已在 Google Play 控制台中复制了 Cloud Storage URL（gs://pubsite_prod_rev_... 格式）
2. 当我打开 Cloud Storage 时，此存储桶不在可用存储桶列表中。
3. 但是，如果我在从存储桶到数据集的数据传输中输入此 URL，它将起作用（尽管并非所有报告都会加载到我的数据集:( ）
4. 如果我在从存储桶到存储桶的数据传输中输入此 URL，它将不起作用，因为传输缺乏对源存储桶的某些权限。但我无法更改此 Google Play 存储桶的权限，因为我在存储桶列表中看不到它。

所以我的问题是 - 这个存储桶没有显示在我的存储中的原因是什么以及如何访问它？

谢谢！