小编H6.*_*H6.的帖子

我有一个包含数千个文件的存储桶.如何搜索存储桶？有推荐的工具吗？

是否有像bootstrap datepicker这样的语义ui的日期选择器？我搜索了他们的网站.但未能得到.

Jquery datepicker工作得很好,但UI对我的项目看起来并不好看.

我有一个火花批处理作业,每小时执行一次.每次运行都S3使用目录命名模式生成并存储新数据DATA/YEAR=?/MONTH=?/DATE=?/datafile.

上传数据后S3,我想使用它来调查它们Athena.更多,我想QuickSight通过连接到Athena作为数据源来将它们可视化.

问题是,每次运行我的Spark批处理后,S3Athena都不会发现存储的新生成的数据,除非我手动运行查询MSCK REPARI TABLE.

有没有办法让Athena自动更新数据,以便我可以创建一个全自动的数据可视化管道？

我有一个SQS队列,一直由数据使用者填充,我现在正在尝试使用Python的boto创建从SQS获取此数据的服务.

我设计它的方式是,我将有10-20个线程都尝试从SQS队列中读取消息,然后在返回队列以获取下一批之前执行他们必须对数据(业务逻辑)执行的操作数据一旦完成.如果没有数据,他们将等待一些数据可用.

我有两个方面我不确定这个设计

1. 是否使用long time_out值调用receive_message()并且如果在20秒内没有返回任何内容(允许的最大值),那么只需重试？或者是否存在仅在数据可用时返回的阻止方法？
2. 我注意到,一旦收到消息,它就不会从队列中删除,我是否必须收到消息,然后在收到消息后再发送另一个请求将其从队列中删除？看起来有点矫枉过正.

谢谢

我目前正在与MongoDB和Apache Cassandra分别开展一些项目.我也在使用Solr,我正在使用它们处理"大量"数据(大约1-2TB).我上周第一次听说过Greenplum和Vertica,我不太确定,把它们放在我的大脑里.他们在我看来像Dataware House(DWH)解决方案,我还没有真正使用过DWH.而且他们似乎要花很多钱(例如Greenplum的1TB存储费用为6万美元).我目前没有处理Petabyte的数据,我想不会这样做,但像cassandra这样的产品似乎也能够处理这个

Cassandra是公认的NoSQL领导者,可以轻松扩展到太字节或数PB的数据.

通过http://www.datastax.com/why-cassandra

所以我的问题是:人们为什么要使用Greenplum&Co？与其他产品相比,是否有巨大的优势？

谢谢.

我想使用Hector客户端计算Cassandra行的总列数.目前我正在做这个CountQuery,但对我来说似乎很慢.对于一排,只有6万列,它需要将近2秒.我的代码目前看起来像这样:

QueryResult<Integer> qr = HFactory.createCountQuery(ksp, se, se).
    setColumnFamily("ColumnFamily1").
    setKey("RowKey").
    setRange(null, null, 1000000000).execute();

PS:我必须将范围设置为如此高的数字,否则它只计算我最大值.我在该范围内提供的数字.

我有什么想法可以改善这个吗？

在AWS Lambda函数之间共享代码的首选方法是什么？

我有这样的结构:

• 功能
  • 一个
    • node_modules
    • index.js
    • 的package.json
  • b
    • node_modules
    • index.js
    • 的package.json
  • C
    • node_modules
    • index.js
    • 的package.json

这让每个函数都保留了自己的node_modules,我可以用CLI打包整个东西.

但是需要共享的自定义代码呢？

我可以,require("../mylibrary")但包命令仍然不包括它.

将dynamodb表的容量更改为按需后，导出dynamodb表的数据管道作业因此错误而失败。

Exception in thread "main" java.lang.RuntimeException: Read throughput should not be less than 1. Read throughput percent: 0.0
at org.apache.hadoop.dynamodb.read.AbstractDynamoDBInputFormat.getSplits(AbstractDynamoDBInputFormat.java:51)
at org.apache.hadoop.mapreduce.JobSubmitter.writeOldSplits(JobSubmitter.java:520)
at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:512)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:394)

任何解决此问题的方法？

谢谢

--gsu

我在 CDK 中写了一个堆栈，然后我生成模板并通过它进行部署

aws cloudformation deploy --template-file "$env:TEMP\template.json" --stack-name myStackName

在我的 Stack 对象中，如何检索上面传递给命令的“myStackName”？我尝试使用.Name和.StackName属性，但都没有给我这个名字。

谢谢

我在AWS中有一些lambda函数（node.js），它将连接到postgresql并执行一些查询并返回结果，所以我试图为数据库制作一个配置文件，其中包含用户，密码，数据库名称，端口...那么向所有 lambda 函数共享通用配置文件的最佳方式是什么？