小编Sha*_*baz的帖子

是否有一个项目有助于在办公桌面上闲置时设置Hadoop集群？

我想试验Hadoop/MR/hbase,但没有访问5-10台计算机.工作中的计算机在数小时后处于空闲状态,并通过非常高速的连接相互连接.更重要的是,这些计算机上的数据保留在我们的网络中,因此没有隐私问题.

为了实现这一点,我需要在每台机器上运行相当轻量级的监视器.当计算机空闲X小时后,它将加入群集.如果用户登录,则必须退出群集并返回所有CPU /内存.

这样的事情存在吗？

我有一个 Firebase 云（可调用）函数，它删除一个 Firestore 文档和所有子实体，包括子集合。我通过稍微修改他们的文档中提供我的 firebase 的功能来做到这一点：https : //firebase.google.com/docs/firestore/solutions/delete-collections

重要的一点在这里：

...
return firebase_tools.firestore
      .delete(path, {
        project: process.env.GCLOUD_PROJECT,
        recursive: true,
        yes: true,
        token: functions.config().fb.token
      })
...

当我从我的网页调用此函数时（在用户验证之后），Web 客户端会抛出一个错误，表明远程函数导致了错误。在 firebase 控制台中，我发现了这个错误：

Unhandled error TypeError: Cannot read property 'token' of undefined

这是指向在上面的代码段的行：token: functions.config().fb.token。.fb空值也是如此。

这里发生了什么？

在网上搜索可以告诉我一些有关login:ci命令行的信息，但是尽管我是在我的笔记本电脑上开发它，但在部署应用程序时，将没有命令行。该网站将在 Firebase 托管上。它调用 firebase 云函数。我正在使用 firebase auth 进行用户身份验证（电子邮件/密码）并将数据存储在 firestore 中。

此外，我已经在我的命令行上启用了，因为我可以做得firebase deploy --only functions很好。我如何确保functions.config().fb不返回空值？

我在Java中处理财务应用程序并且正确地获得并发是痛苦的.Erlang和actors模型应该适合大规模并发应用程序,但我无法弄清楚如何在Java中实现它.我知道有一些库,如Jetlang,FunctionalJava,kilim等,但它们通常不会超越简单的例子.

假设我需要处理三个或四个不同的事件,比如从市场数据源,订单/交易源和"输出"这些数据的某些衍生物中计算一些数字.大多数情况下,这些事件或数据流需要按顺序处理(至少按照某些键的顺序进行处理...例如,必须按顺序处理特定符号的所有订单,但与尊重不相关的符号)

我使用改变状态的方法创建一个普通的Java对象.我不是让这些方法直接改变状态,而是将它们的参数(通过将它们转换为命令对象)放在fifo队列(erlang的邮箱)中,并使用react()方法处理该队列.这样,所有更新都必须通过单个队列,并且react()方法一次只能访问一个更新.从理论上讲,这应该可以节省锁定或同步此方法的需要.

但是,此队列基本上是生产者/消费者队列,这意味着它是阻塞队列.阻塞对于可伸缩性来说非常糟糕.此外,拥有一个队列意味着我的所有更新命令对象(不同类型)都从队列中带出一些过于通用的超类型(如Object),我必须将它们转换回正确的类型并让react()处理它们.

一旦这个actor化对象产生一个输出,由另一个这样的对象消耗,我就会经历同一个过程.换句话说,我已经将编程模型从面向对象改变为返回结果的方法,以及某种延续传递噩梦,其中我的所有方法都变为异步.

我有什么想法可以解决这个问题吗？

大约一个月前,我建立了一个使用谷歌云存储的静态网站.在我创建公共存储桶之前,我被要求验证我实际拥有的域名,之后我命名了存储桶.我必须将文件从谷歌上传到现有主机,以便谷歌验证域名所有权.

我确实理解这样做的必要性.但是,如果我刚刚购买了一个域名并且没有其他主机,我就不会看到我能够如何证明我拥有该域名.

我是否错过了解决此限制的方法？是否有另一种更加用户友好的方式在谷歌云存储上创建公共网站？

我不是perl程序员,但需要调试错误.我正在使用网络:SFTP:外包.

当我尝试获取文件时,以下调用失败:

$ sftp-> get(source,destination)或者{print"出错了."}

这一行返回"出错了".我想要的是找出出了什么问题!我怎样才能找出失败的原因？

顺便说一句,这个脚本已经工作了几个月没有错误.该脚本非常可靠,我只是不知道如何捕获失败的原因.

我的笔记本电脑和台式机显示器比它们更高.当我查看代码时,屏幕的一半到二分之一是空的,没有代码.这太傻了.

我想看看如何扩展eclipse的编辑器以在多列中显示数据.

如果有人知道我应该查找什么API或任何其他资源,请指出它们.

谢谢

我想使用postgresql的一些功能,特别是我的数据集上的crosstab/pivot.像pgsql这样的数据库处理大型交叉表比使用Python的熊猫等仅仅内存的工具要好得多.但是,我不想安装和管理pgsql服务器.

有没有办法将pgsql的查询引擎用作python(或其他语言)库？

以下是monetdb发行版(称为monetdb-lite)的示例,可用作python库:https://www.monetdb.org/blog/monetdblite-for-python

有几个高质量的框架可以隐藏基于NIO的网络编程(mina,netty,grizzly等)的复杂性.是否有类似的框架可以简化基于NIO的文件系统编程？

例如,作为一个学习练习,我想基于这篇(真棒!)文章实现一个磁盘支持的Map:http://www.javaworld.com/javaworld/jw-01-1999/jw-01-step. HTML.

我有一些数据在未压缩的文件中占用超过50MB,但压缩到不到半个MB使用gzip.

其中大部分是数字数据.我试图弄清楚如何处理这些数据而不必完全解压缩.例如,如果这个数据包含几个字符串和每个记录5个左右的数值,有没有办法可以解压缩一行(或一小组行),处理它们,然后丢弃它们？

UNIX提供实用程序,如zcat,grep等,直接对压缩数据进行操作,我想这样做在Java中.

谢谢

我最近开始尝试使用Flatbuffers，并且遇到了一个非常奇怪的问题。我能够将Flatb模式转换为c ++并编译我的c ++代码（包括生成的c ++）而不会出错。我什至可以使用flatbuffers编码对象MyEventBuilder(...)。但是，没有相应的GetMyEvent(...)方法！

我GetMyEvent在flatc生成的.h文件中进行了搜索，但没有显示任何相关信息。显然我做错了，对于它来说，要成为一个bug实在太大了。但是，我非常关注文档。我也将此问题发布在flatbuffers谷歌组中，目前没有任何回复。

其他人看到了吗？有什么想法会导致这种情况（我希望并假设这只是我的愚蠢错误，而不是平面缓冲区问题）？

TLDR：flatb生成一种将我的c ++对象编码为字节数组的方法，而不是一种将字节数组转换回c ++对象的方法！

我觉得我有一个相当简单的SQL问题要解决，只是不知道如何正确地搜索它。

假设我有一张表格，其中的值是根据时间更新的：

|timestamp|value|session|
|---------|-----|-------|
| ts1     | v1  |  s1   |
| ts2     | v2  |  s1   |
| ts3     | v3  |  s1   |
| ...     | ..  |  s2   |

我想获取当前值和以前的值以及相关的时间戳。

因此结果应为：

|timestamp_current|value_current|timestamp_prev|value_prev|
|-----------------|-------------|--------------|----------|
|      ts2        |      v2     |    ts1       |    v1    |
|      ts3        |      v3     |    ts2       |    v2    |
|      ...        |      ..     |    ...       |    ..    |

我认为以下查询是正确的，如果我只是想获取先前的值，而不是先前的时间戳：

select timestamp, value, lag(value,1) over (partition by (session) order by timestamp) from mytable

但是，从上一行中添加两个值的正确方法是什么，是否添加两个 …

我很难让jekyll将_posts目录中的帖子转换为html.它正确生成index.md,但不为帖子生成任何内容.当我添加'source:_posts'然后它转换帖子,但不转换index.md.

据我所知,'source'应该不会添加到_config.yml中,而应该指向'.'

我的目录结构很标准:

$ find .|fgrep -v bootstrap
.
./index.md
./_config.yml
./_drafts
./_includes
./_includes/footer.html
./_includes/header.html
./_layouts
./_layouts/default.html
./_posts
./_posts/2013--02-25-test-blog.md
./_site
./_site/index.html

$ cat _config.yml
name: "Developer blog"
description: ""

url: "http://localhost:4000"
source: .
paginate: 10

markdown: rdiscount
permalink: pretty
pygments: true
auto: true

即使我将自动关闭,我也看不到堆栈痕迹.

$ cat _posts/2013--02-25-test-blog.md
---
layout: default
title: Testing a blog
---

#test blog

this is a test

是否有书籍或教程显示了如何正确使用asyncio的协议？Web上的所有示例都将IO混合到协议定义中！

我想编写一个解析器，该解析器进行帧解码并将消息转换为python数据结构。解析完此数据结构后，我想将其传递给client。

[       ]-->[*protocol parser*]-->[high level api]-->[           ]
[network]                                            [client code]
[       ]<--[*protocol parser*]<--[high level api]<--[           ]

相应地，高级API的客户端传递python数据结构，高级API将该数据结构传递给我的协议，该协议将其转换为正确的字节/文本表示形式并将其传递给传输层。

我假设这是首先抽象出Protocol类的目的。我不想从协议中响应连接的另一端，但这是大多数Web教程显示的内容！

此外，我想了解python世界中提供了哪个高级接口，它是回调，流接口还是其他？