小编Chr*_*now的帖子

Hadoop HDFS - 无法连接到master上的端口

我已经建立了一个小型Hadoop集群进行测试.使用NameNode(1台机器),SecondaryNameNode(1)和所有DataNodes(3),安装程序运行良好.这些机器被命名为"master","secondary"和"data01","data02"和"data03".所有DNS都已正确设置,无密码SSH已从主/备用配置到所有计算机并返回.

我使用了格式化集群bin/hadoop namenode -format,然后启动所有服务bin/start-all.sh.检查所有节点上的所有进程是否已启动并运行jps.我的基本配置文件如下所示:

<!-- conf/core-site.xml -->
<configuration>
  <property>
    <name>fs.default.name</name>
    <!-- 
      on the master it's localhost
      on the others it's the master's DNS
      (ping works from everywhere)
    -->
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <!-- I picked /hdfs for the root FS -->
    <value>/hdfs/tmp</value>
  </property>
</configuration>

<!-- conf/hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.name.dir</name>
    <value>/hdfs/name</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>/hdfs/data</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

# conf/masters
secondary

# conf/slaves
data01
data02
data03
Run Code Online (Sandbox Code Playgroud)

我现在只是想让HDFS正常运行.

我已经创建了一个用于测试的目录hadoop fs -mkdir …

port networking hadoop hdfs

9
推荐指数
1
解决办法
2万
查看次数

CouchDB视图:连接和子查询

我把它发布到CouchDB-Users邮件列表中,但我想我会把网络扩大一点.

[由于stackoverflow的新用户垃圾邮件规则导致链接被破坏:-(]

希望你们中的一个聪明的人可以提供帮助(或者至少有人可以明确地告诉我我要做的事情是不可能的,而且我将不得不考虑替代方案......我听说MySQL正在接受( - :) .

背景信息:我在这里设置了一个示例数据库:scoates-test.couchone.com/_utils/database.html?follow/scoates-test.couchone.com/follow

我有两种类型的文件.type = user和type = asset.

示例用户:scoates-test.couchone.com/_utils/document.html?follow/c988a29740241c7d20fc7974be05f67d

示例资产:scoates-test.couchone.com/_utils/document.html?follow/c988a29740241c7d20fc7974be061d62

用户可以关注其他用户(type =用户文档的"关注"字段).上面的示例用户(username = bob)是"跟随"2个用户:

"following": [
   "c988a29740241c7d20fc7974be05ec54", // username=aaron
   "c988a29740241c7d20fc7974be060bb4" // username=dale
]
Run Code Online (Sandbox Code Playgroud)

资产由特定用户拥有.以上示例资产归c988a29740241c7d20fc7974be061d62所有(用户名= bob).

希望这是有道理的.

我想请求属于bob跟随的用户的资产(aaron和dale),我不能把手指放在允许这个的视图代码上.我可以轻松地发出属于c988a29740241c7d20fc7974be05f67d的所有资产.

可以在两个请求中做到这一点.首先,我向CouchDB询问c988a29740241c7d20fc7974be05f67d,然后将以下内容作为"键"发布到返回属于这些键的资产的视图,但是您会注意到我的type = assets文档也有一个"when"字段,并且我希望能够通过发出[doc.owner,doc.when]作为密钥,然后使用startKey/endKey来订购.因此,我认为密钥的POST已经出来了.

可以加入应用程序端(查询以下密钥,为每个密钥发出一个请求,然后在应用程序端排序),但这会严重破坏分页(我需要为每个密钥请求pageSize的限制)以下),并且非常快速地失控(如果用户跟踪1000个用户,那么每页有10,000个记录).

这些解决方案都不适合我.我想 CouchDB中做到这一点.

我真的很难过.请帮忙.

小号

couchdb

8
推荐指数
1
解决办法
4489
查看次数

谷歌的soa架构 - 聚合谷歌的网络用户界面的内容

登录Google后,Google主页会链接到其他多项服务(例如Gmail,Play,Drive).

Q1)是否有SOA模式描述了他们为每个服务松散地耦合UI的方式,但同时还提供了标准菜单栏,标准外观和整个应用程序的单点登录?

Q2)是否有可用的文档描述了用于链接UI内容的架构?

编辑

我已经看过Firebug,看起来菜单栏和应用程序之间存在双向关系.菜单栏有每个应用程序的链接,但每个应用程序也包含菜单栏.

我可以将它与eclipse UI 相关联,其中应用程序可以为应用程序菜单做出贡献,但每个菜单都存在于eclipse应用程序的上下文中,该应用程序聚合了所有单独的UI插件.

那么谷歌如何在他们的UI中做到这一点?看起来有一些javascript魔法正在进行,菜单栏被注入到每个应用程序中.

javascript architecture soa design-patterns

8
推荐指数
1
解决办法
1012
查看次数

Durandal多主页

我正在开发一个SPA,我想使用多个主视图.这是我的用例:

我有一个有个人资料页面的用户.在该个人资料页面中,我希望能够显示几个不同的视图,即.细节,作品,联系信息等.我需要能够深入链接到每个视图.这些视图中的每一个都必须显示主布局视图中的基本用户数据.

我的理解是我应该使用compose这个并且我有一些似乎有用的代码,但是,我希望能够将数据从"辅助shell"传递到实际的子视图.似乎splat数据不会传递给子视图模型的activate方法.

在我的"master"viewmodel中,我创建了一个名为activeView的observable,它包含一个对应于子视图模型的字符串(viewmodels/user/details).然后,我有一个敲门声明如下:

<!-- ko compose: {
    model: activeView(),        
    activate: true
} --><!-- /ko -->
Run Code Online (Sandbox Code Playgroud)

如何将数据传递到子视图?或者有更好的方法吗?

提前致谢!

sammy.js knockout.js single-page-application durandal

8
推荐指数
1
解决办法
2762
查看次数

DB2 SQL错误:SQLCODE = -204,SQLSTATE = 42704

我在DB2中创建了名为" TestDB"的本地数据库,然后我创建了一个名为" TestTable"的表.
我发现该表放在模式名称下面是" yasmin".
我正在尝试连接到DB2数据库,JDBC但我得到了这个例外

    R SQLException information
[1/4/14 11:32:59:289 EST] 0000004d SystemErr     R Error msg: DB2 SQL Error: SQLCODE=-204, SQLSTATE=42704, SQLERRMC=DB2ADMIN.TESTTABLE, DRIVER=3.61.86
[1/4/14 11:32:59:290 EST] 0000004d SystemErr     R SQLSTATE: 42704
[1/4/14 11:32:59:290 EST] 0000004d SystemErr     R Error code: -204
[1/4/14 11:32:59:290 EST] 0000004d SystemErr     R com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error: SQLCODE=-204, SQLSTATE=42704, SQLERRMC=DB2ADMIN.TESTTABLE, DRIVER=3.61.86
Run Code Online (Sandbox Code Playgroud)

我在互联网上尝试了很多解决方案,就像设置架构一样,但遗憾的是不行.

这是我使用的JDBC代码

 String urlPrefix = "jdbc:db2:";
        String url;
        String user;
        String password;
        String empNo;                                                              
        Connection con;
        Statement stmt; …
Run Code Online (Sandbox Code Playgroud)

java db2 jdbc

8
推荐指数
2
解决办法
8万
查看次数

流浪汉api文档在哪里?

Ruby有一套全面的API文档,例如这里.

Vagrant的API文档在哪里?我唯一能找到的是代码,但这不能代替API文档.

vagrant

8
推荐指数
1
解决办法
2762
查看次数

Docker如何添加文件而不将其提交给图像?

我有一个~300Mb压缩的本地文件,我添加到docker镜像.然后下一个状态提取图像.

问题是ADD语句导致提交,导致新的文件系统层使图像大于它需要的300Mb.

ADD /files/apache-stratos.zip /opt/apache-stratos.zip
RUN unzip -q apache-stratos.zip && \
    rm apache-stratos.zip && \
    mv apache-stratos-* apache-stratos
Run Code Online (Sandbox Code Playgroud)

问题:ADD本地文件是否有解决办法而不会导致提交?

一种选择是python -m SimpleHTTPServer在启动docker构建之前运行一个简单的Web服务器(例如),然后使用它wget来检索文件,但这看起来有点乱:

RUN wget http://localhost:8000/apache-stratos.zip && \
    unzip -q apache-stratos.zip && \
    rm apache-stratos.zip && \
    mv apache-stratos-* apache-stratos
Run Code Online (Sandbox Code Playgroud)

另一个选择是在容器启动时提取压缩文件而不是构建时间,但我希望尽可能快地保持启动.

docker dockerfile

8
推荐指数
2
解决办法
2万
查看次数

如何使用单行python命令解析json?

我想使用python解析批处理脚本中的JSON,例如:

HOSTNAME=$(curl -s ${HOST} | python ?)
Run Code Online (Sandbox Code Playgroud)

curl的JSON输出如下所示:

'{"hostname":"test","domainname":"example.com"}'
Run Code Online (Sandbox Code Playgroud)

如何使用单行python命令执行此操作?

python json

8
推荐指数
3
解决办法
8601
查看次数

带有sparkr的zeppelin不会将数据帧显示为表

zeppelin R解释器文档说明:

If you return a data.frame, Zeppelin will attempt to display it using Zeppelin's built-in visualizations.
Run Code Online (Sandbox Code Playgroud)

这可以在文档示例中看到:

在此输入图像描述

但是,当我尝试从我的zeppelin 0.6.0笔记本运行相同的R命令时,我看到以下内容:

在此输入图像描述

知道为什么我没有看到表格输出吗?

apache-zeppelin sparkr

8
推荐指数
1
解决办法
986
查看次数

如何确定 pip3 在何处安装非用户安装的二进制文件/脚本?

我可以pip3 install --user mypackage使用以下命令确定 pip 安装包二进制文件/脚本的位置:

$(python3 -m site --user-base)/bin
Run Code Online (Sandbox Code Playgroud)

是否有一种机制可以确定非用户二进制文件/脚本的安装位置(例如pip3 install mypackage)?

请注意,我只对二进制文件/脚本的安装位置感兴趣,而不是库代码的安装位置感兴趣。

更新:

目标是确保 PATH 环境变量包含安装二进制文件/脚本的文件夹,因为这在过去给我带来了一些问题。

更新2:

$ python3 -c "import sysconfig; print(sysconfig.get_path('scripts'))"
/usr/local/Cellar/python@3.8/3.8.5/Frameworks/Python.framework/Versions/3.8/bin

$ python3 -c "from pip._internal.locations import bin_py; print(bin_py)"
/usr/local/Cellar/python@3.8/3.8.5/Frameworks/Python.framework/Versions/3.8/bin
Run Code Online (Sandbox Code Playgroud)

但是,pip3 安装到/usr/local/bin

注意:

$ which pip3
/usr/local/bin/pip3
$ which python3
/usr/local/bin/python3
Run Code Online (Sandbox Code Playgroud)

pip python-3.x

8
推荐指数
2
解决办法
3283
查看次数