我已经建立了一个小型Hadoop集群进行测试.使用NameNode(1台机器),SecondaryNameNode(1)和所有DataNodes(3),安装程序运行良好.这些机器被命名为"master","secondary"和"data01","data02"和"data03".所有DNS都已正确设置,无密码SSH已从主/备用配置到所有计算机并返回.
我使用了格式化集群bin/hadoop namenode -format,然后启动所有服务bin/start-all.sh.检查所有节点上的所有进程是否已启动并运行jps.我的基本配置文件如下所示:
<!-- conf/core-site.xml -->
<configuration>
<property>
<name>fs.default.name</name>
<!--
on the master it's localhost
on the others it's the master's DNS
(ping works from everywhere)
-->
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<!-- I picked /hdfs for the root FS -->
<value>/hdfs/tmp</value>
</property>
</configuration>
<!-- conf/hdfs-site.xml -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
# conf/masters
secondary
# conf/slaves
data01
data02
data03
Run Code Online (Sandbox Code Playgroud)
我现在只是想让HDFS正常运行.
我已经创建了一个用于测试的目录hadoop fs -mkdir …
我把它发布到CouchDB-Users邮件列表中,但我想我会把网络扩大一点.
[由于stackoverflow的新用户垃圾邮件规则导致链接被破坏:-(]
希望你们中的一个聪明的人可以提供帮助(或者至少有人可以明确地告诉我我要做的事情是不可能的,而且我将不得不考虑替代方案......我听说MySQL正在接受( - :) .
背景信息:我在这里设置了一个示例数据库:scoates-test.couchone.com/_utils/database.html?follow/scoates-test.couchone.com/follow
我有两种类型的文件.type = user和type = asset.
示例用户:scoates-test.couchone.com/_utils/document.html?follow/c988a29740241c7d20fc7974be05f67d
示例资产:scoates-test.couchone.com/_utils/document.html?follow/c988a29740241c7d20fc7974be061d62
用户可以关注其他用户(type =用户文档的"关注"字段).上面的示例用户(username = bob)是"跟随"2个用户:
"following": [
"c988a29740241c7d20fc7974be05ec54", // username=aaron
"c988a29740241c7d20fc7974be060bb4" // username=dale
]
Run Code Online (Sandbox Code Playgroud)
资产由特定用户拥有.以上示例资产归c988a29740241c7d20fc7974be061d62所有(用户名= bob).
希望这是有道理的.
我想请求属于bob跟随的用户的资产(aaron和dale),我不能把手指放在允许这个的视图代码上.我可以轻松地发出属于c988a29740241c7d20fc7974be05f67d的所有资产.
我可以在两个请求中做到这一点.首先,我向CouchDB询问c988a29740241c7d20fc7974be05f67d,然后将以下内容作为"键"发布到返回属于这些键的资产的视图,但是您会注意到我的type = assets文档也有一个"when"字段,并且我希望能够通过发出[doc.owner,doc.when]作为密钥,然后使用startKey/endKey来订购.因此,我认为密钥的POST已经出来了.
我可以加入应用程序端(查询以下密钥,为每个密钥发出一个请求,然后在应用程序端排序),但这会严重破坏分页(我需要为每个密钥请求pageSize的限制)以下),并且非常快速地失控(如果用户跟踪1000个用户,那么每页有10,000个记录).
这些解决方案都不适合我.我想在 CouchDB中做到这一点.
我真的很难过.请帮忙.
小号
登录Google后,Google主页会链接到其他多项服务(例如Gmail,Play,Drive).
Q1)是否有SOA模式描述了他们为每个服务松散地耦合UI的方式,但同时还提供了标准菜单栏,标准外观和整个应用程序的单点登录?
Q2)是否有可用的文档描述了用于链接UI内容的架构?
编辑
我已经看过Firebug,看起来菜单栏和应用程序之间存在双向关系.菜单栏有每个应用程序的链接,但每个应用程序也包含菜单栏.
我可以将它与eclipse UI 相关联,其中应用程序可以为应用程序菜单做出贡献,但每个菜单都存在于eclipse应用程序的上下文中,该应用程序聚合了所有单独的UI插件.
那么谷歌如何在他们的UI中做到这一点?看起来有一些javascript魔法正在进行,菜单栏被注入到每个应用程序中.
我正在开发一个SPA,我想使用多个主视图.这是我的用例:
我有一个有个人资料页面的用户.在该个人资料页面中,我希望能够显示几个不同的视图,即.细节,作品,联系信息等.我需要能够深入链接到每个视图.这些视图中的每一个都必须显示主布局视图中的基本用户数据.
我的理解是我应该使用compose这个并且我有一些似乎有用的代码,但是,我希望能够将数据从"辅助shell"传递到实际的子视图.似乎splat数据不会传递给子视图模型的activate方法.
在我的"master"viewmodel中,我创建了一个名为activeView的observable,它包含一个对应于子视图模型的字符串(viewmodels/user/details).然后,我有一个敲门声明如下:
<!-- ko compose: {
model: activeView(),
activate: true
} --><!-- /ko -->
Run Code Online (Sandbox Code Playgroud)
如何将数据传递到子视图?或者有更好的方法吗?
提前致谢!
我在DB2中创建了名为" TestDB"的本地数据库,然后我创建了一个名为" TestTable"的表.
我发现该表放在模式名称下面是" yasmin".
我正在尝试连接到DB2数据库,JDBC但我得到了这个例外
R SQLException information
[1/4/14 11:32:59:289 EST] 0000004d SystemErr R Error msg: DB2 SQL Error: SQLCODE=-204, SQLSTATE=42704, SQLERRMC=DB2ADMIN.TESTTABLE, DRIVER=3.61.86
[1/4/14 11:32:59:290 EST] 0000004d SystemErr R SQLSTATE: 42704
[1/4/14 11:32:59:290 EST] 0000004d SystemErr R Error code: -204
[1/4/14 11:32:59:290 EST] 0000004d SystemErr R com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error: SQLCODE=-204, SQLSTATE=42704, SQLERRMC=DB2ADMIN.TESTTABLE, DRIVER=3.61.86
Run Code Online (Sandbox Code Playgroud)
我在互联网上尝试了很多解决方案,就像设置架构一样,但遗憾的是不行.
这是我使用的JDBC代码
String urlPrefix = "jdbc:db2:";
String url;
String user;
String password;
String empNo;
Connection con;
Statement stmt; …Run Code Online (Sandbox Code Playgroud) 我有一个~300Mb压缩的本地文件,我添加到docker镜像.然后下一个状态提取图像.
问题是ADD语句导致提交,导致新的文件系统层使图像大于它需要的300Mb.
ADD /files/apache-stratos.zip /opt/apache-stratos.zip
RUN unzip -q apache-stratos.zip && \
rm apache-stratos.zip && \
mv apache-stratos-* apache-stratos
Run Code Online (Sandbox Code Playgroud)
问题:ADD本地文件是否有解决办法而不会导致提交?
一种选择是python -m SimpleHTTPServer在启动docker构建之前运行一个简单的Web服务器(例如),然后使用它wget来检索文件,但这看起来有点乱:
RUN wget http://localhost:8000/apache-stratos.zip && \
unzip -q apache-stratos.zip && \
rm apache-stratos.zip && \
mv apache-stratos-* apache-stratos
Run Code Online (Sandbox Code Playgroud)
另一个选择是在容器启动时提取压缩文件而不是构建时间,但我希望尽可能快地保持启动.
我想使用python解析批处理脚本中的JSON,例如:
HOSTNAME=$(curl -s ${HOST} | python ?)
Run Code Online (Sandbox Code Playgroud)
curl的JSON输出如下所示:
'{"hostname":"test","domainname":"example.com"}'
Run Code Online (Sandbox Code Playgroud)
如何使用单行python命令执行此操作?
zeppelin R解释器文档说明:
If you return a data.frame, Zeppelin will attempt to display it using Zeppelin's built-in visualizations.
Run Code Online (Sandbox Code Playgroud)
这可以在文档示例中看到:
但是,当我尝试从我的zeppelin 0.6.0笔记本运行相同的R命令时,我看到以下内容:
知道为什么我没有看到表格输出吗?
我可以pip3 install --user mypackage使用以下命令确定 pip 安装包二进制文件/脚本的位置:
$(python3 -m site --user-base)/bin
Run Code Online (Sandbox Code Playgroud)
是否有一种机制可以确定非用户二进制文件/脚本的安装位置(例如pip3 install mypackage)?
请注意,我只对二进制文件/脚本的安装位置感兴趣,而不是库代码的安装位置感兴趣。
更新:
目标是确保 PATH 环境变量包含安装二进制文件/脚本的文件夹,因为这在过去给我带来了一些问题。
更新2:
$ python3 -c "import sysconfig; print(sysconfig.get_path('scripts'))"
/usr/local/Cellar/python@3.8/3.8.5/Frameworks/Python.framework/Versions/3.8/bin
$ python3 -c "from pip._internal.locations import bin_py; print(bin_py)"
/usr/local/Cellar/python@3.8/3.8.5/Frameworks/Python.framework/Versions/3.8/bin
Run Code Online (Sandbox Code Playgroud)
但是,pip3 安装到/usr/local/bin
注意:
$ which pip3
/usr/local/bin/pip3
$ which python3
/usr/local/bin/python3
Run Code Online (Sandbox Code Playgroud) architecture ×1
couchdb ×1
db2 ×1
docker ×1
dockerfile ×1
durandal ×1
hadoop ×1
hdfs ×1
java ×1
javascript ×1
jdbc ×1
json ×1
knockout.js ×1
networking ×1
pip ×1
port ×1
python ×1
python-3.x ×1
sammy.js ×1
soa ×1
sparkr ×1
vagrant ×1