小编vef*_*hym的帖子

这两种方法有什么区别？

一个)

<?xml version="1.0" encoding="UTF-8"?>
<rdf:RDF
    xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#"
    xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
    xmlns:tur="http://www.blah.com/turismo#">

<rdf:Description rdf:about="http://www.blah.com/turismo#plaza">
    <rdf:type rdf:resource="http://www.w3.org/2000/01/rdf-schema#Class"/>
</rdf:Description>

<rdf:Description rdf:about="http://www.blah.com/turismo#plazaSinFuente">
    <rdf:type rdf:resource="http://www.w3.org/2000/01/rdf-schema#Class"/>
    <rdfs:subClassOf rdf:resource="http://www.blah.com/turismo#plaza"/>
</rdf:Description>

b)

<rdf:RDF
   xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
   xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#"
   xmlns:tur="http://www.blah.com/turismo#">

    <rdfs:Class rdf:ID="plaza"/>

<rdfs:Class rdf:ID="plazaSinFuente">
        <rdfs:subClassOf rdf:resource="#plaza"/>
    </rdfs:Class>

我有一个16个(ubuntu 12.04服务器)节点的hadoop集群(1个主节点和15个从节点).它们通过专用网络连接,主设备也有公共IP(它属于两个网络).当我运行小任务时,即输入量小,处理时间短,一切正常.但是,当我运行更大的任务时,即使用7-8 GB的输入数据时,我的从属节点会一个接一个地开始死亡.

从web ui(http://master:50070/dfsnodelist.jsp?whatNodes=LIVE)我看到最后一次联系开始增加,从我的集群提供者的web ui,我看到节点崩溃了.这是节点的屏幕截图(我无法向上滚动):

另一台机器显示此错误,运行hadoop dfs,而没有正在运行的作业:

BUG: soft lockup - CPU#7 stuck for 27s! [java:4072]

和

BUG: soft lockup - CPU#5 stuck for 41s! [java:3309]
ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x6 frozen
ata2.00: cmd a0/00:00:00:08:00/00:00:00:00:00/a0 tag 0 pio 16392 in
         res 40/00:02:00:08:00/00:00:00:00:00/a0 Emask 0x4 (timeout)
ata2.00: status: { DRDY }

这是另一个截图(其中我没有任何意义):

这是崩溃的datanode的日志(IP 192.168.0.9):

2014-02-01 15:17:34,874 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving blk_-2375077065158517857_1818 src: /192.168.0.7:53632 dest: /192.168.0.9:50010
2014-02-01 15:20:14,187 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for blk_-2375077065158517857_1818 …

首先,我正在考虑使用什么来将事件放入Hadoop,在那里存储它们并定期对它们进行分析(可能使用Ooozie来安排定期分析)Kafka或Flume,并决定Kafka可能是一个更好的解决方案,因为我们还有一个用于执行事件处理的组件,因此以这种方式,批处理和事件处理组件以相同的方式获取数据.

但是知道我正在寻找具体的建议如何从经纪人那里获取数据到Hadoop.

我在这里发现Flume可以与Kafka结合使用

• Flume - 包含Kafka Source(消费者)和Sink(制作人)

并且在同一页面和Kafka文档中也发现了一些名为Camus的东西

• Camus - LinkedIn的Kafka => HDFS管道.这个用于LinkedIn的所有数据,效果很好.

我对能做到这一点的更好(更简单,记录更好的解决方案)感兴趣吗？此外,有任何示例或教程如何做到这一点？

我应该何时使用这种变体而不是更简单的高级消费者？

如果有另外一个/更好的解决方案而不是这两个,我会打开建议.

谢谢

在将Magento从1.7更新到1.8.1之后,我发现自己formkey在自定义主题上纠正了大部分问题.我认为现在一切正常,除了一件事:客户登录单页结账页面似乎没有做任何事情.这个问题对我来说似乎很奇怪,因为客户登录可以在网站上的其他任何地方使用.

我使用模块(Crius SkipStep1)跳过第一步,而是首先显示访客计费和送货方式(如果需要,可以切换到登录系统).使用它或默认登录系统似乎没有任何区别; 在这两种情况下都存在问题.登录后,页面重新加载但没有向我显示任何更多的内容.

使用该模块,该checkout/onepage/saveMethod/功能在页面重新加载后运行.没有模块,没有任何反应.在这两种情况下,我仍然可以毫无问题地执行访客结账方法.

奇怪的是,如果我输错密码,页面会正常重新加载,并显示错误密码的错误消息.我尝试测试默认和基本主题,尽管模板文件是最新的,但问题仍然存在.

我想我已经尝试了所有的东西,不知道该怎么做了,所以我需要新眼睛的帮助.

谢谢.

使用以下代码将文件从S3上传到youtube:

s3.setBucket('MyBucket'); 
s3.get('MyBucket/5/' + filename, null, 'stream', function(err, response) {  
    googleapis.discover('youtube', 'v3').execute(function(err, client) {
      var metadata = {
              snippet: { title: title, description: description}, 
                status: { privacyStatus: 'public' }
      };
      client
          .youtube.videos.insert({ part: 'snippet,status'}, metadata)
          .withMedia('video/mp4', response)
          .withAuthClient(auth)
          .execute(function(err, result) {
            if (err) console.log(err);
            else console.log(JSON.stringify(result, null, '  '));
            response.redirect('/share?set=yt&id=' + result.id);
          });       });     });

不起作用,因为行:

.withMedia('video/mp4',回复)

它是原始版本的替代品,有效:

fs.readFileSync( '/温度/ myfile.png')

换句话说:如果我在笔记本电脑上上传本地文件,这将有效,因为我正在使用文件系统对象.

我正在运行带有两个datanode和一个namenode的Hadoop 2.2.0集群.当我尝试在namenode或任何datanode上使用hadoop fsck命令检查系统时,我得到以下内容:

Target Replicas is 3 but found 2 replica(s). 

我尝试将配置更改为hdfs-site.xml(dfs.replication为2)并重新启动群集服务.在运行时hadoop fsck /它仍然显示相同的状态:

Target Replicas is 3 but found 2 replica(s).

请澄清,这是一个缓存问题还是一个错误？

我对从Mapper获得的输出有点困惑.

例如,当我运行一个简单的wordcount程序时,使用此输入文本:

hello world
Hadoop programming
mapreduce wordcount
lets see if this works
12345678
hello world
mapreduce wordcount

这是我得到的输出:

12345678    1
Hadoop  1
hello   1
hello   1
if  1
lets    1
mapreduce   1
mapreduce   1
programming 1
see 1
this    1
wordcount   1
wordcount   1
works   1
world   1
world   1

如您所见,mapper的输出已经排序.我根本没跑Reducer.但我发现在另一个项目中,mapper的输出没有排序.所以我对此完全清楚..

我的问题是:

1. 映射器的输出总是排序吗？
2. 排序阶段是否已经集成到映射器阶段,以便映射阶段的输出已经在中间数据中排序？
3. 有没有办法从sort and shuffle阶段收集数据并在它进入Reducer之前保留它？减速器带有一个键和一个迭代列表.有没有办法,我可以保留这些数据吗？

我的代码是:

if(myfile.exists()) {
    try {
        FileOutputStream fOut = new FileOutputStream(myfile);
        OutputStreamWriter myOutWriter =  new OutputStreamWriter(fOut);
        for (LatLng item : markerArrayList) {
            myOutWriter.append(item.toString());
        }
        myOutWriter.append("\n\n");
        myOutWriter.close();
        fOut.close();
        Toast.makeText(getBaseContext(), "Done writing ", Toast.LENGTH_SHORT).show();
    } catch (Exception e) {
        Toast.makeText(getBaseContext(), e.getMessage(), Toast.LENGTH_SHORT).show();
    }        
}

当我使用时myOutWriter.append,真正发生的是每次我写入文件时,它都会覆盖以前的内容.

我创建了 byte.length 太大的 JSON，当我尝试使用 api java 时：

documentClient.createDocument(
                    getTodoCollection().getSelfLink(), document, null,
                    false)

返回一个

DocumentClientException：消息：{“错误”：[“请求大小太大”]}

有没有办法将这种文件保存在documentDB中？

我想解压缩 hdfs 中存在的 .zip 文件并将输出存储在 hdfs 中。我尝试了下面的命令hadoop fs -text testData/sample/slarge.zip | hadoop fs -put - testData/sample1/uncompressed-file.txt，但它不能正常工作并且在输出结果中得到垃圾结果。有没有办法在hdfs中解压缩文件？

注意：该文件是 .zip 文件而不是 .gzip 文件。