小编Jef*_*y04的帖子

生成SequenceFile

给定以下格式的数据(tag_uri image_uri image_uri image_uri ...),我需要将它们转换为Hadoop SequenceFile格式,以便Mahout进一步处理(例如聚类)

http://flickr.com/photos/tags/100commentgroup http://flickr.com/photos/34254318@N06/4019040356 http://flickr.com/photos/46857830@N03/5651576112
http://flickr.com/photos/tags/100faves http://flickr.com/photos/21207178@N07/5441742937
...
Run Code Online (Sandbox Code Playgroud)

在此之前,我将输入转换为csv(或arff),如下所示

http://flickr.com/photos/tags/100commentgroup,http://flickr.com/photos/tags/100faves,...
0,1,...
1,1,...
...
Run Code Online (Sandbox Code Playgroud)

每行描述一个标签.然后将arff文件转换为mahout使用的矢量文件以供进一步处理.我试图跳过arff生成部分,然后生成sequenceFile.如果我没有弄错,要将我的数据表示为sequenceFile,我需要将$ tag_uri作为键存储每行数据,然后将$ image_vector作为值存储.这样做的正确方法是什么(如果可能的话,我可以将每行的tag_url包含在序列文件的某处)吗?

我找到的一些参考文献,但不确定它们是否相关:

  1. 编写SequenceFile
  2. 格式化svd矩阵分解的输入矩阵(我可以将矩阵存储在这种形式中吗?)
  3. RandomAccessSparseVector(考虑到我只列出分配给定标签的图像而不是一行中的所有图像,是否可以使用此向量表示它?)
  4. SequenceFile写
  5. SequenceFile解释

hadoop vector mahout

3
推荐指数
1
解决办法
1720
查看次数

如何返回第一个非空字符串?

以下 Python 代码返回第一个非空字符串(在本例中为 的内容bar):

foo = ""
bar = "hello"
foo or bar # returns "hello"
Run Code Online (Sandbox Code Playgroud)

我如何用 Rust 编写它?我尝试过这个:

let foo = "";
let bar = "";
foo || bar;
Run Code Online (Sandbox Code Playgroud)

但我得到了这个

let foo = "";
let bar = "";
foo || bar;
Run Code Online (Sandbox Code Playgroud)

我想我不能用 Rust 轻松地完成我在 Python 中所做的事情?

rust

3
推荐指数
1
解决办法
1921
查看次数

处理自动备份脚本中的登录

我需要编写一个shell脚本来安排每天运行以使用mercurial备份目录.我已经完成了大部分用例,除了我可以找到一种在脚本运行时进行自动登录的方法.

for REPOSITORY in $@ 
do
    cd $REPOSITORY

    # commit the changes
    hg commit -A -m "Commit changes `date`"

    # push the changes to the remote repository
    if hg push 
    then
        logger hg push success
    else
        logger hg push failure
    fi
done
Run Code Online (Sandbox Code Playgroud)

发出hg push命令后会显示登录提示.

shell backup mercurial dvcs login

2
推荐指数
1
解决办法
650
查看次数

PySide:QTimer 需要 QApplication 才能工作吗?

刚开始学习 PySide 并遇到 QTimer 问题

我有这个

#!/usr/bin/python

from PySide.QtCore import QThread;
from classes import Updater;

if __name__ == "__main__":
    thread = QThread();
    thread.start();

    update = Updater();
    update.moveToThread(thread);
    update.run();
Run Code Online (Sandbox Code Playgroud)

和这个

class Updater(QObject):
    def update_mode(self):
        #do something
        pass;

    def run(self):
        timer = QTimer();
        timer.timeout.connect(self.update_mode);
        timer.start(10);
Run Code Online (Sandbox Code Playgroud)

我希望我的脚本使用 QTimer 定期执行一些工作(想尝试 QSystemAlignedTimer 但现在对我来说看起来更复杂......)。不确定目前出了什么问题,因为我收到此错误

QObject::startTimer: QTimer can only be used with threads started with QThread
QEventLoop: Cannot be used without QApplication
QThread: Destroyed while thread is still running
Run Code Online (Sandbox Code Playgroud)

qt pyside

2
推荐指数
1
解决办法
2426
查看次数

标签 统计

backup ×1

dvcs ×1

hadoop ×1

login ×1

mahout ×1

mercurial ×1

pyside ×1

qt ×1

rust ×1

shell ×1

vector ×1