标签: data-mining

谷歌数据挖掘工具

我最近阅读了Google推出的一个新的Google代码托管(开源)项目,该项目允许您对各种输入文件执行数据挖掘和分析.甚至有一个视频显示用户导入Excel文件并在各种条件下进行过滤.然而,即使在寻找几个小时之后我也找不到它,有谁知道这个项目的名称?

data-mining

6
推荐指数
2
解决办法
5428
查看次数

实现用于聚类的邻近矩阵

如果这个问题听起来微不足道或基本的话,请原谅我.

我有一组数据集(一堆字是特定的),我需要通过使用彼此的编辑距离来生成邻近矩阵,以找到并生成邻近矩阵.

然而,我很困惑如何跟踪矩阵中的数据/字符串.我需要接近矩阵用于聚类.

或者你在这个领域如何处理这类问题.我使用perl和R来实现这一点.

这是我编写的perl中的典型代码,它从包含我的文字包的文本文件中读取

use strict ;
   use warnings ; 
   use Text::Levenshtein qw(distance) ;
   main(@ARGV);
   sub main
   {    
    my @TokenDistances ;
    my $Tokenfile  = 'TokenDistinct.txt';
    my @Token ;
    my $AppendingCount  = 0 ; 
    my @Tokencompare ;  
    my %Levcount  = ();
    open (FH ,"< $Tokenfile" ) or die ("Error opening file . $!");
     while(<FH>)
     {
        chomp $_;
        $_ =~ s/^(\s+)$//g;
        push (@Token , $_ ); 
     }
    close(FH); 
     @Tokencompare = @Token ; 


     foreach my $tokenWord(@Tokencompare)
     { 
        my $lengthoffile =  scalar @Tokencompare; …
Run Code Online (Sandbox Code Playgroud)

r cluster-analysis machine-learning data-mining

6
推荐指数
1
解决办法
2072
查看次数

结合不同的相似性来建立最终的相似性

我几乎是数据挖掘和推荐系统的新手,现在正试图为具有这些参数的用户构建某种rec系统:

  • 市
  • 教育
  • 利益

为了计算它们之间的相似性,我将应用余弦相似性和离散相似性.例如:

  • city:如果x = y则d(x,y)= 0.否则,d(x,y)= 1.
  • 教育:在这里我将使用余弦相似性,因为单词出现在部门名称或学士学位
  • 兴趣:用户可以选择硬编码的兴趣数量,并根据以下两个向量计算余弦相似度:

1 0 0 1 0 0 ... n
1 1 1 0 1 0 ... n
Run Code Online (Sandbox Code Playgroud)

这1意味着利益的存在,并且n是所有利益的总数.

我的问题是:如何以适当的顺序组合这三个相似之处?我的意思是只是总结它们听起来不太聪明,是吗?我也想听听关于我的"新手相似系统"的评论,哈.

cluster-analysis distance similarity data-mining

6
推荐指数
1
解决办法
2328
查看次数

如何加速openCV中的颜色聚类?

对于一个项目我想实现一个颜色聚类算法,它用一个簇的平均颜色替换相似的颜色.

现在,我使用kmeans算法来聚类整个图像.但这需要很长时间.有人知道如何使用kmeans聚类颜色直方图,所以我可以执行这个算法吗?

opencv cluster-analysis data-mining k-means image-segmentation

6
推荐指数
1
解决办法
3776
查看次数

期望最大化算法的数值例子

任何人都可以提供EM算法的简单数字示例,因为我不确定给出的公式?一个非常简单的具有4或5个笛卡尔坐标的人将完美地做到这一点.

algorithm machine-learning data-mining expectation-maximization

6
推荐指数
1
解决办法
7755
查看次数

ELKI OPTICSXi - 如何设置xi?

我正在尝试使用ELKI使用OPTICS聚类地理定位数据集.我已经明白要提取簇,我需要使用OPTICSXi算法而不是OPTICS,它只计算簇顺序.

我想知道你是否可以给我更多关于参数xi如何工作的信息.我将此值固定为0.009,但是以随机的方式.

cluster-analysis data-mining elki optics-algorithm

6
推荐指数
1
解决办法
1171
查看次数

用于scikit-learn中的多类问题的级联分类器

假设我有一个多类别和特征层次的分类问题,例如"可食用","营养"和"营养丰富" - 所以它可以像这样表示

??? edible
?   ??? nutritious
?   ??? ~nutritious
??? ~edible
Run Code Online (Sandbox Code Playgroud)

虽然可以使用支持多类分类的分类器或者对于那些不支持多分类的分类器来获得合理的性能,但是在每个级别单独训练分类器并将它们连接起来以便将实例分类为'食用'可以归类为nutritious或不归类.

我想使用scikit-lean估算器作为构建块,我想知道我是否可以Pipeline提供支持,或者我是否需要编写自己的估算器来实现基本估算器并可能BaseEnsemble这样做.

@ogrisel之前已经在邮件列表http://sourceforge.net/mailarchive/message.php?msg_id=31417048上提到过,我想知道是否有人对如何进行此操作有任何见解或建议.

python machine-learning data-mining scikit-learn

6
推荐指数
1
解决办法
1283
查看次数

字符串是随机生成的还是合理的英文单词?

我有一个包含一些字符串的文本语料库.在这些字符串中,有些是英文单词,有些是随机的,如VmsVKmGMY6eQE4eMI,每个字符串中的字符数没有限制.

有没有办法测试一个字符串是否是英文单词?我正在寻找一种能够完成这项工作的算法.这是Java,我宁愿不实现额外的字典.

java text data-mining text-mining

6
推荐指数
2
解决办法
1056
查看次数

DBSCAN错误与python中的余弦指标

我试图使用带有余弦度量的scikit-learn库中的DBSCAN算法,但却遇到了错误.代码行是

db = DBSCAN(eps=1, min_samples=2, metric='cosine').fit(X)    
Run Code Online (Sandbox Code Playgroud)

这里 X是一个csr_matrix.错误如下:

度量'余弦'对算法'auto'无效,

虽然文档说可以使用此指标.我尝试使用选项algorithm='kd_tree','ball_tree'但得到了相同.但是,如果我使用euclidean或者比如l1指标,则没有错误.

矩阵X很大,所以我不能使用成对距离的预先计算矩阵.

我用python 2.7.6和scikit-learn 0.16.1.我的数据集没有完整的零行,因此余弦度量是明确定义的.

cluster-analysis data-mining cosine-similarity dbscan scikit-learn

6
推荐指数
2
解决办法
5982
查看次数

什么是分层引导程序?

我已经学会了引导和分层。但是什么是分层引导?以及它如何运作?

假设我们有一个n个实例(观察)的数据集,而m是类的数量。我应该如何划分数据集,训练和测试的百分比是多少?

algorithm machine-learning data-mining

6
推荐指数
1
解决办法
2774
查看次数