我最近阅读了Google推出的一个新的Google代码托管(开源)项目,该项目允许您对各种输入文件执行数据挖掘和分析.甚至有一个视频显示用户导入Excel文件并在各种条件下进行过滤.然而,即使在寻找几个小时之后我也找不到它,有谁知道这个项目的名称?
如果这个问题听起来微不足道或基本的话,请原谅我.
我有一组数据集(一堆字是特定的),我需要通过使用彼此的编辑距离来生成邻近矩阵,以找到并生成邻近矩阵.
然而,我很困惑如何跟踪矩阵中的数据/字符串.我需要接近矩阵用于聚类.
或者你在这个领域如何处理这类问题.我使用perl和R来实现这一点.
这是我编写的perl中的典型代码,它从包含我的文字包的文本文件中读取
use strict ;
use warnings ;
use Text::Levenshtein qw(distance) ;
main(@ARGV);
sub main
{
my @TokenDistances ;
my $Tokenfile = 'TokenDistinct.txt';
my @Token ;
my $AppendingCount = 0 ;
my @Tokencompare ;
my %Levcount = ();
open (FH ,"< $Tokenfile" ) or die ("Error opening file . $!");
while(<FH>)
{
chomp $_;
$_ =~ s/^(\s+)$//g;
push (@Token , $_ );
}
close(FH);
@Tokencompare = @Token ;
foreach my $tokenWord(@Tokencompare)
{
my $lengthoffile = scalar @Tokencompare; …Run Code Online (Sandbox Code Playgroud) 我几乎是数据挖掘和推荐系统的新手,现在正试图为具有这些参数的用户构建某种rec系统:
为了计算它们之间的相似性,我将应用余弦相似性和离散相似性.例如:
1 0 0 1 0 0 ... n
1 1 1 0 1 0 ... n
Run Code Online (Sandbox Code Playgroud)
这1意味着利益的存在,并且n是所有利益的总数.
我的问题是:如何以适当的顺序组合这三个相似之处?我的意思是只是总结它们听起来不太聪明,是吗?我也想听听关于我的"新手相似系统"的评论,哈.
对于一个项目我想实现一个颜色聚类算法,它用一个簇的平均颜色替换相似的颜色.
现在,我使用kmeans算法来聚类整个图像.但这需要很长时间.有人知道如何使用kmeans聚类颜色直方图,所以我可以执行这个算法吗?
opencv cluster-analysis data-mining k-means image-segmentation
任何人都可以提供EM算法的简单数字示例,因为我不确定给出的公式?一个非常简单的具有4或5个笛卡尔坐标的人将完美地做到这一点.
algorithm machine-learning data-mining expectation-maximization
我正在尝试使用ELKI使用OPTICS聚类地理定位数据集.我已经明白要提取簇,我需要使用OPTICSXi算法而不是OPTICS,它只计算簇顺序.
我想知道你是否可以给我更多关于参数xi如何工作的信息.我将此值固定为0.009,但是以随机的方式.
假设我有一个多类别和特征层次的分类问题,例如"可食用","营养"和"营养丰富" - 所以它可以像这样表示
??? edible
? ??? nutritious
? ??? ~nutritious
??? ~edible
Run Code Online (Sandbox Code Playgroud)
虽然可以使用支持多类分类的分类器或者对于那些不支持多分类的分类器来获得合理的性能,但是在每个级别单独训练分类器并将它们连接起来以便将实例分类为'食用'可以归类为nutritious或不归类.
我想使用scikit-lean估算器作为构建块,我想知道我是否可以Pipeline提供支持,或者我是否需要编写自己的估算器来实现基本估算器并可能BaseEnsemble这样做.
@ogrisel之前已经在邮件列表http://sourceforge.net/mailarchive/message.php?msg_id=31417048上提到过,我想知道是否有人对如何进行此操作有任何见解或建议.
我有一个包含一些字符串的文本语料库.在这些字符串中,有些是英文单词,有些是随机的,如VmsVKmGMY6eQE4eMI,每个字符串中的字符数没有限制.
有没有办法测试一个字符串是否是英文单词?我正在寻找一种能够完成这项工作的算法.这是Java,我宁愿不实现额外的字典.
我试图使用带有余弦度量的scikit-learn库中的DBSCAN算法,但却遇到了错误.代码行是
db = DBSCAN(eps=1, min_samples=2, metric='cosine').fit(X)
Run Code Online (Sandbox Code Playgroud)
这里 X是一个csr_matrix.错误如下:
度量'余弦'对算法'auto'无效,
虽然文档说可以使用此指标.我尝试使用选项algorithm='kd_tree','ball_tree'但得到了相同.但是,如果我使用euclidean或者比如l1指标,则没有错误.
矩阵X很大,所以我不能使用成对距离的预先计算矩阵.
我用python 2.7.6和scikit-learn 0.16.1.我的数据集没有完整的零行,因此余弦度量是明确定义的.
cluster-analysis data-mining cosine-similarity dbscan scikit-learn
我已经学会了引导和分层。但是什么是分层引导?以及它如何运作?
假设我们有一个n个实例(观察)的数据集,而m是类的数量。我应该如何划分数据集,训练和测试的百分比是多少?
data-mining ×10
algorithm ×2
scikit-learn ×2
dbscan ×1
distance ×1
elki ×1
java ×1
k-means ×1
opencv ×1
python ×1
r ×1
similarity ×1
text ×1
text-mining ×1