标签: data-mining

集群质量措施

Matlab是否提供评估聚类方法的任何工具?(集群紧凑性和集群分离....)或者它有任何工具箱吗?

evaluation matlab cluster-analysis data-mining

6
推荐指数
2
解决办法
6442
查看次数

OPTICS聚类算法.如何获得最好的epsilon

我正在实施一个需要聚集地理点的项目.OPTICS算法似乎是一个非常好的解决方案.它只需要2个参数作为输入(MinPts和Epsilon),它们分别是将它们视为一个簇所需的最小点数,并且用于比较两个点所在的距离值是否可以放在同一个簇中.

我的问题是,由于各种各样的点,我不能设置固定的epsilon.请看下面的图片.

问题http://s13.postimage.org/u5a08nwvb/Immagine.png

相同的点结构但是在不同的比例下将导致非常不同.假设设置MinPts = 2和epsilon = 1Km.在左侧,算法将创建2个群集(红色和蓝色),但在右侧,它将创建一个包含所有点(红色)的单个群集,但我想在右侧获得2个群集.

所以我的问题是:有没有办法动态计算epsilon值来得到这个结果?

编辑2012年6月5日3.15pm: 我以为我正在使用javaml库中的OPTICS算法实现,但它似乎实际上是一个DBSCAN算法实现.所以现在的问题是:有没有人知道基于java的OPTICS算法实现?

非常感谢你,请原谅我的英语不好.

马尔科

java algorithm cluster-analysis data-mining optics-algorithm

6
推荐指数
1
解决办法
5226
查看次数

使用mahout mapreduce计算用户相似度

我正在使用Mahout群集,我有大型群集,每个群集拥有大约10万用户,每个用户有5个功能.在下一步中,我需要计算pearson相关性以找出群集用户之间的相似性.

目前我有一个python脚本,它对我做同样的事情,但正如预期的那样,它需要长时间的计算,不再是一个可行的选择

我查看了Mahout,因为它提供了使用Pearson,Tanimoto,loglikelyhood度量来查找UserSimilarity的功能,我无法找到的是开发这些相似性度量的Mapreduce版本的方法.

是否有任何资源可以举例并解释如何开发UserSimilarity的mapreduce版本,或者使用hadoop流和相同的java类是否有意义.

编辑

即使我在群集中拥有100k用户,我也很少需要计算100k*100k矩阵.大多数时候它将是一个10k*100k的矩阵.然而,我有大约500个这样的集群,所以计算500个10k*100k集群的时间相当长,这就是我寻找更好的方法和触发讨论的原因

hadoop mapreduce cluster-analysis data-mining mahout

6
推荐指数
1
解决办法
3774
查看次数

频繁项目集和关联规则 - Apriori算法

我试图理解用于数据挖掘的Apriori(Basket)算法的基本原理,

我最好用一个例子来解释我所遇到的并发症:

这是一个事务数据集:

t1: Milk, Chicken, Beer
t2: Chicken, Cheese
t3: Cheese, Boots
t4: Cheese, Chicken, Beer
t5: Chicken, Beer, Clothes, Cheese, Milk
t6: Clothes, Beer, Milk
t7: Beer, Milk, Clothes
Run Code Online (Sandbox Code Playgroud)

在用于上述最小支持度为0.5或50%.

从上面可以看出,我的交易数量显然是7,意味着项目集"频繁",它必须有4/7的计数.因此,这是我的常用项目集1:

F1:

Milk = 4
Chicken = 4
Beer = 5
Cheese = 4
Run Code Online (Sandbox Code Playgroud)

然后我创建了我的第二个改进的候选者(C2)并将其缩小到:

F2:

{Milk, Beer} = 4
Run Code Online (Sandbox Code Playgroud)

这是我感到困惑,如果有人问我,以显示所有的频繁项集我记下所有的F1和F2或只F2?F1对我来说不是"套装".

然后我被要求为我刚刚定义的频繁项目集创建关联规则并计算他们的"置信度"数字,我得到:

Milk -> Beer = 100% confidence
Beer -> Milk = 80% …
Run Code Online (Sandbox Code Playgroud)

algorithm data-mining apriori

6
推荐指数
1
解决办法
4128
查看次数

ELKI OPTICSXi - 如何设置xi?

我正在尝试使用ELKI使用OPTICS聚类地理定位数据集.我已经明白要提取簇,我需要使用OPTICSXi算法而不是OPTICS,它只计算簇顺序.

我想知道你是否可以给我更多关于参数xi如何工作的信息.我将此值固定为0.009,但是以随机的方式.

cluster-analysis data-mining elki optics-algorithm

6
推荐指数
1
解决办法
1171
查看次数

用于scikit-learn中的多类问题的级联分类器

假设我有一个多类别和特征层次的分类问题,例如"可食用","营养"和"营养丰富" - 所以它可以像这样表示

??? edible
?   ??? nutritious
?   ??? ~nutritious
??? ~edible
Run Code Online (Sandbox Code Playgroud)

虽然可以使用支持多类分类的分类器或者对于那些不支持多分类的分类器来获得合理的性能,但是在每个级别单独训练分类器并将它们连接起来以便将实例分类为'食用'可以归类为nutritious或不归类.

我想使用scikit-lean估算器作为构建块,我想知道我是否可以Pipeline提供支持,或者我是否需要编写自己的估算器来实现基本估算器并可能BaseEnsemble这样做.

@ogrisel之前已经在邮件列表http://sourceforge.net/mailarchive/message.php?msg_id=31417048上提到过,我想知道是否有人对如何进行此操作有任何见解或建议.

python machine-learning data-mining scikit-learn

6
推荐指数
1
解决办法
1283
查看次数

字符串是随机生成的还是合理的英文单词?

我有一个包含一些字符串的文本语料库.在这些字符串中,有些是英文单词,有些是随机的,如VmsVKmGMY6eQE4eMI,每个字符串中的字符数没有限制.

有没有办法测试一个字符串是否是英文单词?我正在寻找一种能够完成这项工作的算法.这是Java,我宁愿不实现额外的字典.

java text data-mining text-mining

6
推荐指数
2
解决办法
1056
查看次数

DBSCAN错误与python中的余弦指标

我试图使用带有余弦度量的scikit-learn库中的DBSCAN算法,但却遇到了错误.代码行是

db = DBSCAN(eps=1, min_samples=2, metric='cosine').fit(X)    
Run Code Online (Sandbox Code Playgroud)

这里 X是一个csr_matrix.错误如下:

度量'余弦'对算法'auto'无效,

虽然文档说可以使用此指标.我尝试使用选项algorithm='kd_tree','ball_tree'但得到了相同.但是,如果我使用euclidean或者比如l1指标,则没有错误.

矩阵X很大,所以我不能使用成对距离的预先计算矩阵.

我用python 2.7.6和scikit-learn 0.16.1.我的数据集没有完整的零行,因此余弦度量是明确定义的.

cluster-analysis data-mining cosine-similarity dbscan scikit-learn

6
推荐指数
2
解决办法
5982
查看次数

什么是分层引导程序?

我已经学会了引导和分层。但是什么是分层引导?以及它如何运作?

假设我们有一个n个实例(观察)的数据集,而m是类的数量。我应该如何划分数据集,训练和测试的百分比是多少?

algorithm machine-learning data-mining

6
推荐指数
1
解决办法
2774
查看次数

为什么Spark Mllib KMeans算法非常慢?

我遇到了和这篇文章一样的问题,但我没有足够的积分在那里添加评论.我的数据集有1百万行,100列.我也使用Mllib KMeans而且它非常慢.这项工作实际上从未结束,我必须杀死它.我在谷歌云(dataproc)上运行它.如果我要求较少数量的群集(k = 1000),它仍会运行,但仍需要超过35分钟.我需要它运行k~5000.我不知道为什么这么慢.考虑到工人/节点的数量,数据被正确分区,并且在100万x~300,000 col矩阵上的SVD需要大约3分钟,但是当涉及KMeans时,它只是进入黑洞.我现在尝试较少的迭代次数(2次而不是100次),但我觉得某处出了问题.

KMeansModel Cs = KMeans.train(datamatrix, k, 100);//100 iteration, changed to 2 now. # of clusters k=1000 or 5000
Run Code Online (Sandbox Code Playgroud)

cluster-analysis data-mining k-means apache-spark apache-spark-mllib

6
推荐指数
1
解决办法
2405
查看次数