标签: data-mining

最具代表性的集群实例

在对我的数据集(名为data.matrix的数据帧)执行聚类分析之后,我在末尾添加了一个名为cluster的新列(第27列),其中包含每个实例所属的群集名称.

我现在想要的是来自每个集群的代表性实例.我试图从群集的质心中找到与欧氏距离最小的实例(并为我的每个群集重复该过程)

这就是我做的.你能想到其他 - 或许更优雅的方式吗?(假设没有空值的数字列).

clusters <- levels(data.matrix$cluster)
cluster_col = c(27)

for (j in 1:length(clusters)) {
    # get the subset for cluster j
    data = data.matrix[data.matrix$cluster == clusters[j],]

    # remove the cluster column
    data <- data[,-cluster_col]

    # calculate the centroid
    cent <- mean(data)

    # copy data to data.matrix_cl, attaching a distance column at the end
    data.matrix_cl <- cbind(data, dist = apply(data, 1, function(x) {sqrt(sum((x - cent)^2))}))

    # get instances with min distance
    candidates <- data.matrix_cl[data.matrix_cl$dist == …
Run Code Online (Sandbox Code Playgroud)

r cluster-analysis machine-learning data-mining

4
推荐指数
1
解决办法
2849
查看次数

人们相似度算法的建议

我想为我的"找到类似的人"算法得到一些建议:).我有一个数据库,我存储以下实体:人,文章,关键字.因此,对于每个人,我都有一系列关键字(通过人员提及的数量)从人的文章关键字中编译出来.因此,我需要通过查看相关的关键字来获得类似的人,简单的解决方案是从一个人y获得x个关键字并找到所有共享相似关键字分数的人(不相等),但似乎这不是最佳方式.思考?

谢谢!

java wolfram-mathematica artificial-intelligence data-mining

4
推荐指数
1
解决办法
711
查看次数

R中DBSCAN的聚类中心均值?

dbscan在包中使用fpc我能够获得以下输出:

dbscan Pts=322 MinPts=20 eps=0.005
        0   1
seed    0 233
border 87   2
total  87 235
Run Code Online (Sandbox Code Playgroud)

但我需要找到集群中心(具有大多数种子的集群的平均值).谁能告诉我如何继续这个?

r cluster-analysis data-mining dbscan

4
推荐指数
1
解决办法
2487
查看次数

数据识别用于数据挖掘和基于文本的分析

我正在创建一个软件,用于转储任何用户评论和发布在他们的Twitter个人资料上的关于某些化妆品"XYZ"的纯文本.我解析了从Twitter API收到的JSON对象,并将原始数据转储到MySql数据库中.

现在我必须分析这些纯文本以获取模式,无论是关于化妆品"XYZ"的好评还是坏评论等,并将此信息提供给单独的API以创建HTML中的dymnamic可视图表.

我在DataMining和基于文本的模式识别领域是全新的.如果有人能够建议如何从我的数据库中的纯文本继续使用模式识别算法来为我的单独的可视化图表API提供提要,那么我们将非常感激.

algorithm twitter machine-learning data-mining

4
推荐指数
1
解决办法
1万
查看次数

验证聚类算法的输出

是否有客观的方法来验证聚类算法的输出?

我正在对由具有许多属性的对象组成的数据集使用scikit-learn的亲和传播聚类.提供给聚类算法的差异矩阵由这些属性的加权差异组成.我正在寻找一种方法来客观地验证距离权重中的调整,如结果簇中所反映的那样.数据集很大,并且具有足够的属性,手动检查小示例不是验证生成的集群的合理方法.

cluster-analysis machine-learning data-mining scipy scikit-learn

4
推荐指数
1
解决办法
1883
查看次数

Weka中的布尔属性

是否可以在WEKA中实现布尔属性?

我想实施一个市场篮子分析,为此我需要一个这样的表

Product_A Prod_B
Yes       No
No        Yes
Yes       Yes
Run Code Online (Sandbox Code Playgroud)

等等.

对于No,或者false,我可以使用?,代表WEKA中的空值:

Product_A Prod_B
Yes       ?
?         Yes
Yes       Yes
Run Code Online (Sandbox Code Playgroud)

但现在我得到了频率.项目集和规则如:

Product_A=Yes, Prod_B=Yes
Run Code Online (Sandbox Code Playgroud)

但我只想拥有

Product_A, Prod_B.
Run Code Online (Sandbox Code Playgroud)

你懂我的意思吗?

我找到了一个关于创建ARFF文件的指南,但是没有任何boolean-datatype ..但是有这样的数据类型会有用,还是我认为错了?

data-mining weka arff

4
推荐指数
1
解决办法
5241
查看次数

从文本中提取关系

我想以(SUBJECT,OBJECT,ACTION)关系的形式从非结构化文本中提取关系,

例如,

"那个男孩坐在桌子上吃鸡肉"

会给我,

(男孩,鸡,吃)
(男孩,桌子,位置)

等等..

虽然python程序+ NLTK可以处理如上所述的简单句子.

我想知道你是否有人使用工具或库优选开源来从更广泛的领域中提取关系,例如大量的文本文档或网络.

python nlp data-mining nltk

4
推荐指数
1
解决办法
1749
查看次数

聚类分析?标记集群

关于以下两个问题我很困惑:我有一个15维数据集,应该用于聚类数据集中包含多少类型的攻击.

1.现在我已经将我的数据集聚集成5个集群(5个攻击).有谁知道我怎么能指出哪个集群是哪个攻击?(如何标记集群不仅仅是"集群1,集群2 ...")

2.在监督分类中,我们有训练数据集和测试数据集,并且使用从训练数据集构建的分类器进行测试.我的问题是,可以使用相同的方法进行聚类.就像使用聚类算法构建模型一样,然后自动将新实例分类到特定的集群中?这可以实现吗?

classification cluster-analysis machine-learning data-mining

4
推荐指数
1
解决办法
946
查看次数

数据挖掘的最低支持和最低信心

我想知道在挖掘关联规则中是否可以自动确定最小支持和最小置信度?如果是这样,任何提示或指向资源的指针都会很棒.

data-mining apriori

4
推荐指数
1
解决办法
5570
查看次数

DBSCAN使用空间和时间数据

我正在查看具有lat,lng和事件日期/时间的数据点.我在查看聚类算法时遇到的算法之一是DBSCAN.虽然它在聚类lat和lng时可以正常工作,但我担心的是在合并时间信息时它会分崩离析,因为它不是相同比例或相同类型的距离.

将时态数据合并到DBSCAN算法中有哪些选择?

cluster-analysis machine-learning data-mining dbscan

4
推荐指数
2
解决办法
1632
查看次数