标签: data-mining

比较Python中的多个词典

我是Python的新手,我遇到了一个问题,我无法用谷歌来解决问题.我使用wxPython和ObjectiveListView构建了一个GUI.在它的中心,GUI有一个列表控件,以X行显示数据(数据由用户加载)和五列.

当用户从列表控件中选择多个条目(按下CTRL或单击时移位)时,ObjectiveListView模块会给我一个字典列表,这些字典包含列表控件行中的数据.这正是我想要的,好!

返回的列表如下所示:

print MyList
[{'id':1023, 'type':'Purchase', 'date':'23.8.2008', 'sum':'-21,90', 'target':'Apple Store'}, {'id':1024, 'type':'Purchase', 'date':'24.8.2008', 'sum':'-21,90', 'target':'Apple Store'}, {'id':23, 'type':'Purchase', 'date':'2.8.2008', 'sum':'-21,90', 'target':'Apple Store'}]
Run Code Online (Sandbox Code Playgroud)

所有词典都具有相同的键,但值会发生变化.'id'值是唯一的.这里出现了问题.我想获取用户选择的所有项目的公共值.在上面的列表中,它们将是'sum':' - 21,90'和'target':'Apple Store'.

我不知道如何正确比较列表中的dicts.一个大问题是我事先不知道列表包含多少个词,因为它是由用户决定的.

我有一个模糊的想法,列表推导将是要走的路,但我只知道如何将两个列表与列表推导进行比较,而不是n列表.任何帮助,将不胜感激.

python data-mining

4
推荐指数
3
解决办法
5400
查看次数

使用r和weka.如何使用元算法和nfold评估方法?

这是我的问题的一个例子

library(RWeka)
iris <- read.arff("iris.arff")
Run Code Online (Sandbox Code Playgroud)

执行nfolds以获得分类器的正确准确度.

m<-J48(class~., data=iris)
e<-evaluate_Weka_classifier(m,numFolds = 5)
summary(e)
Run Code Online (Sandbox Code Playgroud)

这里提供的结果是通过使用部分数据集构建模型并使用另一部分进行测试获得的,因此可以提供准确的精度

现在我执行AdaBoost来优化分类器的参数

m2 <- AdaBoostM1(class ~. , data = temp ,control = Weka_control(W = list(J48, M = 30)))
summary(m2)
Run Code Online (Sandbox Code Playgroud)

这里提供的结果是通过使用相同的数据集来构建模型以及用于评估模型的相同数据集获得的,因此精度不能代表我们使用模型评估其他实例的实际精度.然而,此过程有助于优化构建的模型.

主要问题是我无法优化构建的模型,同时使用未用于构建模型的数据对其进行测试,或者仅使用nfold验证方法来获得正确的精度.

r machine-learning data-mining weka

4
推荐指数
1
解决办法
2403
查看次数

如何根据客户购买/收听行为对"类似产品/音乐/ ......"进行统计计算?

我的意思是关于亚马逊的产品建议或更具体的关于Last.fm的类似频段推荐.

鉴于您可以存储用户的完整收听/购买行为(世卫组织听取了OFTEN的内容?),您如何计算哪些频段与任何给定频段相似,以及多少?

我在维基百科上发现了一些网站(关联规则学习,亲和力分析),但我想从程序员的角度得到一些信息,最好是一些伪代码或Python代码.

鉴于我有

 dic = {
"Alice"   : { "AC/DC" : 2, "The Raconteurs" : 3, "Mogwai" : 1 },
"Bob"     : { "The XX" : 4, "Lady Gaga" : 3, "Mogwai" : 1, "The Raconteurs" : 1 }
"Charlie" : { "AC/DC" : 7, "Lady Gaga" : 7 }
 }
Run Code Online (Sandbox Code Playgroud)

如果数字是播放计数,我将如何迭代这个以找到频段的相似性?

python statistics similarity data-mining

4
推荐指数
1
解决办法
728
查看次数

测量机器学习模型是否过度拟合的正确方法是什么?

我理解过度拟合和欠拟合的直观含义.现在,考虑到根据训练数据训练的特定机器学习模型,您如何判断训练是否过度拟合或不适合数据?是否有量化方法来衡量这些因素?

我们可以看一下这个错误,并说它是否过度适合或不合适?

machine-learning data-mining

4
推荐指数
1
解决办法
831
查看次数

计算聚类的F度量

任何人都可以帮我集体计算F测量吗?我知道如何计算回忆和精度,但不知道给定算法如何计算一个F测量值.

作为一个例子,假设我的算法创建了m个集群,但我知道有相同数据的n个集群(由另一个基准算法创建).

我发现了一个pdf,但它没有用,因为我得到的集体值大于1. pdf的参考是F测量解释.具体来说,我已经阅读了一些研究论文,其中作者在F-measure的基础上比较了两种算法,如果你仔细阅读上面提到的pdf,它们的集合值在0和1之间,公式为F(C,K) =Σ| ci |/N*max {F(ci,kj)}
其中ci是参考簇&kj是由其他算法创建的簇,这里我从1运行到n&j从1运行到m.Let say | c1 | = 218这里按pdf N = m*n假设m = 12且n = 10,并且我们得到j = 2的最大F(c1,kj).绝对地,F(c1,k2)在0和1之间,但是通过上面的公式计算的结果值将得到高于1的值.

cluster-analysis data-mining precision-recall

4
推荐指数
2
解决办法
1万
查看次数

如何获取所有终端节点 - r 中的权重和响应预测“ctree”

这是我可以用来列出所有终端节点权重的内容:但是我如何添加一些代码来获得响应预测以及每个终端节点 ID 的权重:

说我希望我的输出看起来像这样

在此处输入图片说明

- 以下是我迄今为止获得的重量

nodes(airct, unique(where(airct))) 
Run Code Online (Sandbox Code Playgroud)

谢谢

r data-mining decision-tree

4
推荐指数
1
解决办法
3411
查看次数

多个文件中的唯一词频

我是python的新手。我得到了一个包含大约 2000 个文本文件的文件夹。我应该输出每个单词及其出现的次数(在文件中不重复)。例如,句子:“i am what i am”必须在文件中只包含一次“i”。

我可以对单个文件执行此操作,但是如何对多个文件执行此操作?

from collections import Counter
import re

def openfile(filename):
    fh = open(filename, "r+")
    str = fh.read()
    fh.close()
    return str

def removegarbage(str):
    # Replace one or more non-word (non-alphanumeric) chars with a space
    str = re.sub(r'\W+', ' ', str)
    str = str.lower()
    return str

def getwordbins(words):
    cnt = Counter()
    for word in words:
        cnt[word] += 1
    return cnt

def main(filename, topwords):
    txt = openfile(filename)
    txt = removegarbage(txt)
    words = txt.split(' ')
    bins = getwordbins(words) …
Run Code Online (Sandbox Code Playgroud)

python data-mining

4
推荐指数
1
解决办法
2719
查看次数

ELKI 可以处理多大的数据集?

我有 100,000 个点,我想使用 ELKI 中的 OPTICS 算法进行聚类。对于这个点集,我有一个大约 50 亿个条目的上三角距离矩阵。在ELKI想要矩阵的格式中,大约需要100GB的内存。我想知道 ELKI 是否处理这种数据加载?任何人都可以确认您之前是否做过这项工作?

cluster-analysis machine-learning data-mining dbscan elki

4
推荐指数
1
解决办法
728
查看次数

Weka的主成分分析

我刚刚在训练集上计算了PCA,Weka用选择和计算它们的方式返回了新属性.现在,我想使用这些数据构建模型,然后在测试集上使用该模型.

你知道是否有办法根据新的属性类型自动修改测试集?

data-mining weka pca

4
推荐指数
1
解决办法
9503
查看次数

何时在R中的插入符包中使用train()的索引和种子参数

主要问题:

在阅读文档和谷歌搜索之后,我仍然难以确定预先定义重采样指数的情况,例如:

resamples <- createResample(classVector_training, times = 500, list=TRUE)
Run Code Online (Sandbox Code Playgroud)

或预定义的种子,如:

seeds <- vector(mode = "list", length = 501) #length is = (n_repeats*nresampling)+1
for(i in 1:501) seeds[[i]]<- sample.int(n=1000, 1) 
Run Code Online (Sandbox Code Playgroud)

我的计划是通过doParallel软件包使用并行处理来训练一堆不同的可重现模型.由于已经设置了种子,是否不需要预定义重新采样?我是否需要以上述方式预定义种子,而不是在trainControl对象中设置seeds = NULL,因为我打算使用并行处理?是否有任何理由预先定义索引和种子,因为我通过搜索谷歌至少看过一次?什么是使用indexOut的原因?

问题:

到目前为止,我已经设法为RF运行良好的列车:

rfControl <- trainControl(method="oob", number = 500, p = 0.7, returnData=TRUE,   returnResamp = "all", savePredictions=TRUE, classProbs = TRUE, summaryFunction = twoClassSummary, allowParallel=TRUE)
mtryGrid <- expand.grid(mtry = 9480^0.5) #set mtry parameter to the square root of the number of variables
rfTrain <- train(x = training, y = classVector_training, method …
Run Code Online (Sandbox Code Playgroud)

parallel-processing r machine-learning data-mining r-caret

4
推荐指数
1
解决办法
2298
查看次数