标签: data-mining

新闻数据API或供稿

我想知道是否有任何可用于编码/数据挖掘的新闻源/ api.例如Skygrid提供实时新闻提要,如果新闻好或坏,但它都是闪存,他们似乎不提供除了他们的推特之外的任何rs.

api rss feeds data-mining

5
推荐指数
1
解决办法
5143
查看次数

在 Rapidminer 中,一旦我导入数据集,我该如何更改列的类型?

我已经将一个数据集导入 Rapidminer 5,并且应该是名义或多项式的列之一被设置为数字。我的数据集有 500 多个属性,所以我真的不想每次意识到我犯了这样的错误时都必须重新导入我的数据。是否有某种方法可以自动执行导入过程,以便保存我每次设置的列类型,或者我可以返回并编辑已导入的数据集属性类型?

data-mining rapidminer

5
推荐指数
1
解决办法
2万
查看次数

决策树如何计算拆分属性?

当我们使用任何决策树算法时,我们的数据集由数值组成.

我发现程序提供的结果将节点拆分为数据集中甚至不存在的值

示例:
分类结果

  1. attrib2 <= 3.761791861252009:groupA
  2. attrib2> 3.761791861252009:groupB

在我的数据集中,attrib2没有像3.76179那样的值.为什么会这样?

machine-learning data-mining decision-tree

5
推荐指数
2
解决办法
9084
查看次数

R:使用 bigmemory 库进行随机森林分类

有没有人能够使用 randomForest 和 bigmemory 库设置分类(而不是回归)。我知道不能使用“公式方法”,我们不得不求助于“x=predictors, y=response 方法”。看来大内存库无法处理具有分类值的响应向量(毕竟它是一个矩阵)。就我而言,我有两个级别,都表示为字符。

根据 bigmemory 文档...“数据框会将字符向量转换为因子,然后将所有因子转换为数字因子级别”

任何建议的解决方法来让 randomForest 分类与大内存一起工作?

#EXAMPLE to problem
library(randomForest)
library(bigmemory)
# Removing any extra objects from my workspace (just in case)
rm(list=ls())

#first small matrix
small.mat <- matrix(sample(0:1,5000,replace = TRUE),1000,5)
colnames(small.mat) <- paste("V",1:5,sep = "")
small.mat[,5] <- as.factor(small.mat[,5]) 
small.rf <- randomForest(V5 ~ .,data = small.mat, mtry=2, do.trace=100)
print(small.rf)
small.result <- matrix(0,1000,1)
small.result <- predict(small.rf, data=small.mat[,-5])

#now small dataframe Works!
small.mat <- matrix(sample(0:1,5000,replace = TRUE),1000,5)
colnames(small.mat) <- paste("V",1:5,sep = "")
small.data <- as.data.frame(small.mat) …
Run Code Online (Sandbox Code Playgroud)

r machine-learning data-mining r-bigmemory

5
推荐指数
1
解决办法
1653
查看次数

推荐系统的数据集

我想创建自己的简单推荐系统,关于书籍.但是存在一些问题 - 一个人组织算法训练数据集是不可能的(至少非常困难).

那么,有没有关于人们投票的信息的免费数据集或测验,哪些书籍和他们喜欢多少?

第二个问题是书的参数.对于一些基于项目的预测,实际上必须使用书籍的评级(例如语言,单词的平均长度,段落中的平均单词数,我已经计算了大约30个这样的参数)和它们的权重(例如,书的语言被评级)在1点,平均字长为0.314).那么,有没有准备好的信息呢?

事实上,如果我得到第一个问题的答案,我可以找到第二个问题的解决方案,但我确信,需要的信息存在.

此外,我正在阅读推荐系统手册,它提供了完整的信息(与参考),但很难阅读.在这种情况下你能建议一些额外的书吗?

recommendation-engine data-mining

5
推荐指数
1
解决办法
1万
查看次数

可以在决策树中多次出现"拆分属性"吗?

只想澄清一件事:只要它们处于不同的"分支"中,相同的属性可以多次出现在决策树中吗?

machine-learning data-mining decision-tree

5
推荐指数
2
解决办法
6656
查看次数

将类规则的对象转换为R中的数据帧

我有一个apriori函数输出,它可以挖掘数据并提供一组规则.我想将其转换为数据帧以进行进一步处理.rules对象如下所示:

> inspect(output)
   lhs                          rhs                         support confidence     lift
1  {curtosis=(846,1.27e+03]} => {skewness=(-0.254,419]}   0.2611233  0.8044944 2.418776
2  {variance=(892,1.34e+03]} => {notes.class=FALSE}       0.3231218  0.9888393 1.781470
3  {variance=(-0.336,446]}   => {notes.class=TRUE}        0.2859227  0.8634361 1.940608
4  {skewness=(837,1.26e+03]} => {notes.class=FALSE}       0.2924872  0.8774617 1.580815
5  {entropy=(-0.155,386],                                                              
    class=FALSE}       => {skewness=(837,1.26e+03]} 0.1597374  0.9521739 2.856522
6  {variance=(-0.336,446],                                                             
curtosis=(846,1.27e+03]} => {skewness=(-0.254,419]}   0.1378556  0.8325991 2.503275
Run Code Online (Sandbox Code Playgroud)

我们可以使用数据框创建规则对象.数据框看起来像这样:

> data
        variance       skewness       curtosis        entropy notes.class
1 (892,1.34e+03] (837,1.26e+03]   (-0.268,424]      (386,771]       FALSE
2 (892,1.34e+03]   (-0.254,419]      (424,846] (771,1.16e+03]       FALSE
3 (892,1.34e+03] (837,1.26e+03]   (-0.268,424]   (-0.155,386]       FALSE …
Run Code Online (Sandbox Code Playgroud)

r machine-learning data-mining apriori

5
推荐指数
2
解决办法
5809
查看次数

提升值计算

我有一个(对称的)邻接矩阵,它是根据报纸文章中共同出现的名称(例如:Greg,Mary,Sam,Tom)创建的(例如:a,b,c,d).见下文.

如何计算非零矩阵元素的升力值(http://en.wikipedia.org/wiki/Lift_(data_mining))?

我会对一个有效的实现感兴趣,它也可以用于非常大的矩阵(例如一百万个非零元素).

我感谢任何帮助.

# Load package
library(Matrix)

# Data
A <- new("dgTMatrix"
    , i = c(2L, 2L, 2L, 0L, 3L, 3L, 3L, 1L, 1L)
    , j = c(0L, 1L, 2L, 0L, 1L, 2L, 3L, 1L, 3L)
    , Dim = c(4L, 4L)
    , Dimnames = list(c("Greg", "Mary", "Sam", "Tom"), c("a", "b", "c", "d"))
    , x = c(1, 1, 1, 1, 1, 1, 1, 1, 1)
    , factors = list()
)

# > A
# …
Run Code Online (Sandbox Code Playgroud)

r matrix data-mining

5
推荐指数
1
解决办法
1548
查看次数

Weka总是为不同的数据生成相同的集群

我正在尝试使用Weka对一组数据进行K-Means聚类,检查不同权重如何影响不同的属性.

但是,当我调整每个属性的权重时,我没有看到聚类的任何差异.

//Initialize file readers
...
Instances dataSet = readDataFile(dataReader);
double[][] modifiers = readNormalizationFile(normReader, dataSet.numAttributes());
normalize(dataSet, modifiers);
SimpleKMeans kMeans = new SimpleKMeans();
kMeans.setPreserveInstancesOrder(true);
int[] clusters = null;
try
{
    System.out.println(kMeans.getSeed());
    if(distMet != 0)
        kMeans.setDistanceFunction(new ManhattanDistance(dataSet));
    kMeans.setNumClusters(k);
    kMeans.buildClusterer(dataSet);

    clusters = kMeans.getAssignments();
}
//Print clusters
Run Code Online (Sandbox Code Playgroud)

"修饰符"数组的第一个维度对应于每个属性,并且每个属性内有两个值.从属性值中减去第一个,然后将结果除以第二个值.

规范化如下:

public static void normalize(Instances dataSet, double[][] modifiers)
{
    for(int i = 0; i < dataSet.numInstances(); i++)
    {
        Instance currInst = dataSet.instance(i);
        double[] values = currInst.toDoubleArray();
        for(int j = 0; j < values.length; j++)
        {
            currInst.setValue(j, …
Run Code Online (Sandbox Code Playgroud)

java cluster-analysis data-mining weka k-means

5
推荐指数
1
解决办法
652
查看次数

R gbm函数中的权重参数

weightsR gbm函数的论据是什么?它是否实施成本敏感的随机梯度增强?

r classification machine-learning data-mining gbm

5
推荐指数
1
解决办法
2965
查看次数