我想知道是否有任何可用于编码/数据挖掘的新闻源/ api.例如Skygrid提供实时新闻提要,如果新闻好或坏,但它都是闪存,他们似乎不提供除了他们的推特之外的任何rs.
我已经将一个数据集导入 Rapidminer 5,并且应该是名义或多项式的列之一被设置为数字。我的数据集有 500 多个属性,所以我真的不想每次意识到我犯了这样的错误时都必须重新导入我的数据。是否有某种方法可以自动执行导入过程,以便保存我每次设置的列类型,或者我可以返回并编辑已导入的数据集属性类型?
当我们使用任何决策树算法时,我们的数据集由数值组成.
我发现程序提供的结果将节点拆分为数据集中甚至不存在的值
示例:
分类结果
在我的数据集中,attrib2没有像3.76179那样的值.为什么会这样?
有没有人能够使用 randomForest 和 bigmemory 库设置分类(而不是回归)。我知道不能使用“公式方法”,我们不得不求助于“x=predictors, y=response 方法”。看来大内存库无法处理具有分类值的响应向量(毕竟它是一个矩阵)。就我而言,我有两个级别,都表示为字符。
根据 bigmemory 文档...“数据框会将字符向量转换为因子,然后将所有因子转换为数字因子级别”
任何建议的解决方法来让 randomForest 分类与大内存一起工作?
#EXAMPLE to problem
library(randomForest)
library(bigmemory)
# Removing any extra objects from my workspace (just in case)
rm(list=ls())
#first small matrix
small.mat <- matrix(sample(0:1,5000,replace = TRUE),1000,5)
colnames(small.mat) <- paste("V",1:5,sep = "")
small.mat[,5] <- as.factor(small.mat[,5])
small.rf <- randomForest(V5 ~ .,data = small.mat, mtry=2, do.trace=100)
print(small.rf)
small.result <- matrix(0,1000,1)
small.result <- predict(small.rf, data=small.mat[,-5])
#now small dataframe Works!
small.mat <- matrix(sample(0:1,5000,replace = TRUE),1000,5)
colnames(small.mat) <- paste("V",1:5,sep = "")
small.data <- as.data.frame(small.mat) …Run Code Online (Sandbox Code Playgroud) 我想创建自己的简单推荐系统,关于书籍.但是存在一些问题 - 一个人组织算法训练数据集是不可能的(至少非常困难).
那么,有没有关于人们投票的信息的免费数据集或测验,哪些书籍和他们喜欢多少?
第二个问题是书的参数.对于一些基于项目的预测,实际上必须使用书籍的评级(例如语言,单词的平均长度,段落中的平均单词数,我已经计算了大约30个这样的参数)和它们的权重(例如,书的语言被评级)在1点,平均字长为0.314).那么,有没有准备好的信息呢?
事实上,如果我得到第一个问题的答案,我可以找到第二个问题的解决方案,但我确信,需要的信息存在.
此外,我正在阅读推荐系统手册,它提供了完整的信息(与参考),但很难阅读.在这种情况下你能建议一些额外的书吗?
只想澄清一件事:只要它们处于不同的"分支"中,相同的属性可以多次出现在决策树中吗?
我有一个apriori函数输出,它可以挖掘数据并提供一组规则.我想将其转换为数据帧以进行进一步处理.rules对象如下所示:
> inspect(output)
lhs rhs support confidence lift
1 {curtosis=(846,1.27e+03]} => {skewness=(-0.254,419]} 0.2611233 0.8044944 2.418776
2 {variance=(892,1.34e+03]} => {notes.class=FALSE} 0.3231218 0.9888393 1.781470
3 {variance=(-0.336,446]} => {notes.class=TRUE} 0.2859227 0.8634361 1.940608
4 {skewness=(837,1.26e+03]} => {notes.class=FALSE} 0.2924872 0.8774617 1.580815
5 {entropy=(-0.155,386],
class=FALSE} => {skewness=(837,1.26e+03]} 0.1597374 0.9521739 2.856522
6 {variance=(-0.336,446],
curtosis=(846,1.27e+03]} => {skewness=(-0.254,419]} 0.1378556 0.8325991 2.503275
Run Code Online (Sandbox Code Playgroud)
我们可以使用数据框创建规则对象.数据框看起来像这样:
> data
variance skewness curtosis entropy notes.class
1 (892,1.34e+03] (837,1.26e+03] (-0.268,424] (386,771] FALSE
2 (892,1.34e+03] (-0.254,419] (424,846] (771,1.16e+03] FALSE
3 (892,1.34e+03] (837,1.26e+03] (-0.268,424] (-0.155,386] FALSE …Run Code Online (Sandbox Code Playgroud) 我有一个(对称的)邻接矩阵,它是根据报纸文章中共同出现的名称(例如:Greg,Mary,Sam,Tom)创建的(例如:a,b,c,d).见下文.
如何计算非零矩阵元素的升力值(http://en.wikipedia.org/wiki/Lift_(data_mining))?
我会对一个有效的实现感兴趣,它也可以用于非常大的矩阵(例如一百万个非零元素).
我感谢任何帮助.
# Load package
library(Matrix)
# Data
A <- new("dgTMatrix"
, i = c(2L, 2L, 2L, 0L, 3L, 3L, 3L, 1L, 1L)
, j = c(0L, 1L, 2L, 0L, 1L, 2L, 3L, 1L, 3L)
, Dim = c(4L, 4L)
, Dimnames = list(c("Greg", "Mary", "Sam", "Tom"), c("a", "b", "c", "d"))
, x = c(1, 1, 1, 1, 1, 1, 1, 1, 1)
, factors = list()
)
# > A
# …Run Code Online (Sandbox Code Playgroud) 我正在尝试使用Weka对一组数据进行K-Means聚类,检查不同权重如何影响不同的属性.
但是,当我调整每个属性的权重时,我没有看到聚类的任何差异.
//Initialize file readers
...
Instances dataSet = readDataFile(dataReader);
double[][] modifiers = readNormalizationFile(normReader, dataSet.numAttributes());
normalize(dataSet, modifiers);
SimpleKMeans kMeans = new SimpleKMeans();
kMeans.setPreserveInstancesOrder(true);
int[] clusters = null;
try
{
System.out.println(kMeans.getSeed());
if(distMet != 0)
kMeans.setDistanceFunction(new ManhattanDistance(dataSet));
kMeans.setNumClusters(k);
kMeans.buildClusterer(dataSet);
clusters = kMeans.getAssignments();
}
//Print clusters
Run Code Online (Sandbox Code Playgroud)
"修饰符"数组的第一个维度对应于每个属性,并且每个属性内有两个值.从属性值中减去第一个,然后将结果除以第二个值.
规范化如下:
public static void normalize(Instances dataSet, double[][] modifiers)
{
for(int i = 0; i < dataSet.numInstances(); i++)
{
Instance currInst = dataSet.instance(i);
double[] values = currInst.toDoubleArray();
for(int j = 0; j < values.length; j++)
{
currInst.setValue(j, …Run Code Online (Sandbox Code Playgroud) weightsR gbm函数的论据是什么?它是否实施成本敏感的随机梯度增强?
data-mining ×10
r ×4
api ×1
apriori ×1
feeds ×1
gbm ×1
java ×1
k-means ×1
matrix ×1
r-bigmemory ×1
rapidminer ×1
rss ×1
weka ×1