标签: data-mining

使用 PHP 在文本正文中查找 3-8 个单词的常用短语

我正在寻找一种使用 PHP 在文本正文中查找常用短语的方法。如果在 php 中不可能,我会对其他可以帮助我完成此任务的网络语言感兴趣。

内存或速度都不是问题。

现在,我可以轻松找到关键字,但不知道如何搜索短语。

php data-mining text-mining

4
推荐指数
1
解决办法
4420
查看次数

SQL 中的 KD 树实现

有人知道KD-Tree或类似的空间索引是用 SQL 实现的吗?我正在考虑使用 Python 和 Django 的 ORM 编写自己的程序,但我想避免重新发明轮子。

我有一个包含数百万行的表,每行包含 128 列代表图像特征数据。给定一个任意 128 元素长的图像特征列表,我想使用 KD 树来查找数据库中的 N 个最相似的图像。我发现了很多 KD-Tree 实现,但它们似乎都只加载到本地内存中,并且不能扩展或与数据库交互。

python sql database data-mining kdtree

4
推荐指数
1
解决办法
3103
查看次数

什么时候准确率和召回率成反比?

我正在阅读机器学习中的精度和召回率。

问题 1:准确率和召回率何时成反比?也就是说,什么时候会出现可以提高准确率但以降低召回率为代价的情况,反之亦然?在维基百科的文章中指出:

通常,准确率和召回率之间存在反比关系,可以以减少另一个为代价来增加一个。脑部手术提供了一个明显的权衡例子。

但是,我已经看到研究实验结果,其中精度和召回率同时增加(例如,当您使用不同或更多特征时)。

逆关系在什么情况下成立?

问题 2:我熟悉两个领域的精确率和召回率概念:信息检索(例如“从 1MM 页的语料库中返回 100 个最相关的页面”)和二元分类(例如“将这 100 名患者中的每一个分类为具有病与否”)。在这两个领域或其中一个领域中,精度和召回率是否成反比?

information-retrieval classification machine-learning data-mining

4
推荐指数
1
解决办法
3795
查看次数

如何为k-means聚类选择初始质心

我正在致力于在 Python 中实现 k-means 聚类。为数据集选择初始质心的好方法是什么?例如:我有以下数据集:

A,1,1
B,2,1
C,4,4
D,4,5
Run Code Online (Sandbox Code Playgroud)

我需要创建两个不同的集群。我如何从质心开始?

python cluster-analysis data-mining k-means centroid

4
推荐指数
1
解决办法
1万
查看次数

在 R 读取的数据文件中分配列名

我正在尝试读取 R 中的网络数据(id 图形)。该文件名为“network.txt”,数据如下:

4 0
5 0
6 0
7 0
8 0
9 0
4029 1
4030 1
4031 1
4032 1
4033 1
19088 9040
19089 9040
19090 9040
19091 9040
19092 9040
19093 9040
19094 9040
19095 9040
19096 9040
19097 9040
Run Code Online (Sandbox Code Playgroud)

而且,我正在使用 read.table() 模块阅读它。

data = read.table("network.txt",sep="\t",header=FALSE)
colnames( data ) <- unlist(c('to', 'from'))

Error in `colnames<-`(`*tmp*`, value = c("to", "from")) : 
  'names' attribute [2] must be the same length as the vector [1]
Run Code Online (Sandbox Code Playgroud)

那么,如何分配列名呢?读取原始数据文件有没有错误?

r data-mining data-science

4
推荐指数
1
解决办法
9168
查看次数

在不调整 R 的情况下在 Caret 中训练模型

看起来,当caret你训练模型时,你几乎被迫进行参数调整。我知道这通常是一个好主意,但是如果我想在训练时明确说明模型参数怎么办?

svm.nf <- train(y ~ .,
                data = nf,
                method = "svmRadial",
                C = 4, sigma = 0.25, tuneLength = 0)
Run Code Online (Sandbox Code Playgroud)

出了问题;所有 RMSE 指标值均缺失:

    RMSE        Rsquared  
 Min.   : NA   Min.   : NA  
 1st Qu.: NA   1st Qu.: NA  
 Median : NA   Median : NA  
 Mean   :NaN   Mean   :NaN  
 3rd Qu.: NA   3rd Qu.: NA  
 Max.   : NA   Max.   : NA  
 NA's   :2     NA's   :2    
Run Code Online (Sandbox Code Playgroud)

train.default(x,y,weights = w,...)中的错误:停止另外:警告消息:在nominalTrainWorkflow(x = x,y = y,wts =weights,info = trainInfo,:存在缺失值在重新抽样的绩效指标中。

r data-mining r-caret

4
推荐指数
1
解决办法
678
查看次数

R: Plot multiple different coloured ROC curves using ROCR

The following code was taken from @adibender answer to "Multiple ROC curves in one plot ROCR". The code is partly from ?plot.performance.

library(ROCR)
data(ROCR.simple)
preds <- cbind(p1 = ROCR.simple$predictions, 
            p2 = abs(ROCR.simple$predictions + 
            rnorm(length(ROCR.simple$predictions), 0, 0.1)))

pred.mat <- prediction(preds, labels = matrix(ROCR.simple$labels, 
            nrow = length(ROCR.simple$labels), ncol = 2) )

perf.mat <- performance(pred.mat, "tpr", "fpr")
plot(perf.mat)
Run Code Online (Sandbox Code Playgroud)

I want to illustrate several ROC curves in a single plot, like the code above, using the r package ROCR. However, i would want the …

plot r machine-learning data-mining roc

4
推荐指数
1
解决办法
6074
查看次数

“意外的输入结束”错误是什么意思?

我目前正在 R 中构建一个应用程序来计算 QR 矩阵分解、QR 非负矩阵分解和计算 ICA。目前我正在做第一个任务。我收到以下错误:

source("trial.R")

Error in source("trial.R") : trial.R:153:0: unexpected end of input
151: 
152: 
    ^
Run Code Online (Sandbox Code Playgroud)

代码:

library(rworldmap)


install.packages("plotrix")
library(plotrix)


install.packages("fastICA")
library(fastICA)
install.packages("Matrix")
source("utils.R")
library("corpcor")

twophase.cx <- function(A, k, fudge=5) {

    SVD=svd(normalised)
    V=SVD$v

    vk<-array(0,dim=c(nrow(V),k))
    cols_v=ncol(V)
    for(cl in 1:k){
     for(r in 1:nrow(V)){
      vk[r,cl]<-V[r,cl+k]
      }}

   probs=rep(0,k)

   prod=A%*%vk%*%t(vk)
    for(j in 1:k){

    subA=A[nrow(A)-j,ncol(A)-j]

    subV=vk[nrow(subV)-j,ncol(vk)-j]

    subprod=prod[nrow(prod)-j,ncol(prod)-j]

    normv<-norm(subV,"2")
    normA<-norm(subA,"2")
    normProd<-norm(subprod,"2")
    add1<-(normv*normv)/(2*k)
    add2<-((normA*normA)-(normProd*normProd))/(2*((normA*normA)-           (normProd*normProd)))                                          
    probs[j]<-add1+add2
  }

   const<-(k*log(k))

   keep<-sample(c(1:k),size=const,prob=probs,replace=FALSE)

   S1<-matrix(0,ncol(A),const)
   for(i in 1:ncol(A)){
    for(j in 1:const){
     if(is.element(j,keep)){
      S1[i,j]<-1}}}

  D1<-matrix(0,const,const)
 for(i in 1:const){
   if(is.element(i,keep)){
    prd<-const*probs[i] …
Run Code Online (Sandbox Code Playgroud)

r data-mining qr-decomposition

4
推荐指数
1
解决办法
2万
查看次数

如何捕获负向后查找术语正则表达式之间未知数量的单词?

我试图排除在“狗”一词之前有“所有者”一词的记录

  • 业主有一只狗(不含)
  • 主人有一只黑棕色的狗(不含)
  • 约翰有一只狗(包括)
  • 约翰有一只黑色和棕色的狗(包括)

这是当前的正则表达式:

\b(?<!owner\s)\w+\sdog\b
Run Code Online (Sandbox Code Playgroud)

这适用于单个未知单词(排除“主人有狗”,但包括“主人有狗”)),但是,我无法捕获多个单词,这些单词在“主人”和“主人”之间的所有单词中保留其负面外观。 “狗”。

非常感谢

python regex data-mining

4
推荐指数
1
解决办法
352
查看次数

数据挖掘相关论坛

您正在使用哪些论坛来处理数据挖掘问题?SO主要用于编程,而不是DM问题.

forums data-mining

3
推荐指数
2
解决办法
3638
查看次数