标签: data-mining

协作过滤:为每个用户确定产品隐含分数的方法?

实现了一个算法来推荐产品取得了一些成功,我现在正在研究计算该算法的初始输入数据的方法.

我的目标是计算用户具有某种历史记录的每种产品的分数.

我目前收集的数据:

  • 用户订单历史记录
  • 匿名用户和注册用户的产品综合浏览量历史记录

所有这些数据都带有时间戳.

我正在寻找什么

我正在寻找一些建议,理想情况下,这个问题应该更多地用于讨论,而不是针对单个"正确"的答案.

  • 我可以为用户收集的任何其他数据,这些数据可以直接暗示对产品的兴趣
  • 用于将该数据转换为每个产品的分数的算法/等式

我不想要的

为了避免这个问题被错误的答案脱轨,一旦我为每个用户提供了这些数据,这就是我正在做的事情:

  • 使用k-means聚类算法生成大量用户聚类(目前为21个),使用皮尔逊系数进行距离评分
  • 为每个用户(按需)通过在其群集中查找其最相似和最不相似的用户并重复任意深度来计算他们的类似用户的图表.
  • 根据用户图表中其他用户的偏好计算每个产品的分数
  • 对分数进行排序以返回推荐列表

基本上,我不找就怎么做,一旦我的想法有输入数据(稍后我可能会需要进一步的帮助,但它不是这个问题点),只是对如何生成此输入数据的想法第一名

data-mining collaborative-filtering

6
推荐指数
1
解决办法
651
查看次数

相似矩阵 - >特征向量算法?

如果我们有一组M个单词,并且事先知道每对单词的含义的相似性(具有相似性的M×M矩阵),我们可以使用哪个算法为每个单词制作一个k维位向量,这样只需通过比较它们的向量来比较每对单词(例如得到向量的绝对差异)?

我不知道这个特殊问题是如何被调用的.如果我知道,在一堆具有相似描述的算法中找到它们会更容易.


补充观察:

我认为这个算法必须产生一个,在这种情况下需要,副作用.如果从矩阵中,单词A类似于单词B而B类似于C,但是检测到低[A,C]相似性,则计算结果向量差异也应该产生高[A,C]相似性.因此,我们将填充矩阵中的先前空白 - 以某种方式平滑与此算法的相似性.但除了这种平滑之外,目标是使结果尽可能接近我们在矩阵中的原始数字.

algorithm vector machine-learning similarity data-mining

6
推荐指数
1
解决办法
1808
查看次数

序列挖掘时间和产品预测

我面临一个关于序列挖掘的棘手问题,比如我有10个产品,我有数百万条记录,每条记录包含购买的用户,产品和时间戳.每个用户可能只有1条记录或100条记录..例如:

user 1, p1, t1
user 1, p1, t2
user 1, p2, t3
user 1, p3, t4
user 1, p1, t5
user 2, p2, t6.....
Run Code Online (Sandbox Code Playgroud)

现在我需要预测何时是为用户推广产品的最佳时机.

到目前为止,我的解决方案是将时间分为几类.然后在数据上应用Apriori,例如记录就像

user 1, p1T1
user 1, p2T2
user 1, p3T2
user 1, p2T1...
Run Code Online (Sandbox Code Playgroud)

然后我会得到像p1T1-> p2T2等规则,因为T3> T2> T1 ...任何规则都不适合这种情况将被丢弃.

但是,我对这个解决方案不是很满意.有什么建议?

algorithm artificial-intelligence machine-learning data-mining

6
推荐指数
1
解决办法
687
查看次数

存储过程或代码

我不是在征求意见,而是在征集文件.

我们有很多数据文件(XML,CSV,Plantext等),需要处理它们,数据挖掘它们.

领导数据库人员建议使用存储过程来完成任务.基本上我们有一个临时表,文件被序列化,并保存到clob或XML列中.然后从那里他建议进一步使用存储过程来处理文件.

我是一名具有数据库背景的应用程序开发人员,在应用程序开发方面更是如此,我可能会有偏见,但在数据库中使用此逻辑似乎是一个坏主意,我无法找到任何文档证明或不赞成我所指的把汽车放在火车轨道上以拉动一大堆货物.

所以我的问题是:当我们谈论正则表达式搜索,搜索和替换clob,dom遍历,递归中的数据时,DB(Oracle,DB2,MySQL,SqlServer)的表现如何?与Java,PHP或C#等编程语言相比,在同一问题上.

编辑

所以我正在寻找的是与DBMS相比特定编程语言的比较/运行时分析的文档,特别是对于字符串搜索和替换,正则表达式搜索和替换.XML Dom遍历.递归方法调用的内存使用情况.特别是当遇到10-100的GB数据时,它们的扩展程度如何.

database stored-procedures data-mining data-processing database-performance

6
推荐指数
1
解决办法
1162
查看次数

什么是WEKA中的集群评估?

当我们说我们正在评估WEKA frmework中的集群时,我们的意思是什么?聚类是一种无监督的对象分组方法.当我们说要评估结果时,我们的意思是什么?此外,除此之外,当我们说我们在训练数据本身之上评估集群时,这意味着什么?

谢谢Abhishek S.

java machine-learning data-mining weka

6
推荐指数
1
解决办法
8873
查看次数

可能带有python绑定的大规模集群库

我一直在尝试聚集一些更大的数据集.由50000个尺寸为7的测量矢量组成.我正在尝试生成大约30到300个簇以进行进一步处理.

我一直在尝试以下集群实现而没有运气:

  • Pycluster.kcluster(在我的数据集上只提供1-2个非空簇)
  • scipy.cluster.hierarchy.fclusterdata(运行时间太长)
  • scipy.cluster.vq.kmeans(内存不足)
  • sklearn.cluster.hierarchical.Ward(运行时间太长)

我可能会错过任何其他实现吗?

python cluster-analysis data-mining

6
推荐指数
2
解决办法
5511
查看次数

为什么Scikit GradientBoostingClassifier不允许我使用最小二乘回归?

为什么会这样呢?

GradientBoostingClassifier(loss='ls')
Run Code Online (Sandbox Code Playgroud)

失败了:

raise ValueError("``n_classes`` must be 1 for regression")
ValueError: ``n_classes`` must be 1 for regression
Run Code Online (Sandbox Code Playgroud)

它与...完美配合loss='deviance'?

我在Ubuntu 64位中使用scikit-learn-0.11和scipy-0.11.0rc1这发生了对二进制类'YES''NO'的数据集进行分类.

python data-mining scikit-learn

6
推荐指数
1
解决办法
1421
查看次数

如何处理C4.5(J48)决策树中缺失的属性值?

使用Weka的C4.5(J48)决策树处理缺失特征属性值的最佳方法是什么?在训练和分类期间都会出现缺失值的问题.

  1. 如果训练实例中缺少值,我是否正确假设我放置了一个'?' 功能的价值?

  2. 假设我能够成功构建决策树,然后从Weka的树结构中用C++或Java创建自己的树代码.在分类时,如果我尝试对新实例进行分类,我会为具有缺失值的功能赋予什么价值?如何将树下降到我具有未知值的决策节点?

使用Naive Bayes会更好地处理缺失值吗?我只想为他们分配一个非常小的非零概率,对吗?

classification machine-learning data-mining decision-tree weka

6
推荐指数
1
解决办法
7462
查看次数

我可以将hdf5用于大量文本数据吗?

假设我将以编程方式从互联网上获取数十万个开放访问书籍作为文本字符串.我的目的是对它们做一些分析(使用熊猫).我已经在我的应用程序的某些部分使用mongodb,但我认为很容易将它放在pendrive中并将其转移到另一台机器上.Sqlite是可移植的,但我讨厌编写sql.我看到的其他选项只是将它作为单独的文本文件或称为hdf5的文件系统.

hdf5对这种纯文本数据有用吗?如果没有,还有哪些其他选择?

file hdf5 data-mining

6
推荐指数
1
解决办法
917
查看次数

连续序列数据中的模式

假设我有一个事件列表.例如A, D, T, H, U, A, B, F, H, ....

我需要的是找到完整序列中出现的频繁模式.在这个问题中,我们不能使用传统算法,如先验或fp增长,因为它们需要单独的项集.并且,我无法将此流分解为更小的集合.

知道哪种算法对我有用吗?


编辑

例如,对于序列A, D, T, H, U, A, D, T, H, T, H, U, A, H, T, H和with min_support = 2.

频繁的模式将是

Of length 1 --> [A, D, T, H, U]
Of length 2 --> [AD, DT, TH, HU, UA, HT]
Of length 3 --> [ADT, DTH, THU, HUA]
Of length 4 --> [ADTH, THUA]
No sequences of length 5 and further
Run Code Online (Sandbox Code Playgroud)

algorithm frequency data-mining sequence-analysis

6
推荐指数
1
解决办法
678
查看次数