实现了一个算法来推荐产品取得了一些成功,我现在正在研究计算该算法的初始输入数据的方法.
我的目标是计算用户具有某种历史记录的每种产品的分数.
我目前收集的数据:
所有这些数据都带有时间戳.
我正在寻找一些建议,理想情况下,这个问题应该更多地用于讨论,而不是针对单个"正确"的答案.
为了避免这个问题被错误的答案脱轨,一旦我为每个用户提供了这些数据,这就是我正在做的事情:
基本上,我不找就怎么做,一旦我的想法有输入数据(稍后我可能会需要进一步的帮助,但它不是这个问题点),只是对如何生成此输入数据的想法第一名
如果我们有一组M个单词,并且事先知道每对单词的含义的相似性(具有相似性的M×M矩阵),我们可以使用哪个算法为每个单词制作一个k维位向量,这样只需通过比较它们的向量来比较每对单词(例如得到向量的绝对差异)?
我不知道这个特殊问题是如何被调用的.如果我知道,在一堆具有相似描述的算法中找到它们会更容易.
补充观察:
我认为这个算法必须产生一个,在这种情况下需要,副作用.如果从矩阵中,单词A类似于单词B而B类似于C,但是检测到低[A,C]相似性,则计算结果向量差异也应该产生高[A,C]相似性.因此,我们将填充矩阵中的先前空白 - 以某种方式平滑与此算法的相似性.但除了这种平滑之外,目标是使结果尽可能接近我们在矩阵中的原始数字.
我面临一个关于序列挖掘的棘手问题,比如我有10个产品,我有数百万条记录,每条记录包含购买的用户,产品和时间戳.每个用户可能只有1条记录或100条记录..例如:
user 1, p1, t1
user 1, p1, t2
user 1, p2, t3
user 1, p3, t4
user 1, p1, t5
user 2, p2, t6.....
Run Code Online (Sandbox Code Playgroud)
现在我需要预测何时是为用户推广产品的最佳时机.
到目前为止,我的解决方案是将时间分为几类.然后在数据上应用Apriori,例如记录就像
user 1, p1T1
user 1, p2T2
user 1, p3T2
user 1, p2T1...
Run Code Online (Sandbox Code Playgroud)
然后我会得到像p1T1-> p2T2等规则,因为T3> T2> T1 ...任何规则都不适合这种情况将被丢弃.
但是,我对这个解决方案不是很满意.有什么建议?
algorithm artificial-intelligence machine-learning data-mining
我不是在征求意见,而是在征集文件.
我们有很多数据文件(XML,CSV,Plantext等),需要处理它们,数据挖掘它们.
领导数据库人员建议使用存储过程来完成任务.基本上我们有一个临时表,文件被序列化,并保存到clob或XML列中.然后从那里他建议进一步使用存储过程来处理文件.
我是一名具有数据库背景的应用程序开发人员,在应用程序开发方面更是如此,我可能会有偏见,但在数据库中使用此逻辑似乎是一个坏主意,我无法找到任何文档证明或不赞成我所指的把汽车放在火车轨道上以拉动一大堆货物.
所以我的问题是:当我们谈论正则表达式搜索,搜索和替换clob,dom遍历,递归中的数据时,DB(Oracle,DB2,MySQL,SqlServer)的表现如何?与Java,PHP或C#等编程语言相比,在同一问题上.
编辑
所以我正在寻找的是与DBMS相比特定编程语言的比较/运行时分析的文档,特别是对于字符串搜索和替换,正则表达式搜索和替换.XML Dom遍历.递归方法调用的内存使用情况.特别是当遇到10-100的GB数据时,它们的扩展程度如何.
database stored-procedures data-mining data-processing database-performance
当我们说我们正在评估WEKA frmework中的集群时,我们的意思是什么?聚类是一种无监督的对象分组方法.当我们说要评估结果时,我们的意思是什么?此外,除此之外,当我们说我们在训练数据本身之上评估集群时,这意味着什么?
谢谢Abhishek S.
我一直在尝试聚集一些更大的数据集.由50000个尺寸为7的测量矢量组成.我正在尝试生成大约30到300个簇以进行进一步处理.
我一直在尝试以下集群实现而没有运气:
我可能会错过任何其他实现吗?
为什么会这样呢?
GradientBoostingClassifier(loss='ls')
Run Code Online (Sandbox Code Playgroud)
失败了:
raise ValueError("``n_classes`` must be 1 for regression")
ValueError: ``n_classes`` must be 1 for regression
Run Code Online (Sandbox Code Playgroud)
它与...完美配合loss='deviance'?
我在Ubuntu 64位中使用scikit-learn-0.11和scipy-0.11.0rc1这发生了对二进制类'YES''NO'的数据集进行分类.
使用Weka的C4.5(J48)决策树处理缺失特征属性值的最佳方法是什么?在训练和分类期间都会出现缺失值的问题.
如果训练实例中缺少值,我是否正确假设我放置了一个'?' 功能的价值?
假设我能够成功构建决策树,然后从Weka的树结构中用C++或Java创建自己的树代码.在分类时,如果我尝试对新实例进行分类,我会为具有缺失值的功能赋予什么价值?如何将树下降到我具有未知值的决策节点?
使用Naive Bayes会更好地处理缺失值吗?我只想为他们分配一个非常小的非零概率,对吗?
classification machine-learning data-mining decision-tree weka
假设我将以编程方式从互联网上获取数十万个开放访问书籍作为文本字符串.我的目的是对它们做一些分析(使用熊猫).我已经在我的应用程序的某些部分使用mongodb,但我认为很容易将它放在pendrive中并将其转移到另一台机器上.Sqlite是可移植的,但我讨厌编写sql.我看到的其他选项只是将它作为单独的文本文件或称为hdf5的文件系统.
hdf5对这种纯文本数据有用吗?如果没有,还有哪些其他选择?
假设我有一个事件列表.例如A, D, T, H, U, A, B, F, H, ....
我需要的是找到完整序列中出现的频繁模式.在这个问题中,我们不能使用传统算法,如先验或fp增长,因为它们需要单独的项集.并且,我无法将此流分解为更小的集合.
知道哪种算法对我有用吗?
编辑
例如,对于序列A, D, T, H, U, A, D, T, H, T, H, U, A, H, T, H和with min_support = 2.
频繁的模式将是
Of length 1 --> [A, D, T, H, U]
Of length 2 --> [AD, DT, TH, HU, UA, HT]
Of length 3 --> [ADT, DTH, THU, HUA]
Of length 4 --> [ADTH, THUA]
No sequences of length 5 and further
Run Code Online (Sandbox Code Playgroud) data-mining ×10
algorithm ×3
python ×2
weka ×2
database ×1
file ×1
frequency ×1
hdf5 ×1
java ×1
scikit-learn ×1
similarity ×1
vector ×1