标签: data-mining

我目前在Ruby中编写了一个基于arc90可读性代码的算法,用于从网页中提取文章.

现在我有了这篇文章,我想从中提取关键字和特定信息(名称,作者等)

虽然它消耗了大量的资源,但我听说Alchemy是一个伟大的红宝石宝石.我可以使用更好的宝石吗？

我想知道如何在用户帐户之间找到有趣的关系,例如最多连接或最有价值的用户,这些用户基于他们与他人的连接.

下面我有我使用的两个表.一个拥有所有用户,另一个拥有他们关注的用户的密钥.

User
{
    id,
    name
}

Follows {
    user_id -> user.id,
    following_id -> user.id
}

我在寻找什么类型的算法？

假设不重要的人很少或没有粉丝,我怎样才能找到图中心的人？我认为他们会很重要,因为他们有重要的人跟随他们.

更新

正如大卫和史蒂夫指出的那样,给定节点的接近程度,子社区形成的节点以及连接最多的用户都是可以从此模式中提取的有用数据的示例.

由于现在许多站点都使用了这种"跟随者"设计,因此我希望获得一些可能对各种各样的人有用的可靠的SQL或编程语言实现.

值得注意的是,虽然某些算法的结果令人着迷,但其他算法(例如查找相关节点)对我们网站的用户来说是值得的,因为我们可以向他们推荐.

当给出支持和置信度的百分比值时,如何在Apriori算法中找到最小支持.举个例子,当支持率和信心分别为60%和60%时,最低支持率是多少？

我在这里看到了一些机器学习问题所以我想我会发布一个相关的问题:

假设我有一个数据集,运动员参加10公里和20公里的丘陵比赛的比赛,即每场比赛都有自己的困难.

用户的完成时间几乎与每次比赛的正常分布相反.

可以将此问题写为矩阵:

       Comp1 Comp2 Comp3
User1  20min  ??   10min

User2  25min 20min 12min

User3  30min 25min ??

User4  30min ??    ??

我想完成上面的矩阵,其大小为1000x20,稀疏度为8%(!).

应该有一种非常简单的方法来完成这个矩阵,因为我可以计算每个用户(能力)的参数和每个竞争的参数(mu,lambda of distribution).此外,比赛之间的相关性非常高.

我可以利用排名User1 <User2 <User3和Item3 << Item2 <Item1

你能不能给我一个暗示我可以使用的方法？

我正在研究数据挖掘项目,我想收集历史天气数据.我可以通过他们在http://www.ncdc.noaa.gov/cdo-web/search上提供的网络界面获取历史数据.但我想通过API以编程方式访问此数据.从我在StackOverflow上阅读的内容来看,这些数据应该是公共领域,但我能找到它的唯一地方就是像Wunderground这样的非免费服务.如何免费访问这些数据？

我有一些未贴标签的微博帖子,我想创建一个情绪分析模块.

要做到这一点,我尝试了斯坦福图书馆和Alchemy Api网络服务,但结果不是很好.现在我不想训练我的分类器.

所以我想建议一些图书馆或一些网络服务.我更喜欢经过测试的图书馆.这篇文章的语言是英语.预处理也已完成.

PS

我使用的编程语言是Java EE

我想对推文进行一些挖掘。推文是否有更具体的停用词列表，例如删除“lol”和其他推特笑脸？

我正在为以下问题寻找一种有效的算法：

给定 2D 空间中的一组点，其中每个点由其 X 和 Y 坐标定义。需要将这组点拆分为一组簇，以便如果两个任意点之间的距离小于某个阈值，则这些点必须属于同一簇：

换句话说，这样的集群是一组彼此“足够接近”的点。

朴素算法可能如下所示：

1. 令R是一个结果簇列表，最初为空
2. 设P是一个点列表，最初包含所有点
3. 从P 中随机选取一个点并创建一个仅包含该点的集群C。从P 中删除该点
4. 对于来自P 4a 的每个点Pi。对于来自C 4aa 的每个点Pc。如果distance(Pi, Pc) < 阈值，则将Pi添加到C并将其从P 中删除
5. 如果在步骤 4中至少有一个点被添加到集群C，则转到步骤 4
6. 将集群C添加到列表R。如果P不为空，则转到步骤 3