标签: data-mining

网页抓取,屏幕抓取,数据挖掘技巧?

我正在开发一个项目,我需要做很多屏幕抓取才能尽快获得大量数据.我想知道是否有人知道任何好的API或资源来帮助我.

顺便说一句,我正在使用java.

这是我的工作流程到目前为止:

  1. 连接到网站(使用Apache的HTTPComponents)
  2. 网站包含一个部分,其中包含一些我需要访问的链接(使用内置的java HTML解析器来确定我需要访问的所有链接是什么,这是烦人且杂乱的代码)
  3. 访问我找到的所有链接
  4. 对于我访问的每个链接,我需要提取更多数据,分布在多个页面上,因此我可能需要访问更多链接

思考:

  • 有没有人知道任何更高级别/更智能的HTML解析器比内置的java解析器?
  • 基本上它是深度优先搜索.我想我想在某个时候做这个多线程,所以我可以并行访问其中的一些链接.
  • 也许我真正想要的是一个多线程网络爬行库

如果你还没弄明白,这是我第一次搞乱这个问题,所以我很难说清楚我的需求是什么.我非常感谢你们之前做过这些事的人的任何意见.

java screen-scraping data-mining html-parsing web-scraping

5
推荐指数
1
解决办法
2万
查看次数

多语言数据的特征选择和无监督学习+机器学习算法选择

问题

我想将一组数千个网站分类/分类/集群/组合在一起.有我们可以训练的数据,所以我们可以进行有监督的学习,但这不是我们收集的数据,我们也不会坚持使用它 - 所以我们也在考虑无监督学习.

  • 我可以在机器学习算法中使用哪些功能来处理多语言数据?请注意,其中一些语言可能尚未在自然语言处理字段中处理.

  • 如果我使用无监督学习算法,我应该只按语言划分数据并以不同方式处理每种语言吗?不同的语言可能有不同的相关类别(或不,取决于您的心理语言学理论倾向),这可能会影响分区决策.

  • 我正在考虑使用决策树,或者支持向量机(SVM)来允许更多功能(根据我对它们的理解).这篇文章建议随机森林而不是SVM.有什么想法吗?

欢迎实用的方法!(理论上也是如此,但这些可能会被保存起来以供以后使用.)

一些背景

我们正试图用3到5种语言对数千个网站的语料库进行分类(可能高达10种,但我们不确定).

我们以数百个已经分类的网站的形式提供培训数据.但是,我们可以选择是否使用该数据集 - 如果其他类别更有意义,我们愿意不使用我们拥有的培训数据,因为它不是我们首先收集的内容.我们正处于从网站上抓取数据/文本的最后阶段.

现在我们必须决定上述问题.我已经与Brown Corpus和Brill tagger做了一些工作,但由于多语言问题,这不起作用.

我们打算使用Orange机器学习包.

nlp artificial-intelligence classification machine-learning data-mining

5
推荐指数
1
解决办法
1060
查看次数

是否有监督学习算法将标签作为输入,并产生概率作为输出?

假设我想根据哪些标签存在或不存在来确定我将在SO上提出问题的可能性.

让我们想象一下,我有很多关于我过去或过去没有投票的问题的数据.

是否有机器学习算法可以获取这些历史数据,对其进行训练,然后能够预测我未来问题的推荐概率?请注意,它必须是概率,而不仅仅是一些任意分数.

让我们假设最多有7个标签与任何给定的问题相关联,这些标签是从成千上万的超集中提取的.

我希望它能够在标签之间建立非常复杂的连接,而不是每个标签只是以"线性"方式对最终结果做出贡献(就像贝叶斯垃圾邮件过滤器中的单词一样).

因此,例如,可能是"java"这个词增加了我的upvote概率,除非它与"数据库"一起出现,但是"数据库"可能会增加我的"红宝石"时出现的upvote概率.

哦,它应该是计算上合理的(在数百万个问题上训练一两个小时).

我应该在这里研究什么方法?

artificial-intelligence machine-learning data-mining

5
推荐指数
1
解决办法
315
查看次数

在给定文本中发现"模板"?

如果我有大量的文本,并且我试图发现最常出现的模板,我正在考虑使用N-Gram方法解决它,事实上它也被建议作为这个问题的解决方案,但我的要求略有不同.只是为了澄清,我有一些这样的文字:

I wake up every day morning and read the newspaper and then go to work
I wake up every day morning and eat my breakfast and then go to work
I am not sure that this is the solution but I will try
I am not sure that this is the answer but I will try
I am not feeling well today but I will get the work done and deliver it tomorrow
I was not feeling …
Run Code Online (Sandbox Code Playgroud)

language-agnostic nlp machine-learning data-mining nltk

5
推荐指数
1
解决办法
150
查看次数

是否有一个精心设计,维护的Java决策树学习库?

我需要一个Java决策树学习库.我看过jaDTi和Weka,但两者都没有达到现代标准的图书馆设计.

例如,两者仍然在任何地方使用非通用Vector对象,并且既不能以编程方式提供训练数据,也希望从文件或数据库加载数据.

java artificial-intelligence machine-learning data-mining

5
推荐指数
1
解决办法
5087
查看次数

用于文档的朴素贝叶斯分类器中的长度归一化

我正在尝试实现一个朴素的贝叶斯分类器来对文档进行分类,这些文档基本上是特征集(而不是包),即每个特征包含一组独特的特征,每个特征在文档中最多只能出现一次.例如,您可以将这些功能视为文档的唯一关键字.

我一直密切关注着Rennie等人.人.http://www.aaai.org/Papers/ICML/2003/ICML03-081.pdf上的论文,但我遇到了一个似乎没有解决的问题.即,由于文档具有较少数量的特征,因此对短文档进行分类导致更高的后验概率; 反之亦然长文件.

这是因为后验概率被定义为(忽略分母):

P(class|document) = P(class) * P(document|class)
Run Code Online (Sandbox Code Playgroud)

扩展到

P(class|document) = P(class) * P(feature1|class) * ... * P(featureK|class)
Run Code Online (Sandbox Code Playgroud)

由此可见,具有较少特征的短文档将具有较高的后验概率,仅仅因为较少的术语可以相乘.

例如,假设功能"foo","bar"和"baz"都出现在积极的训练观察中.然后,具有单个特征"foo"的文档将具有比具有特征{"foo","bar","baz"}的文档更高的被归类为正类的后验概率.这看似违反直觉,但我不太清楚如何解决这个问题.

是否可以进行某种长度标准化?一个想法是将文档的大小添加为一个特征,但这似乎不太正确,因为结果将随着训练数据中文档的大小而变化.

classification machine-learning data-mining bayesian

5
推荐指数
1
解决办法
1978
查看次数

Apriori算法的超市数据集

"我必须开发一个适用于"Future Stores"超市业务分析师的软件,该软件根据超市销售交易的给定过渡数据执行关联规则挖掘,并通过准备Combo来准备折扣政策.该软件利用数据挖掘算法即Apriori算法.关联规则将以用户友好的方式显示,以生成基于正关联规则的折扣政策.

从哪里可以获得超市数据集来检查我编码的Apriori算法?

integration-testing dataset data-mining apriori

5
推荐指数
1
解决办法
1万
查看次数

一个括号中的项目在顺序模式挖掘中是否会重复出现

我见过许多用于顺序模式挖掘的数据库,它们在这些数据库中采用的序列就像

<(AF)(d)(e)中的(a)>

<(E)(ABF)(BDE)>

一个括号中的项目集如(af),(abf),(bde)代表什么?这是否意味着他们彼此或其他相关

我们在什么基础上将项目分类为这一元素?我使用weblog文件作为数据集.

data-mining

5
推荐指数
1
解决办法
104
查看次数

TFIDF计算混乱

我在互联网上找到以下代码来计算TFIDF:

https://github.com/timtrueman/tf-idf/blob/master/tf-idf.py
Run Code Online (Sandbox Code Playgroud)

我在函数def idf(word,documentList)中添加了"1+",所以我不会被0除错:

return math.log(len(documentList) / (1 + float(numDocsContaining(word,documentList))))
Run Code Online (Sandbox Code Playgroud)

但我对两件事感到困惑:

  1. 在某些情况下,我得到负值,这是正确的吗?
  2. 我对第62,63和64行感到困惑.

码:

 documentNumber = 0
  for word in documentList[documentNumber].split(None):
       words[word] = tfidf(word,documentList[documentNumber],documentList)
Run Code Online (Sandbox Code Playgroud)

是否应仅在第一份文件上计算TFIDF?

python text-processing information-retrieval data-mining tf-idf

5
推荐指数
1
解决办法
5957
查看次数

R:麻烦使用SMOTE包"无效'标签'"

使用DMwR库中的SMOTE包.加载数据框后,我尝试按如下方式执行采样:

crime_bal$target <- as.factor(crime_bal$target)
crime_bal <- SMOTE(target ~ .,crime_bal,perc.under = 200, perc.over = 100)
Run Code Online (Sandbox Code Playgroud)

但它总是会导致这个错误:

Error in factor(newCases[, a], levels = 1:nlevels(data[, a]), labels = levels(data[,  : 
  invalid 'labels'; length 0 should be 1 or 2
In addition: Warning messages:
1: NAs introduced by coercion 
2: NAs introduced by coercion 
Run Code Online (Sandbox Code Playgroud)

我的数据集的详细信息:

> summary(crime_bal)
     text               url            target  
 Length:6326        Length:6326        0:5994  
 Class :character   Class :character   1: 332  
 Mode  :character   Mode  :character
Run Code Online (Sandbox Code Playgroud)

为什么我总是以错误结束?

r data-mining

5
推荐指数
1
解决办法
3079
查看次数