我正在开发一个项目,我需要做很多屏幕抓取才能尽快获得大量数据.我想知道是否有人知道任何好的API或资源来帮助我.
顺便说一句,我正在使用java.
这是我的工作流程到目前为止:
思考:
如果你还没弄明白,这是我第一次搞乱这个问题,所以我很难说清楚我的需求是什么.我非常感谢你们之前做过这些事的人的任何意见.
问题
我想将一组数千个网站分类/分类/集群/组合在一起.有我们可以训练的数据,所以我们可以进行有监督的学习,但这不是我们收集的数据,我们也不会坚持使用它 - 所以我们也在考虑无监督学习.
我可以在机器学习算法中使用哪些功能来处理多语言数据?请注意,其中一些语言可能尚未在自然语言处理字段中处理.
如果我使用无监督学习算法,我应该只按语言划分数据并以不同方式处理每种语言吗?不同的语言可能有不同的相关类别(或不,取决于您的心理语言学理论倾向),这可能会影响分区决策.
我正在考虑使用决策树,或者支持向量机(SVM)来允许更多功能(根据我对它们的理解).这篇文章建议随机森林而不是SVM.有什么想法吗?
欢迎实用的方法!(理论上也是如此,但这些可能会被保存起来以供以后使用.)
一些背景
我们正试图用3到5种语言对数千个网站的语料库进行分类(可能高达10种,但我们不确定).
我们以数百个已经分类的网站的形式提供培训数据.但是,我们可以选择是否使用该数据集 - 如果其他类别更有意义,我们愿意不使用我们拥有的培训数据,因为它不是我们首先收集的内容.我们正处于从网站上抓取数据/文本的最后阶段.
现在我们必须决定上述问题.我已经与Brown Corpus和Brill tagger做了一些工作,但由于多语言问题,这不起作用.
我们打算使用Orange机器学习包.
nlp artificial-intelligence classification machine-learning data-mining
假设我想根据哪些标签存在或不存在来确定我将在SO上提出问题的可能性.
让我们想象一下,我有很多关于我过去或过去没有投票的问题的数据.
是否有机器学习算法可以获取这些历史数据,对其进行训练,然后能够预测我未来问题的推荐概率?请注意,它必须是概率,而不仅仅是一些任意分数.
让我们假设最多有7个标签与任何给定的问题相关联,这些标签是从成千上万的超集中提取的.
我希望它能够在标签之间建立非常复杂的连接,而不是每个标签只是以"线性"方式对最终结果做出贡献(就像贝叶斯垃圾邮件过滤器中的单词一样).
因此,例如,可能是"java"这个词增加了我的upvote概率,除非它与"数据库"一起出现,但是"数据库"可能会增加我的"红宝石"时出现的upvote概率.
哦,它应该是计算上合理的(在数百万个问题上训练一两个小时).
我应该在这里研究什么方法?
如果我有大量的文本,并且我试图发现最常出现的模板,我正在考虑使用N-Gram方法解决它,事实上它也被建议作为这个问题的解决方案,但我的要求略有不同.只是为了澄清,我有一些这样的文字:
I wake up every day morning and read the newspaper and then go to work
I wake up every day morning and eat my breakfast and then go to work
I am not sure that this is the solution but I will try
I am not sure that this is the answer but I will try
I am not feeling well today but I will get the work done and deliver it tomorrow
I was not feeling …Run Code Online (Sandbox Code Playgroud) 我正在尝试实现一个朴素的贝叶斯分类器来对文档进行分类,这些文档基本上是特征集(而不是包),即每个特征包含一组独特的特征,每个特征在文档中最多只能出现一次.例如,您可以将这些功能视为文档的唯一关键字.
我一直密切关注着Rennie等人.人.http://www.aaai.org/Papers/ICML/2003/ICML03-081.pdf上的论文,但我遇到了一个似乎没有解决的问题.即,由于文档具有较少数量的特征,因此对短文档进行分类导致更高的后验概率; 反之亦然长文件.
这是因为后验概率被定义为(忽略分母):
P(class|document) = P(class) * P(document|class)
Run Code Online (Sandbox Code Playgroud)
扩展到
P(class|document) = P(class) * P(feature1|class) * ... * P(featureK|class)
Run Code Online (Sandbox Code Playgroud)
由此可见,具有较少特征的短文档将具有较高的后验概率,仅仅因为较少的术语可以相乘.
例如,假设功能"foo","bar"和"baz"都出现在积极的训练观察中.然后,具有单个特征"foo"的文档将具有比具有特征{"foo","bar","baz"}的文档更高的被归类为正类的后验概率.这看似违反直觉,但我不太清楚如何解决这个问题.
是否可以进行某种长度标准化?一个想法是将文档的大小添加为一个特征,但这似乎不太正确,因为结果将随着训练数据中文档的大小而变化.
"我必须开发一个适用于"Future Stores"超市业务分析师的软件,该软件根据超市销售交易的给定过渡数据执行关联规则挖掘,并通过准备Combo来准备折扣政策.该软件利用数据挖掘算法即Apriori算法.关联规则将以用户友好的方式显示,以生成基于正关联规则的折扣政策.
从哪里可以获得超市数据集来检查我编码的Apriori算法?
我见过许多用于顺序模式挖掘的数据库,它们在这些数据库中采用的序列就像
<(AF)(d)(e)中的(a)>
<(E)(ABF)(BDE)>
一个括号中的项目集如(af),(abf),(bde)代表什么?这是否意味着他们彼此或其他相关
我们在什么基础上将项目分类为这一元素?我使用weblog文件作为数据集.
我在互联网上找到以下代码来计算TFIDF:
https://github.com/timtrueman/tf-idf/blob/master/tf-idf.py
Run Code Online (Sandbox Code Playgroud)
我在函数def idf(word,documentList)中添加了"1+",所以我不会被0除错:
return math.log(len(documentList) / (1 + float(numDocsContaining(word,documentList))))
Run Code Online (Sandbox Code Playgroud)
但我对两件事感到困惑:
码:
documentNumber = 0
for word in documentList[documentNumber].split(None):
words[word] = tfidf(word,documentList[documentNumber],documentList)
Run Code Online (Sandbox Code Playgroud)
是否应仅在第一份文件上计算TFIDF?
python text-processing information-retrieval data-mining tf-idf
使用DMwR库中的SMOTE包.加载数据框后,我尝试按如下方式执行采样:
crime_bal$target <- as.factor(crime_bal$target)
crime_bal <- SMOTE(target ~ .,crime_bal,perc.under = 200, perc.over = 100)
Run Code Online (Sandbox Code Playgroud)
但它总是会导致这个错误:
Error in factor(newCases[, a], levels = 1:nlevels(data[, a]), labels = levels(data[, :
invalid 'labels'; length 0 should be 1 or 2
In addition: Warning messages:
1: NAs introduced by coercion
2: NAs introduced by coercion
Run Code Online (Sandbox Code Playgroud)
我的数据集的详细信息:
> summary(crime_bal)
text url target
Length:6326 Length:6326 0:5994
Class :character Class :character 1: 332
Mode :character Mode :character
Run Code Online (Sandbox Code Playgroud)
为什么我总是以错误结束?
data-mining ×10
java ×2
nlp ×2
apriori ×1
bayesian ×1
dataset ×1
html-parsing ×1
nltk ×1
python ×1
r ×1
tf-idf ×1
web-scraping ×1