标签: data-mining

适用于非常小的簇的聚类算法

我正在尝试在大约 5000 条记录的列表中查找重复项。每条记录都是一个人的姓名和地址,但在一个字段中输入的内容不一致,因此我正在尝试一种模糊匹配方法。我的方法(使用rapidminer)是对文本进行一些预处理(即标记化,删除常见和不相关的单词,例如“先生”等),生成TF-IDF并使用DBSCAN对匹配记录进行聚类。这是有效的,并且给出了相当好的结果,但是当我尝试运行完整的数据集时需要很长时间。它还会导致很多簇只有一个元素,我不知道这如何影响 DBSCAN 的计算时间。

是否有一种聚类算法可以更快地处理此类数据,或者是否有更好的方法来解决这个问题?

text-processing cluster-analysis data-mining rapidminer dbscan

5
推荐指数
1
解决办法
2196
查看次数

文本摘要:如何选择合适的 n-gram 大小

我正在总结文本,使用 nltk 库我能够提取二元组一元组和三元组并按频率对它们进行排序

由于我对这个领域 (NLP) 很陌生,我想知道是否可以使用统计模型来自动选择合适的 Ngrams 大小(我的意思是 N-gram 的长度,一个单词的 unigram,两个字的二元组,或 3 个字的三元组)

例如,假设我有这篇想要总结的文本,作为总结,我将只保留 5 个最相关的 N-gram:

"A more principled way to estimate sentence importance is using random walks 
and eigenvector centrality. LexRank[5] is an algorithm essentially identical 
to TextRank, and both use this approach for document summarization. The two 
methods were developed by different groups at the same time, and LexRank 
simply focused on summarization, but could just as easily be used for
keyphrase extraction or any other NLP …
Run Code Online (Sandbox Code Playgroud)

nlp information-retrieval summary data-mining text-mining

5
推荐指数
1
解决办法
2946
查看次数

使用混合数字和分类数据进行无监督异常检测

整个夏天我正在从事一个数据分析项目。主要目标是利用医院中有关用户访问患者信息的一些访问日志数据,并尝试检测异常访问行为。选择了几个属性来描述用户(例如员工角色、部门、邮政编码)和患者(例如年龄、性别、邮政编码)。大约有 13 - 15 个变量正在考虑中。

我之前用的是R,现在用的是Python。我可以根据你们建议的任何合适的工具/库来使用。

在我提出任何问题之前,我确实想提一下,根据医疗保健行业保护个人信息的要求,许多数据字段在交给我时都经过了匿名化处理。具体来说,许多 VARCHAR 值被转换为随机整数值,仅维护整个数据集的引用完整性。

问题:

  • 没有给出异常值的确切定义(它是根据大多数数据的行为定义的,如果存在一般行为),并且没有标记的训练集告诉我数据集的哪些行被认为是异常的。我相信该项目属于无监督学习领域,所以我正在研究聚类。

    由于数据是混合的(数字和分类),我不确定聚类如何处理这种类型的数据。

    我读到可以扩展分类数据并让变量中的每个类别为 0 或 1 以便进行聚类,但是 R/Python 如何为我处理如此高维的数据呢?(仅仅扩大雇主角色就会带来约 100 个以上的变量)


  • 如何解释聚类的结果?

    使用聚类算法,潜在的“异常值”是否也会被分组为聚类?我该如何检测它们?

    另外,涉及分类数据时,我不确定如何定义“点之间的距离”,数据点的接近度是否表明类似的行为?将每个类别扩展到具有真/假值的虚拟列是否有帮助?那距离是多少呢?


  • 面对聚类分析的挑战,我也开始尝试对数据进行切片,一次只查看两个变量。例如,我会查看某个员工角色访问的患者的年龄范围,并使用四分位数和四分位数范围来定义异常值。对于分类变量,例如员工角色和触发的事件类型,我只会查看每个事件被触发的频率。

    有人可以向我解释对非正态分布的数据使用四分位数的问题吗?对此有何补救措施?


  • 最后,您会建议这两种方法(或其他一些方法)中的哪一种?使用这种方法的最佳方法是什么?多谢。

cluster-analysis data-mining data-analysis

5
推荐指数
1
解决办法
4122
查看次数

多臂老虎机汤普森采样以获得非二元奖励

我使用以下行来更新每次试验中的 beta 发行版并给出 arm 推荐(我使用 scipy.stats.beta):

self.prior = (1.0,1.0)
def get_recommendation(self):
    sampled_theta = []
    for i in range(self.arms):
        #Construct beta distribution for posterior
        dist = beta(self.prior[0]+self.successes[i],
                    self.prior[1]+self.trials[i]-self.successes[i])
        #Draw sample from beta distribution
        sampled_theta += [ dist.rvs() ]
    # Return the index of the sample with the largest value
    return sampled_theta.index( max(sampled_theta) )
Run Code Online (Sandbox Code Playgroud)

但目前,它只适用于奖励是二元的(成功或失败)。我想修改它,使其适用于非二元奖励。(例如奖励:2300、2000,...)。我怎么做?

algorithm data-mining bayesian ab-testing bandit

5
推荐指数
0
解决办法
1374
查看次数

如何计算属于 Python 列表一部分的集合的出现次数?

尝试实现 apriori 算法并使其达到可以提取所有事务中一起出现的子集的程度。

这就是我所拥有的:

subsets = [set(['Breakfast & Brunch', 'Restaurants']), set(['American (Traditional)', 'Breakfast & Brunch']), set(['American (Traditional)', 'Restaurants']), set(['American (Traditional)', 'Breakfast & Brunch']), set(['Breakfast & Brunch', 'Restaurants']), set(['American (Traditional)', 'Restaurants'])]
Run Code Online (Sandbox Code Playgroud)

例如set(['Breakfast & Brunch', 'Restaurants'])出现两次,我需要跟踪出现的次数以及相应的模式。

我尝试使用:

from collections import Counter

support_set = Counter()
# some code that generated the list above

support_set.update(subsets)
Run Code Online (Sandbox Code Playgroud)

但它会产生这个错误:

  supported = itemsets_support(transactions, candidates)
  File "apriori.py", line 77, in itemsets_support
    support_set.update(subsets)
  File"/usr/local/Cellar/python/2.7.12/Frameworks/Python.framework/Versions/2.7/lib/python2.7/collections.py", line 567, in update
    self[elem] = self_get(elem, 0) + 1
TypeError: unhashable type: 'set' …
Run Code Online (Sandbox Code Playgroud)

python data-mining

5
推荐指数
1
解决办法
2769
查看次数

如何将欧几里得距离转换为范围 0 和 1,如余弦相似度?

想把欧几里得距离映射到[0, 1]范围内,有点像向量的余弦相似度。

例如

input  output
  0      1.0
  1      0.9  approximate
  2      0.8 to 0.9 somewhere
 inf     0.0
Run Code Online (Sandbox Code Playgroud)

我尝试了这个公式1/(1+d),但它从 1.0 下降得太快了。

machine-learning data-mining text-mining bigdata

5
推荐指数
1
解决办法
1912
查看次数

如何在lightGBM中设置度量输出的频率?

文档里说可以通过参数metric_freq来设置频率。我也试过参数verbose,参数设置为

params = {
    'task': 'train',
    'boosting_type': 'gbdt',
    'objective': 'binary',
    'metric': { 'binary_logloss'},
    'metric_freq':10,
    'num_leaves': 511,
    'max_depth':8,
    'learning_rate': 0.1,
    'feature_fraction': 1,
    'bagging_fraction': 0.8,
    'bagging_freq': 1,
    'verbose':10
}
Run Code Online (Sandbox Code Playgroud)

但是,我仍然得到如下结果,

[1] valid_0's binary_logloss: 0.607487
Train until valid scores didn't improve in 5 rounds.
[2] valid_0's binary_logloss: 0.537403
[3] valid_0's binary_logloss: 0.479081
[4] valid_0's binary_logloss: 0.429961
[5] valid_0's binary_logloss: 0.388182
[6] valid_0's binary_logloss: 0.35239
[7] valid_0's binary_logloss: 0.321529
[8] valid_0's binary_logloss: 0.294795
[9] valid_0's binary_logloss: 0.271543
[10]    valid_0's binary_logloss: 0.251267
[11]    valid_0's binary_logloss: …
Run Code Online (Sandbox Code Playgroud)

python data-mining lightgbm

5
推荐指数
1
解决办法
1173
查看次数

如何修复Python at Object of type datetime is not JSON可序列化错误

我使用 Twitter 进行数据挖掘。因此,我从 Twitter 获取值 create_at 并将其保存在 Excel 文件中,然后将 Excel 文件发送到 Google Sheet,但无法发送它。
它有这样的错误:

response = service.spreadsheets().values().append(
File "C:\Users\What Name\AppData\Local\Programs\Python\Python38-32\lib\site- 
packages\googleapiclient\discovery.py", line 830, in method
headers, params, query, body = model.request(
File "C:\Users\What Name\AppData\Local\Programs\Python\Python38-32\lib\site- 
packages\googleapiclient\model.py", line 161, in request
body_value = self.serialize(body_value)
File "C:\Users\What Name\AppData\Local\Programs\Python\Python38-32\lib\site- 
packages\googleapiclient\model.py", line 274, in serialize
return json.dumps(body_value)
File "C:\Users\What Name\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 231, 
in dumps
return _default_encoder.encode(obj)
File "C:\Users\What Name\AppData\Local\Programs\Python\Python38-32\lib\json\encoder.py", line 199, in 
encode
chunks = self.iterencode(o, _one_shot=True)
File "C:\Users\What Name\AppData\Local\Programs\Python\Python38-32\lib\json\encoder.py", line 257, in 
iterencode
return …
Run Code Online (Sandbox Code Playgroud)

python twitter json data-mining google-sheets

5
推荐指数
1
解决办法
3万
查看次数

请使用 torch.load 和 map_location=torch.device('cpu')

我正在运行Python程序,但我没有GPU,我该怎么做才能让Python使用CPU而不是GPU?

$ python extract_feature.py --data mnist --net checkpoint_4.pth.tar --features pretrained
Run Code Online (Sandbox Code Playgroud)

它给了我以下警告:

=> 运行时错误:尝试在 CUDA 设备上反序列化对象,但 torch.cuda.is_available() 为 False。如果您在仅使用 CPU 的计算机上运行,​​请使用 torch.load 和 map_location=torch.device('cpu') 将存储映射到 CPU。

照片是我的Python项目的结构:

1

python data-mining deep-learning

5
推荐指数
1
解决办法
3万
查看次数

请帮我选择合适的分类

我在为数据挖掘任务选择正确的分类器时遇到了问题.

我使用统计方法标记网页,并使用1-4比例标记它们,1表示最差,4表示最好.

以前,我使用SVM来训练系统,因为我当时使用二进制(1,0)标签.但是现在因为我切换到这个4级标签,我需要更改分类器,因为我认为SVM分类器只能工作两级分类(如果我错了请纠正我).

那么请你在这里提供一些关于我的分类目的最适合哪种分类器的建议.

提前感谢您的建议.

artificial-intelligence classification machine-learning data-mining

4
推荐指数
1
解决办法
494
查看次数