小编Jan*_*lly的帖子

了解Gensim LDA模型中的参数

我正在gensim.models.ldamodel.LdaModel执行LDA,但是我不了解某些参数,因此无法在文档中找到解释。如果有人有使用此功能的经验,我希望进一步了解这些参数所代表的含义。具体来说,我不明白:

  • random_state
  • update_every
  • chunksize
  • passes
  • alpha
  • per_word_topics

我正在处理500个文档的语料库,每个文档大约大约3-5页(由于机密性原因,我无法共享数据快照)。目前我已经设定

  • num_topics = 10
  • random_state = 100
  • update_every = 1
  • chunksize = 50
  • passes = 10
  • alpha = 'auto'
  • per_word_topics = True

但这完全是基于我看到的示例,我不确定这对我的数据有多普遍。

python parameters lda gensim

4
推荐指数
1
解决办法
4178
查看次数

3SUM(在等于0的列表中查找所有唯一三元组)

我正在研究3SUM问题(来自leetcode),该问题将一个列表作为输入,并在列表中找到所有唯一的三元组,使得a + b + c = 0。我不太确定我的代码在做什么错,但是当前它为此列表返回一个空列表[-1,0,1,2,-1,-4],因此它无法识别任何总计为0的三元组我将不胜感激任何建议或改进的代码。

这是我的代码:

result = []
nums.sort()
l = 0
r=len(nums)-1
for i in range(len(nums)-2):
    while (l < r):
        sum = nums[i] + nums[l] + nums[r]
        if (sum < 0):
            l = l + 1
        if (sum > 0):
            r = r - 1
        if (sum == 0): 
            result.append([nums[i],nums[l],nums[r]])
print(result)
Run Code Online (Sandbox Code Playgroud)

python list

3
推荐指数
1
解决办法
6031
查看次数

如何遍历pandas数据框+索引中除最后一列之外的所有列?

让我们有一天我有一个dfPandas 数据框,其中列名是相应的索引,所以 1, 2, 3,....len(df.columns)。我如何遍历除最后一列之外的所有列,所以在 len(df.columns) 之前。我的目标是最终将每一列的每一行中的相应元素与最后一列的元素进行比较。任何有帮助的代码!谢谢!

python indexing dataframe pandas

3
推荐指数
1
解决办法
4354
查看次数

如何在R中的函数内索引数据框列

我有一个函数,它接收数据框、百分位数阈值和给定列的名称,并将给定列中高于此阈值的所有值计算为新列(0 表示 <,1 表示 >=) . 但是,它不允许我df$column_namequantile函数内部进行操作,因为column_name它实际上不是列名,而是存储实际列名的变量。因此df$column_name会返回NULL。有什么办法可以解决这个问题并使代码格式与当前的格式有些相似?或者我是否必须指定实际的数值列值而不是名称?虽然我可以做到这一点,但它绝对不像只传递列名那样方便/易于理解。

func1 <- function(df, threshold, column_name) {
  threshold_value <- quantile(df$column_name, c(threshold)) 
  new_df <- df %>%
    mutate(ifelse(column_name > threshold_value, 1, 0)) 
  return(new_df)
}
Run Code Online (Sandbox Code Playgroud)

非常感谢你的帮助!

indexing r dataframe dplyr mutate

3
推荐指数
1
解决办法
917
查看次数

使用 Gensim 中的 filter_extremes 按频率过滤标记

我正在尝试使用 Gensim 中的 filter_extremes 函数按频率过滤掉令牌(https://radimrehurek.com/gensim/corpora/dictionary.html)。具体来说,我有兴趣过滤掉“频率低于 no_below 文档”和“频率高于 no_above 文档”中出现的单词。

id2word_ = corpora.Dictionary(texts)
print(len(id2word_))
id2word_.filter_extremes(no_above = 0.600)
print(len(id2word_))
Run Code Online (Sandbox Code Playgroud)

第一个打印语句给出 11918,第二个打印语句给出 3567。但是,如果我执行以下操作:

id2word_ = corpora.Dictionary(texts)
print(len(id2word_))
id2word_.filter_extremes(no_below = 0.599)
print(len(id2word_))
Run Code Online (Sandbox Code Playgroud)

第一个打印语句给出 11918(如预期),第二个打印语句给出 11406。id2word_.filter_extremes(no_below = 0.599)id2word_.filter_extremes(no_above = 0.600)加起来不应该等于总字数吗?然而,11406 + 3567 > 11918,那么这个总和怎么会超过语料库的单词数呢?这是没有意义的,因为过滤器应该根据文档中的解释覆盖不重叠的单词。

如果您有任何想法,我将非常感谢您的意见!谢谢!

python text-processing dictionary corpus gensim

3
推荐指数
1
解决办法
9469
查看次数

如何通过聚合摆脱 Pandas 中的嵌套列名?

我有以下代码,使用 group by withEmployee_id和aggregation with来查找每个员工的总销售额和唯一销售额Customer_id

Sales.groupby('Employee_id').agg({
    'Customer_id': [
        ('total_sales', 'count'),
        ('unique_sales', 'nunique')
]})
Run Code Online (Sandbox Code Playgroud)

重要的是要知道我还将与其他列执行聚合,但到目前为止这就是我所写的全部内容。因此,如果您有建议的解决方案,我请您考虑一下,以免产生影响。

虽然这在计算每个员工的总销售额和唯一销售额以及创建两列方面正是我想要的,但它会创建嵌套列名称。因此,列名称看起来像 [('Customer_id', 'total_sales'), ('Customer_id', 'unique_sales')],这是我不想要的。有没有什么方法可以轻松摆脱嵌套部分,只包含 ['total_sales', 'unique_sales'],或者是在我完成所有操作后重命名列是最简单的方法?

谢谢!

python group-by aggregate-functions dataframe pandas

3
推荐指数
1
解决办法
6437
查看次数

使用 Postgresql 中的时区转换按时间分组

我正在处理当前存储在 UTC 中的时间数据,但我希望它在 PST 中,这比 8 小时晚。我有一个相当冗长且复杂的查询,但我唯一感兴趣的是现在的时间,所以我已经包含了这些部分。我想将时间转换为 PST,然后按数据的最后一周的日期进行分组。查询具有以下结构:

select
 date_trunc('day', time1) AT TIME ZONE 'US/Pacific'
 ...
where 
 time1 AT TIME ZONE 'US/Pacific' > now() AT TIME ZONE current_setting('TimeZone') -  INTERVAL '168 HOURS'
 ...
group by date_trunc('day', time1)
Run Code Online (Sandbox Code Playgroud)

这导致以下时间分组。根据我的理解,它从 0:00 UTC 开始分组,即 PST 中的 16:00。但是,我希望 groupby 在太平洋标准时间 0:00 开始。我该怎么做呢?现在,每个组中的计数每天都有误导性,因为它们从下午 4 点持续到下午 4 点,而不是从上午 12 点到凌晨 12 点。例如,星期日的计数异常高,因为星期日在 groupby 中包含了星期一的部分数据。我将不胜感激任何输入来解决这个问题。谢谢你。

在此处输入图片说明

sql postgresql timezone group-by postico

3
推荐指数
1
解决办法
1696
查看次数

如何将 l2 归一化应用于 keras 中的层?

我正在尝试使用 l2 归一化来归一化我的神经网络中的一个层。我想将特定层中的每个节点/元素除以其 l2 范数(元素平方和的平方根),我的假设是 keras 的 l2_normalize 可以实现这一点:https ://www.tensorflow.org/ api_docs/python/tf/keras/backend/l2_normalize?version=stable。但是,我不确定如何实际使用它,因为文档中没有示例。我发现了其他使用 lambda 函数的示例,例如Lambda(lambda x: K.l2_normalize(x,axis=1))(previous_layer). 但是,我不确定为什么需要这样做?感谢有关如何keras.backend.l2_normalize使用以及为什么可能需要 lambda 函数的帮助。谢谢!

这是我想要的使用方式:

autoencoder = Sequential()

# Encoder Layer
 autoencoder.add(Dense(encoded_dim, input_shape=(input_dim,), 
 activation='relu'))

# Normalization - Need help here!
# TODO: Add l2_normalize here 

# Decoder Layer
# TODO: Add final output layer here
Run Code Online (Sandbox Code Playgroud)

lambda normalization neural-network keras tensorflow

3
推荐指数
1
解决办法
3400
查看次数

用于不平衡二元分类的过采样数据的过程

我有大约 30% 和 70% 的 0 类(少数类)和 1 类(多数类)。由于我没有很多数据,我计划对少数类进行过采样以平衡这些类,使其成为 50-50 的分割。我想知道是否应该在将数据拆分为训练集和测试集之前或之后进行过采样。我通常在在线示例中拆分之前看到它完成,如下所示:

df_class0 = train[train.predict_var == 0]
df_class1 = train[train.predict_var == 1]
df_class1_over = df_class1.sample(len(df_class0), replace=True)
df_over = pd.concat([df_class0, df_class1_over], axis=0)
Run Code Online (Sandbox Code Playgroud)

然而,这是否意味着测试数据可能有来自训练集的重复样本(因为我们对训练集进行了过采样)?这意味着测试性能不一定基于新的、看不见的数据。我这样做很好,但我想知道什么是好的做法。谢谢!

classification machine-learning scikit-learn train-test-split imbalanced-data

2
推荐指数
1
解决办法
3644
查看次数

样本权重在分类模型中如何工作?

为每个样本提供权重进行分类是什么意思?诸如 Logistic 回归或 SVM 之类的分类算法如何使用权重来强调某些示例而不是其他示例?我很想详细了解这些算法如何利用样本权重。

如果您查看逻辑回归的 sklearn文档,您可以看到 fit 函数有一个可选的 sample_weight 参数,该参数定义为分配给单个样本的权重数组。

classification machine-learning weighted scikit-learn

2
推荐指数
1
解决办法
1602
查看次数