小编ryu*_*nho的帖子

fastText 嵌入句子向量?

我想了解创建句子的 fastText 向量的方式。根据这个问题309,通过平均单词的向量来获得句子的向量。

为了确认这一点,我编写了以下脚本:

import numpy as np
import fastText as ft

# Loading model for Finnish.
model = ft.load_model('cc.fi.300.bin')

# Getting word vectors for 'one' and 'two'.
one = model.get_word_vector('yksi')
two = model.get_word_vector('kaksi')

# Getting the sentence vector for the sentence "one two" in Finnish.
one_two = model.get_sentence_vector('yksi kaksi')
one_two_avg = (one + two) / 2

# Checking if the two approaches yield the same result.
is_equal = np.array_equal(one_two, one_two_avg)

# Printing the result.
print(is_equal)

# Result: …
Run Code Online (Sandbox Code Playgroud)

python fasttext

13
推荐指数
2
解决办法
8833
查看次数

如何处理UserWarning:将稀疏的IndexedSlices转换为未知形状的密集Tensor

我在Tensorflow中收到以下警告:UserWarning:将稀疏的IndexedSlices转换为未知形状的密集Tensor.这可能会消耗大量内存.

我得到这个的原因是:

import tensorflow as tf
# Flatten batch elements to rank-2 tensor where 1st max_length rows 
    #belong to first batch element and so forth
all_timesteps = tf.reshape(raw_output, [-1, n_dim])  # (batch_size*max_length, n_dim)
# Indices to last element of each sequence.
# Index to first element is the sequence order number times max 
    #sequence length.
# Index to last element is the index to first element plus sequence 
    #length.
row_inds = tf.range(0, batch_size) * max_length + (seq_len - 1)
# …
Run Code Online (Sandbox Code Playgroud)

python tensorflow

8
推荐指数
1
解决办法
6794
查看次数

如何使用不同名称但形状相同的Tensorflow恢复重量?

我在Tensorflow中有多种架构。其中一些共享某些零件的设计。

我想训练一个网络,并在另一个网络中使用经过训练的相似层的权重。

此时,我可以保存所需的权重,并将其重新加载到具有与变量完全相同的命名约定的体系结构中。

但是,当权重在两个网络中具有不同的名称时,将无法还原。对于第一个网络,我有以下命名约定:

  • selector_network / c2w / var1

在第二个网络中,我有这个:

  • joint_network / c2w / var1

除此之外,变量在形状方面相似。重新加载时是否可以更改名称,或告诉Tensorflow在哪里适合这些变量?

编辑:我从@batzner找到了这个脚本,该脚本允许重命名Tensorflow检查点的变量:tensorflow_rename_variables

它不起作用。我收到以下错误:

ValueError: Couldn't find 'checkpoint' file or checkpoints in given directory ./joint_pos_tagger_lemmatizer/fi/
Run Code Online (Sandbox Code Playgroud)

machine-learning tensorflow

6
推荐指数
1
解决办法
2519
查看次数

如何使用Folium创建动画?

我正在使用Folium在Python中创建地图.

我有一个Pandas DataFrame,其中条目(纬度和经度)按时间索引.我想一次一小时地绘制这些条目(从00:00到01:00 ......从23:00到00:00),以便在地图上看到这些位置的演变.

有没有办法在Folium中为此目的创建动画或视频.

python pandas folium

6
推荐指数
1
解决办法
1415
查看次数

如何在Google计算引擎中使用PyCharm

我有一个在Google云平台上运行的计算引擎实例。

我想将计算引擎的Python解释器用作Pycharm的远程解释器。这意味着我将在本地计算机上使用Pycharm并远程运行计算。

关于如何实现这一目标的任何线索?

python pycharm google-cloud-platform

6
推荐指数
2
解决办法
3648
查看次数

组合 Sklearn Pipeline 中的功能

我想使用包括 aTfidfVectorizer和 a 的管道SVC。然而,在这之间,我想将从非文本数据中提取的一些特征连接到TfidfVectorizer.

我尝试创建一个自定义类(基于本教程的方法)来执行此操作,但这似乎不起作用。

这是我到目前为止所尝试过的:

pipeline = Pipeline([
    ('tfidf', TfidfVectorizer()),
    ('transformer', CustomTransformer(one_hot_feats)),
    ('clf', MultinomialNB()),
])

parameters = {
    'tfidf__min_df': (5, 10, 15, 20, 25, 30),
    'tfidf__max_df': (0.8, 0.9, 1.0),
    'tfidf__ngram_range': ((1, 1), (1, 2)),
    'tfidf__norm': ('l1', 'l2'),
    'clf__alpha': np.linspace(0.1, 1.5, 15),
    'clf__fit_prior': [True, False],
}

grid_search = GridSearchCV(pipeline, parameters, cv=5, n_jobs=-1, verbose=1)
grid_search.fit(df["short description"], labels)
Run Code Online (Sandbox Code Playgroud)

这是CustomTransformer班级

class CustomTransformer(TransformerMixin):
"""Class that concatenates the one hot encode category feature with the …
Run Code Online (Sandbox Code Playgroud)

python scikit-learn

6
推荐指数
1
解决办法
5528
查看次数

在Tensorflow中,Tensor和TensorArray有什么区别

我在 Tensorflow 的文档中遇到了 TensorArray:TensorArray

但是,我不明白 TensorArray 的用例是什么。

tensorflow

5
推荐指数
0
解决办法
899
查看次数

tf.train.get_checkpoint_state始终无

我正在使用tf.train.get_checkpoint_state检查我是否具有有效的检查点文件来还原Tensorflow保存的模型。

ckpt = tf.train.get_checkpoint_state(os.path.dirname('fi/saves'))
if ckpt and ckpt.model_checkpoint_path:
   saver.restore(sess, ckpt.model_checkpoint_path)  
Run Code Online (Sandbox Code Playgroud)

我的问题是ckpt始终为None。这是我的保存目录的内容:

  • internals.pkl
  • stats.json
  • variables.ckpt.data-00000-of-00001
  • variables.ckpt.index

请注意,直接进行恢复通话效果很好。

编辑:

我已经尝试过使用Latest_filename参数,例如:

tf.train.get_checkpoint_state(os.path.dirname(checkpoint_dir), latest_filename='variables.ckpt.index')  
Run Code Online (Sandbox Code Playgroud)

我仍然没有。

tensorflow

5
推荐指数
1
解决办法
3912
查看次数

从Tensorflow运行解释跟踪

我想在Tensorflow中描述我的神经网络架构,因为我的GPU使用率只有50%左右.为此,我遵循了这个:解释.

我获得了我的架构的JSON跟踪.要打开它,我使用chrome:// tracing /.

我得到的结果是:timeline.json.不幸的是,我不知道如何解释它们.任何关于如何解释这种痕迹的提示都将非常感激.

这是我的时间轴的截图:

在此输入图像描述

trace profiling tensorflow

5
推荐指数
0
解决办法
274
查看次数

带Tensorboard投影仪的UMAP

有没有办法使用的可能性UMAPTensorboard投影机。确实,目前,我们只能将其与PCA或T-SNE一起使用。

另外,是否有一个Python库可以允许生成诸如Tensorboard的交互式图?

python tensorflow tensorboard

5
推荐指数
1
解决办法
358
查看次数

如何在字符串数组上执行bincount?

我有包含字符串值的NumPy数组.

例如:["bus","bar","bar","café".....]

计算数组中每个元素出现次数的最佳方法是什么.我目前的解决方案是:

# my_list contains my data.
bincount = []
for name in set(my_list.tolist()):
    count = sum([1 for elt in my_list if elt == name])
    bincount.append(count)  
Run Code Online (Sandbox Code Playgroud)

我尝试过bincount但它不适用于这种类型的数据.

你知道更好的解决方案吗?

python arrays string numpy pandas

4
推荐指数
1
解决办法
2346
查看次数

解析多个文件 flex/bison

我目前正在开发一个 Flex/bison 项目。

我需要在一次执行中解析多个文件,因此我创建了一个循环来多次运行 YYPARSE() 。

当 flex 发现词汇或语法错误时,文件的解析会停止,程序会开始解析下一个文件。但是,该新文件的解析并不是从头开始。事实上,如果文件 3 的解析在第 8 行停止,解析将从文件 4 的第 8 行开始。

我该如何解决这个问题?

提前致谢。

这是我的 bison.y 文件中的主要函数:

int main(int argc, char* argv[]){


DIR* dir;

struct dirent *ent;

int val = 0;

    if ((dir = opendir ("../TpCompileHoho")) != NULL) 
    {
      // print all the files and directories within directory 
      while ((ent = readdir (dir)) != NULL) 
      { 
        if ((strcmp(ent->d_name,".") != 0) && (strcmp(ent->d_name,"..") != 0) && (strstr(ent->d_name,".txt") != NULL))
        {   
                yyin = fopen(ent->d_name,"r");

                yyparse();          
        }

      } …
Run Code Online (Sandbox Code Playgroud)

parsing bison flex-lexer

3
推荐指数
1
解决办法
2506
查看次数