小编Cur*_*ous的帖子

如何使用csr_matrix初始化gensim语料库变量?

我有X作为csr_matrix,我使用scikit的tfidf矢量化器获得,y是一个数组

我的计划是使用LDA创建功能,但是,我没有找到如何使用X作为csr_matrix初始化gensim的语料库变量.换句话说,我不想下载gensim文档中显示的语料库,也不想将X转换为密集矩阵,因为它会消耗大量内存并且计算机可能会挂起.

简而言之,我的问题如下,

  1. 如果我有一个代表整个语料库的csr_matrix(稀疏),你如何初始化gensim语料库?
  2. 你如何使用LDA提取功能?

python document-classification lda gensim scikit-learn

6
推荐指数
1
解决办法
1450
查看次数

为什么我不能导入nltk?

在具有64位操作系统的Windows中,一旦我从http://www.lfd.uci.edu/~gohlke/pythonlibs/安装了nltk-2.0.4.win-amd64-py2.7.exe,我的64位python,我运行'import nltk'来获得以下错误!

Traceback (most recent call last):
  File "<pyshell#25>", line 1, in <module>
    import nltk
  File "C:\Python27\lib\site-packages\nltk\__init__.py", line 131, in <module>
    from inference import *
  File "C:\Python27\lib\site-packages\nltk\inference\__init__.py", line 19, in <module>
    from discourse import (ReadingCommand, CfgReadingCommand,
  File "C:\Python27\lib\site-packages\nltk\inference\discourse.py", line 54, in <module>
    from nltk.sem.glue import DrtGlue
  File "C:\Python27\lib\site-packages\nltk\sem\glue.py", line 13, in <module>
    from nltk.corpus import brown
  File "C:\Python27\lib\site-packages\nltk\corpus\__init__.py", line 70, in <module>
    from reader import *
  File "C:\Python27\lib\site-packages\nltk\corpus\reader\__init__.py", line 85, in <module>
    from nltk.corpus.reader.pl196x import *
  File "C:\Python27\lib\site-packages\nltk\corpus\reader\pl196x.py", …
Run Code Online (Sandbox Code Playgroud)

python windows 64-bit nltk

5
推荐指数
1
解决办法
6937
查看次数

(Python)高斯伯努利RBM计算P(v | h)

语境:

我正在实施高斯伯努利RBM,它就像流行的RBM,但具有实值可见单位.

确实,p(h=1|v)对两者采样隐藏值的过程都是相同的,即

在此输入图像描述

问题:

我的问题在于编码(使用Python)p(v|h),即

在此输入图像描述

我对N()如何工作有点困惑.我是否只是使用数据的标准差来添加高斯噪声b + sigma * W.dot(h)

先感谢您.

python numpy machine-learning neural-network rbm

5
推荐指数
1
解决办法
2349
查看次数

Keras - 实现Rprop算法的问题

我正在尝试为Keras(链接)实现弹性反向传播优化器,但具有挑战性的部分是能够根据其相应的梯度是正,负还是零来对每个参数执行更新.我编写了下面的代码作为实现Rprop优化器的开始.但是,我似乎无法找到单独访问参数的方法.循环params(如下面的代码中)p, g, g_old, s, wChangeOld在每次迭代时返回,这些都是矩阵.

有没有办法可以迭代各个参数并更新它们?如果我可以根据其渐变的符号索引参数向量,它也会起作用.谢谢!

class Rprop(Optimizer):
    def __init__(self, init_step=0.01, **kwargs):
        super(Rprop, self).__init__(**kwargs)
        self.init_step = K.variable(init_step, name='init_step')
        self.iterations = K.variable(0., name='iterations')

        self.posStep = 1.2
        self.negStep = 0.5
        self.minStep = 1e-6
        self.maxStep = 50.

    def get_updates(self, params, constraints, loss):
        grads = self.get_gradients(loss, params)
        self.updates = [K.update_add(self.iterations, 1)]

        shapes = [K.get_variable_shape(p) for p in params]
        stepList = [K.ones(shape)*self.init_step  for shape in shapes]
        wChangeOldList = [K.zeros(shape) for shape in shapes]
        grads_old = [K.zeros(shape) for shape in …
Run Code Online (Sandbox Code Playgroud)

python neural-network theano keras tensorflow

5
推荐指数
1
解决办法
1007
查看次数

Haskell,用于评估的 lambda 演算

图1

(图1)

简单类型 lambda 演算的一部分(图 1),它在 Haskell 中实现,如下所示。

 evaluate expression = do
        case expression of
        (Application (Lambda x ltype term) value) | isValue value = True -> substitute term x value
        (Application value e2) | isValue value = True  -> let e22 = evaluate e2 in Application value e22
        (Application  e1 e2) -> let e11 = evaluate e1 in Application e11 e2
Run Code Online (Sandbox Code Playgroud)

但是,这不适用于这些测试用例,

1) print (evaluate (Application (Var "x") (Var "y")))

2)print (evaluate (Application (Constant 3) (Var "y")) “(常量3)是一个值”

但是,第一次测试时,我知道这是因为 …

lambda haskell types lambda-calculus evaluate

4
推荐指数
1
解决办法
1477
查看次数

在 Python 中使用 fft2 的“有效”和“完整”卷积

这是一个不完整的 Python 卷积 FFT 片段。

我想修改它以使其支持,1)有效卷积2)和全卷积

import numpy as np
from numpy.fft import fft2, ifft2

image = np.array([[3,2,5,6,7,8],
                  [5,4,2,10,8,1]])

kernel = np.array([[4,5],
                   [1,2]])

fft_size =  # what size should I put here for,
            # 1) valid convolution
            # 2) full convolution

convolution = ifft2(fft2(image, fft_size) * fft2(kernel, fft_size))
Run Code Online (Sandbox Code Playgroud)

先感谢您。

python numpy fft convolution scipy

4
推荐指数
1
解决办法
1841
查看次数

在R中正确读取一个系列矩阵

我在这里找到 GSE60341_series_matrix.txt.gz ,当我把它读到R表中时,

x <-read.table("GSE60341_series_matrix.txt", fill = TRUE)
Run Code Online (Sandbox Code Playgroud)

我得到了行中的所有信息.换句话说,我得到一个大小的矩阵(42977行和3列),而样本的数量应该是1951.所以理想情况下,我应该得到一个1951行的表和(一些k列代表每个样本).

打开文本文件让我,

    sapiens"    "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"  "Homo sapiens"
!Sample_title   "20120811_NC18_NC18_01" "20120811_NC18_NC18_02" "20120811_NC18_NC18_03" "20120811_NC18_NC18_04" "20120811_NC18_NC18_05"
    !Sample_characteristics_ch1 "stimulation: Unstim"   "stimulation: Activated"    "stimulation: IFNb" "stimulation: Unstim"   "stimulation: Activated"    "stimulation: IFNb" "stimulation: Unstim"   "stimulation: Activated"    "stimulation: IFNb" "stimulation: …
Run Code Online (Sandbox Code Playgroud)

r text-files

4
推荐指数
1
解决办法
2235
查看次数

Theano:更改`base_compiledir`以将编译的文件保存在另一个目录中

theano.base_compiledir 指存储编译文件的目录.

有没有办法可以永久设置theano.base_compiledir到不同的位置,可能是通过修改一些内部theano文件的内容?

http://deeplearning.net/software/theano/library/config.html确实解释了theano在某些方面进行配置的方法,但我仍然无法解决我的问题.

我正在使用Ubuntu.

谢谢和干杯!

python theano

4
推荐指数
1
解决办法
2547
查看次数

partial_fit Sklearn的MLPClassifier

我一直在尝试使用Sklearn的神经网络MLPClassifier.我有一个大小为1000个实例的数据集(带有二进制输出),我想应用一个带有1个隐藏层的基本神经网络.

问题是我的数据实例并非同时全部可用.在任何时间点,我只能访问1个数据实例.我认为MLPClassifier的partial_fit方法可以用于此,所以我用1000个输入的虚数据集模拟了这个问题,并且一次一个地循环输入,并且每个实例都有一个partial_fit但是当我运行代码时,神经网络什么都不学习并且预测的输出全为零.

我对可能导致问题的原因一无所知.任何想法都非常感激.

from __future__ import division 
import numpy as np
from sklearn.datasets import make_classification
from sklearn.neural_network import MLPClassifier

#Creating an imaginary dataset
input, output = make_classification(1000, 30, n_informative=10, n_classes=2)
input= input / input.max(axis=0)
N = input.shape[0]
train_input = input[0:N/2,:]
train_target = output[0:N/2]

test_input= input[N/2:N,:]
test_target = output[N/2:N]

#Creating and training the Neural Net
clf = MLPClassifier(activation='tanh', algorithm='sgd', learning_rate='constant',
 alpha=1e-4, hidden_layer_sizes=(15,), random_state=1, batch_size=1,verbose= True,
 max_iter=1, warm_start=True)
classes=[0,1]
for j in xrange(0,100):
for i in xrange(0,train_input.shape[0]):
    input_inst = [train_input[i,:]]
    input_inst = …
Run Code Online (Sandbox Code Playgroud)

python classification neural-network scikit-learn

4
推荐指数
1
解决办法
4407
查看次数

在变基时自动解决 smartgit 中的冲突

smartgit 中有一个很好的功能,可以将冲突的文件设置为 rebase 目标,这是通过在文件上调用命令 ' Set to rebase target ("theirs") '。

但是,我希望在变基期间对每个冲突的文件自动完成此操作。有太多的提交和冲突的文件,手动解析每个文件非常耗时。

有没有办法让smartgit自动执行该解决方案?

谢谢。

git conflict rebase smartgit

3
推荐指数
1
解决办法
4194
查看次数