伯努利随机数发生器

Question

我无法理解 numpy 中使用的伯努利随机数生成器是如何计算的，并希望对此进行一些解释。例如：

np.random.binomial(size=3, n=1, p= 0.5)

Results:
[1 0 0]

n = 路径数

p = 发生概率

大小 = 实验次数

如何确定“0”或“1”的生成数字/结果？

==================================更新================ ==================

我创建了一个受限玻尔兹曼机，尽管在多个代码执行中是“随机”的，但它始终呈现相同的结果。随机种子使用 np.random.seed(10)

import numpy as np

np.random.seed(10)

def sigmoid(u):
    return 1/(1+np.exp(-u))

def gibbs_vhv(W, hbias, vbias, x):
    f_s = sigmoid(np.dot(x, W) + hbias)
    h_sample = np.random.binomial(size=f_s.shape, n=1, p=f_s)

    f_u = sigmoid(np.dot(h_sample, W.transpose())+vbias)
    v_sample = np.random.binomial(size=f_u.shape, n=1, p=f_u)
    return [f_s, h_sample, f_u, v_sample]

def reconstruction_error(f_u, x):
    cross_entropy = -np.mean(
        np.sum(
            x * np.log(sigmoid(f_u)) + (1 - x) * np.log(1 - sigmoid(f_u)),
            axis=1))
    return cross_entropy


X = np.array([[1, 0, 0, 0]])

#Weight to hidden
W = np.array([[-3.85, 10.14, 1.16],
              [6.69, 2.84, -7.73],
              [1.37, 10.76, -3.98],
              [-6.18, -5.89, 8.29]])

hbias = np.array([1.04, -4.48, 2.50]) #<= 3 bias for 3 neuron in hidden
vbias = np.array([-6.33, -1.68, -1.25, 3.45]) #<= 4 bias for 4 neuron in input


k = 2
v_sample = X
for i in range(k):
    [f_s, h_sample, f_u, v_sample] = gibbs_vhv(W, hbias, vbias, v_sample)
    start = v_sample
    if i < 2:
        print('f_s:', f_s)
        print('h_sample:', h_sample)
        print('f_u:', f_u)
        print('v_sample:', v_sample)
    print(v_sample)
    print('iter:', i, ' h:', h_sample, ' x:', v_sample, ' entropy:%.3f'%reconstruction_error(f_u, v_sample))

结果：

[[1 0 0 0]]
f_s: [[ 0.05678618  0.99652957  0.97491304]]
h_sample: [[0 1 1]]
f_u: [[ 0.99310473  0.00139984  0.99604968  0.99712837]]
v_sample: [[1 0 1 1]]
[[1 0 1 1]]
iter: 0  h: [[0 1 1]]  x: [[1 0 1 1]]  entropy:1.637

f_s: [[  4.90301318e-04   9.99973278e-01   9.99654440e-01]]
h_sample: [[0 1 1]]
f_u: [[ 0.99310473  0.00139984  0.99604968  0.99712837]]
v_sample: [[1 0 1 1]]
[[1 0 1 1]]
iter: 1  h: [[0 1 1]]  x: [[1 0 1 1]]  entropy:1.637

Answer 1

我问的是算法如何工作来产生数字。– WhiteSolstice 35 分钟前

非技术说明

如果传递n=1到二项式分布，则它等效于伯努利分布。在这种情况下，该函数可以被认为是模拟抛硬币。size=3告诉它翻转硬币三次，并p=0.5使其成为一个公平的硬币具有等于probabilitiy头（1）或尾部（0）。

结果[1 0 0]来的硬币来到了曾经与头两次，用尾巴朝上。这是随机的，因此再次运行它会导致不同的序列，例如[1 1 0], [0 1 0]，甚至可能[1 1 1]。尽管您无法在 3 次运行中获得相同数量的 1 和 0，但平均而言您会获得相同的数字。

技术说明

Numpy 在 C 中实现随机数生成。二项分布的源代码可以在这里找到。实际上实现了两种不同的算法。

• 如果n * p <= 30它使用逆变换采样。
• 如果n * p > 30使用（Kachitvichyanukul 和 Schmeiser 1988）的 BTPE 算法。（该出版物不是免费提供的。）

我认为这两种方法，但肯定是逆变换采样，都依赖于随机数生成器来产生均匀分布的随机数。Numpy 内部使用Mersenne Twister伪随机数生成器。然后将均匀随机数转换为所需的分布。