小编mas*_*tro的帖子

我正在尝试使用Spark 数据集 API但我在进行简单连接时遇到了一些问题.

假设我有两个带有字段的数据集:date | value,然后在DataFrame我的连接的情况下看起来像:

val dfA : DataFrame
val dfB : DataFrame

dfA.join(dfB, dfB("date") === dfA("date") )

但是,Dataset有.joinWith方法,但相同的方法不起作用:

val dfA : Dataset
val dfB : Dataset

dfA.joinWith(dfB, ? )

需要什么论点.joinWith？

我想为回归构建一个玩具LSTM模型.对于初学者来说,这个漂亮的教程已经太复杂了.

给定一系列长度time_steps,预测下一个值.考虑time_steps=3和序列:

array([
   [[  1.],
    [  2.],
    [  3.]],

   [[  2.],
    [  3.],
    [  4.]],
    ...

目标值应为:

array([  4.,   5., ...

我定义了以下模型:

# Network Parameters
time_steps = 3 
num_neurons= 64 #(arbitrary)
n_features = 1

# tf Graph input
x = tf.placeholder("float", [None, time_steps, n_features])
y = tf.placeholder("float", [None, 1])

# Define weights
weights = {
   'out': tf.Variable(tf.random_normal([n_hidden, 1]))
} 
biases = {
   'out': tf.Variable(tf.random_normal([1]))
}

#LSTM model
def lstm_model(X, weights, biases, learning_rate=0.01, optimizer='Adagrad'):

  # …