最小化 Tensorflow 中的多元函数

Question

假设我有以下几个变量函数的简单示例

@tf.function
def f(A, Y, X):
  AX = tf.matmul(A, X)
  norm = tf.norm(Y - AX)
  return norm

N = 2
A = tf.Variable(np.array([[1, 2], [3, 4]]))
Y = tf.Variable(np.identity(N))
X = tf.Variable(np.zeros((N, N)))

我如何找到TensorflowX最小化？f我对一种通用解决方案感兴趣，该解决方案可与上面声明的函数一起使用，并且当有多个变量需要优化时。

Answer 1

avanwyk本质上是正确的，但请注意：1）minimize为了简单起见，您可以直接使用优化器的方法2）如果您只想优化，X您应该确保这是您正在更新的唯一变量。

import tensorflow as tf

@tf.function
def f(A, Y, X):
  AX = tf.matmul(A, X)
  norm = tf.norm(Y - AX)
  return norm

# Input data
N = 2
A = tf.Variable([[1., 2.], [3., 4.]], tf.float32)
Y = tf.Variable(tf.eye(N, dtype=tf.float32))
X = tf.Variable(tf.zeros((N, N), tf.float32))
# Initial function value
print(f(A, Y, X).numpy())
# 1.4142135

# Setup a stochastic gradient descent optimizer
opt = tf.keras.optimizers.SGD(learning_rate=0.01)
# Define loss function and variables to optimize
loss_fn = lambda: f(A, Y, X)
var_list = [X]
# Optimize for a fixed number of steps
for _ in range(1000):
    opt.minimize(loss_fn, var_list)

# Optimized function value
print(f(A, Y, X).numpy())
# 0.14933111

# Optimized variable
print(X.numpy())
# [[-2.0012102   0.98504114]
#  [ 1.4754106  -0.5111093 ]]