标签: normalization

我有不同的列，其中包含年龄、性别等 int 值。我希望通过应用最小-最大归一化将这些列值替换为 0-1 范围值，以便我可以将其加载到快速小数并应用 k 均值。

请告诉我这个的sql查询？

我正在阅读这个问题https://meta.stackexchange.com/questions/26398/stackoverflow-database-design-join-issues，我得到了以下问题：使用非常规范化的数据库效率不高？

应该如何找到正确的妥协方案？

我不确定这个问题是否更适合这里或程序员。这里有一些类似的，但如果我应该搬家，请问我。

各位晚上好，

今天想问一个关于SQLite3中的派生字段（也称为计算字段）的问题。

利用存储在我的数据库中的两个值“重量”和“距离”，我知道可以利用它们来执行计算，以利用需要这两个值的公式返回我想要的值。

但是我想知道是否有一种方法可以通过 SQLite 编码设置一个字段来自动生成自己的值，因此一旦他们输入了重量和距离并执行了计算，“卡路里燃烧”的属性字段就会被显示人口稠密。

另外，我在几个网站上读到，由于 3NF 要求，3NF 数据库的派生字段不应存储在数据库中，如果是这样，当我希望检索该值时，我将不得不继续执行选择计算。

谢谢

JHB92

我有一个包含 4 列/属性和 150 行的数据集。我想使用最小-最大标准化来标准化这些数据。到目前为止，我的代码是：

minData=min(min(data1))
maxData=max(max(data1))
minmaxeddata=((data1-minData)./(maxData))

此处，minData和maxData返回全局最小值和最大值。因此，此代码实际上对 2D 矩阵中的所有值应用最小-最大归一化，以便全局最小值为 0，全局最大值为 1。

但是，我想对每一列单独执行相同的操作。具体来说，二维矩阵的每一列都应该独立于其他列进行最小-最大归一化。

我尝试仅使用min(data1)and max(data1)，但收到错误消息，指出矩阵尺寸必须一致。

然而，通过使用全局最小值和最大值，我得到了范围内的值[0-1]，并使用这个标准化数据集进行了实验。我想知道我的结果是否有问题？我的理解也有问题吗？任何指导将不胜感激。

对于不同规模的输入数据，我知道用于训练分类器的值必须进行标准化才能正确分类（SVM）。

那么预测的输入向量是否也需要归一化呢？

我遇到的情况是训练数据被标准化和序列化并保存在数据库中，当必须进行预测时，序列化数据被反序列化以获得标准化的 numpy 数组，然后将 numpy 数组适合分类器和将用于预测的输入向量应用于预测。那么这个输入向量是否也需要归一化呢？如果是这样，该怎么做，因为在预测时我没有实际的输入训练数据来标准化？

另外，我沿着 axis=0 ，即沿着列进行标准化。

我的规范化代码是：

preprocessing.normalize(data, norm='l2',axis=0)

有没有办法序列化 preprocessing.normalize

我将不胜感激以下任何见解。

我想在一个公共直方图上绘制两个数据集，这样两个直方图都没有顶部截止并且概率分布范围从 0 到 1。

让我解释一下我的意思。到目前为止，我可以很好地绘制一个直方图的两个数据集，并迫使这两个分布的积分写为1normed = 1的ax.hist()，如下面的图所示：

它是由这样的代码产生的：

        x1, w1, patches1 = ax.hist(thing1, bins=300, edgecolor='b', color='b', histtype='stepfilled', alpha=0.2, normed = 1)

        x2, w2, patches2 = ax.hist(thing2, bins=300, edgecolor='g', color='g', histtype='stepfilled', alpha=0.2, normed = 1)             

在一般情况下，一种概率分布比另一种高得多，这使得很难清楚地阅读图。

所以，我试图对两者进行归一化，使它们在 y 轴上的范围都从 0 到 1，并且仍然保持它们的形状。例如，我尝试了以下代码：

for item in patches1:
    item.set_height(item.get_height()/sum(x1))

这是取自这里的讨论如何在 python 中规范化直方图？，但 python 向我抛出一条错误消息，说没有这样的质量get_height.

我的问题很简单：我怎样才能让 y 轴的范围从 0 到 1 并保持两个分布的形状？

我最近开始使用 are，我想扩展我的数据矩阵。我在这里找到了一种方法来在两点之间缩放一个系列

x <- data.frame(step = c(1,2,3,4,5,6,7,8,9,10))
normalized <- (x-min(x))/(max(x)-min(x))

由于我的数据由几列组成，因此我只想使用建议的函数对某些列进行规范化。

normalized <- function(x) (x- min(x))/(max(x) - min(x))
x[] <- lapply(x, normalized) 

此外，我意识到我的数据集中的某些数据点等于 0，因此所提供的公式不再适用。我在这里添加了一个扩展建议：将r 数据帧缩放到 0-1 与 NA 值

normalized <- function(x, ...) {(x - min(x, ...)) / (max(x, ...) - min(x, ...))}

但我不明白我必须如何编码。例如，我想让第 4、5、6 和 10 列标准化，但我想让其余的列保持在数据集中的状态？我在第 4 列中尝试过：

data <- lapply(data[,4],normalized,na.rm= TRUE)

但它没有用（而不是数据框，结果是一个列表:-(...），有谁知道我如何解决它？

非常感谢！

我正在做自动编码器模型。我已经保存了模型，在此之前我使用 min max scaler 缩放了数据。

X_train = df.values
scaler = MinMaxScaler()
X_train_scaled = scaler.fit_transform(X_train)

完成此操作后，我安装了模型并将其保存为“h5”文件。现在当我提供测试数据时，在自然加载保存的模型后，它也应该进行缩放。

所以当我加载模型并使用

X_test_scaled  = scaler.transform(X_test)

它给出了错误

NotFittedError: This MinMaxScaler instance is not fitted yet. Call 'fit' with appropriate arguments before using this method.

所以我给出了X_test_scaled = scaler.fit_transform(X_test) （我有一种预感，它是愚蠢的）确实给出了一个结果（在加载保存的模型和测试之后），当我训练它并一起测试时它是不同的。为了我的目的，我现在已经保存了大约 4000 个模型（所以我无法训练并再次保存它，因为它花费了很多时间，所以我想要一条出路）。

有没有一种方法可以通过按照我训练的方式对其进行转换来缩放测试数据（可能是保存缩放值，我不知道）。或者可以对模型进行去缩放，以便我可以在非缩放数据上测试模型.

如果我没有强调或过分强调任何一点，请在评论中告诉我！

我想知道 flutter 中是否有内置的标准化功能。就像这样工作

List<int> array = [-105,24,66,-50,-49,2]

//Normalises to get numbers between -1 and 1
List<double> normalised = array.normalise(-1,1) 

我正在尝试使用 l2 归一化来归一化我的神经网络中的一个层。我想将特定层中的每个节点/元素除以其 l2 范数（元素平方和的平方根），我的假设是 keras 的 l2_normalize 可以实现这一点：https ://www.tensorflow.org/ api_docs/python/tf/keras/backend/l2_normalize?version=stable。但是，我不确定如何实际使用它，因为文档中没有示例。我发现了其他使用 lambda 函数的示例，例如Lambda(lambda x: K.l2_normalize(x,axis=1))(previous_layer). 但是，我不确定为什么需要这样做？感谢有关如何keras.backend.l2_normalize使用以及为什么可能需要 lambda 函数的帮助。谢谢！

这是我想要的使用方式：

autoencoder = Sequential()

# Encoder Layer
 autoencoder.add(Dense(encoded_dim, input_shape=(input_dim,), 
 activation='relu'))

# Normalization - Need help here!
# TODO: Add l2_normalize here 

# Decoder Layer
# TODO: Add final output layer here