标签: normalization

我想确保 TfidfVectorizer 对象返回 l2 归一化向量。我正在运行具有不同长度的文档的二元分类问题。

我正在尝试提取每个语料库的归一化向量，因此我假设我可以对 Tfidfvectorizer 矩阵的每一行求和。然而总和大于 1，我认为标准化的 copora 会将所有文档转换为 0-1 之间的范围。

vect = TfidfVectorizer(strip_accents='unicode',
stop_words=stopwords,analyzer='word', use_idf=True, tokenizer=tokenizer, ngram_range=(1,2),sublinear_tf= True , norm='l2')

tfidf = vect.fit_transform(X_train)
# sum norm l2 documents
vect_sum = tfidf.sum(axis=1)

vect_sum 的值大于 1，我认为使用范数会导致所有向量都在 0-1 之间。我刚刚意识到 scikit learn 中的一个预处理对象 - preprocessing.normalizer。这是我应该在 Gridsearch 管道中使用的东西吗？请参阅下面的示例。

pipeline = Pipeline([
    ('plb', normalize(tfidf, norm='l2')), #<-- sklearn.preprocessing
    ('tfidf', tfidf_vectorizer),
    ('clf', MultinomialNB()),  
])

preprocessing.normalizer 和 Tfidfvectorizer 范数参数有什么区别？

我正在 Haskell 中寻找一种方法，以完全按照此（Java）问题中描述的方式格式化浮点数，以获得最佳紧凑性。我想这也可以称为“常态化”。

我将在此处复制该问题的示例场景：

2.80000-> 应格式化为"2.8"

765.000000-> "765"（注意小数点也被删除了）

0.0073943162953-> "0.00739432"（限制精度位数 — 在本例中为 6）

0.0000073943162953-> "7.39432E-6"（如果幅度足够小，则切换到科学计数法 - 小于1E-5本例）

7394316295300000-> "7.39432E+6"（如果幅度足够大，则切换到科学记数法 - 例如，当大于时1E+10）

0.0000073900000000-> "7.39E-6"（从科学计数法中的有效数中去除尾随零）

0.000007299998344-> "7.3E-6"（从 6 位精度限制舍入导致该数字的尾随零被删除）

Haskell 中是否有一个内置库可以做到这一点，或者我必须自己推出？

我正在尝试序列化一个具有一些 \DateTime 字段的实体类。一切正常，但 \DateTime 对象使用以下格式转换为字符串：“2019-10-21T01:05:12+00:00”，而我只想获取日期部分：“2019-10-21 ”。

Symfony文档提到了默认格式，但没有解释如何配置它：

DateTimeNormalizer此规范化器将 DateTimeInterface 对象（例如 DateTime 和 DateTimeImmutable）转换为字符串。默认情况下，它使用 RFC3339 格式。

是否可以更改默认的日期时间规范化格式以及如何更改？

实体类：

class Fact
{
    /**
     * @ORM\Column(type="datetime", options={"default": "CURRENT_TIMESTAMP"})
     * @Groups({"api"})
     */
    private $created_on;
}

标准化示例：

use Symfony\Component\Serializer\SerializerInterface;

class FactController extends AbstractController
{
    private $serializer;

    public function __construct(SerializerInterface $serializer)
    {
        $this->serializer = $serializer;
    }

    public function view($id)
    {
        ....   
        $data = array(
            'fact' => $this->serializer->normalize($fact, null, ['groups'=> 'api']),
        );
        ...
    }
}

我有一个包含两列的数据集，它们的比例完全不同。

我需要对两列进行日志转换，以便能够对它们进行一些可视化。

我找不到允许我对多个列进行日志转换的 python 代码。

有谁能够帮助我？

我有一个包含定性和定量列的数据集，我希望在 RealizedPL 和体积列上进行日志记录。

我的数据集看起来有点像这样：

     Date           Name       Country     Product     RealizedPL     Volume
0    2019.01.01     Charles    Country1    ProductA      100           10200
1    2019.02.20     Pierre     Country2    ProductB      150           20500
2    2019.03.02     Chiara     Country1    ProductA      200           15300

如何进行日志转换并保留其他列？通过为日志创建新列或直接用日志替换列。

谢谢

我想将大小为 [192,4000] 的数组缩放到特定范围。我希望将每一行（1:192）重新调整到特定范围，例如（-840,840）。我运行一个非常简单的代码：

import numpy as np
from sklearn import preprocessing as sp
sample_mat = np.random.randint(-840,840, size=(192, 4000))
scaler = sp.MinMaxScaler(feature_range=(-840,840))
scaler = scaler.fit(sample_mat)
scaled_mat= scaler.transform(sample_mat)

即使原始矩阵的最大值和最小值完全相同，这也会弄乱我的矩阵范围。我不知道出了什么问题，有什么想法吗？

我有个问题。我想使用StandardScaler()，但我的数据集包含某些值和其他不应缩放的OneHotEncoding值。但如果我正在运行，所有值都会缩放。那么是否可以选择仅对管道内的某些值运行此方法？StandardScaler()

columns = ['rank']
columns_to_scale  = ['gre', 'gpa']

scaler = StandardScaler()
ohe    = OneHotEncoder(sparse=False)

# Concatenate (Column-Bind) Processed Columns Back Together
processed_data = np.concatenate([scaled_columns, encoded_columns], axis=1)

from sklearn.base import BaseEstimator, TransformerMixin
class StandardScaler_with_certain_features(BaseEstimator, TransformerMixin):
    def __init__(self, columns_to_scale):
        scaler = StandardScaler()
        

    def fit(self, X, y = None):
        scaler.fit(X_train) # only std.fit on train set
        X_train_nor = scaler.transform(X_train.values)

    def transform(self, X, …