标签: automl

AutoML看起来很棒。一个大问题是-我们可以导出经过训练的模型以进行离线推理，例如使用tensorflow或tensoflow lite吗？

我已经训练并保存了我的 H2O AutoML 模型。重新加载后，当我使用预测方法时，出现以下错误：java.lang.IllegalArgumentException：测试/验证数据集有一个非分类列“响应”，它在训练数据中是分类的

我在创建模型时没有指定任何编码，但我现在收到此错误。任何人都可以帮助我解决这个问题。

任何帮助将不胜感激。

我正在尝试将 tensorflow 模型从其原始 html 移动到 react 应用程序（使用 create-react-app 构建）。

我的 App.js 看起来像这样：

import logo from './logo.svg';
import * as tf from "@tensorflow/tfjs";
// import { loadImageclassification } from "@tensorflow/tfjs";
import './App.css';
import * as automl from "@tensorflow/tfjs-automl";
import * as modelJSON from './model.json';

function App() {

var loadFile = function(event) {
    var image = document.getElementById('output');
    image.src = URL.createObjectURL(event.target.files[0]);
  run();
};

async function run() {
  console.log(modelJSON);
        // const model = await tf.loadImageclassification('model.json');
        const model = await automl.loadImageClassification(modelJSON);
        const image = document.getElementById('output'); …

运行后automl（3个类的分类），我可以看到一个模型列表如下： model_id mean_per_class_error StackedEnsemble_BestOfFamily_0_AutoML_20180420_174925 0.262355 StackedEnsemble_AllModels_0_AutoML_20180420_174925 0.262355 XRT_0_AutoML_20180420_174925 0.266606 DRF_0_AutoML_20180420_174925 0.278428 GLM_grid_0_AutoML_20180420_174925_model_0 0.442917

但mean_per_class_error对我的情况来说不是一个好的指标，因为班级不平衡（一个班级的人口很少）。如何获取非领导模型的详细信息并计算其他指标？谢谢。

蟒蛇版本：3.6.0

h2o 版本：3.18.0.5

有没有办法从 auto-sklearn 的独立 python 脚本中提取自动生成的机器学习管道？

以下是使用 auto-sklearn 的示例代码：

import autosklearn.classification
import sklearn.cross_validation
import sklearn.datasets
import sklearn.metrics

digits = sklearn.datasets.load_digits()
X = digits.data
y = digits.target
X_train, X_test, y_train, y_test = sklearn.cross_validation.train_test_split(X, y, random_state=1)

automl = autosklearn.classification.AutoSklearnClassifier()
automl.fit(X_train, y_train)
y_hat = automl.predict(X_test)

print("Accuracy score", sklearn.metrics.accuracy_score(y_test, y_hat))

以某种方式自动生成等效的 python 代码会很好。

相比之下，当使用 TPOT 时，我们可以获得如下的独立管道：

from tpot import TPOTClassifier
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split

digits = load_digits()
X_train, X_test, y_train, y_test = train_test_split(digits.data, digits.target, train_size=0.75, test_size=0.25)

tpot = TPOTClassifier(generations=5, population_size=20, verbosity=2) …

在我的问题数据集中,响应变量非常偏向左侧.我试图使用h2o.randomForest()和h2o.gbm()如下的模型.在这两种情况下,我可以调整min_split_improvement并min_rows避免过度拟合.但是对于这些模型,我发现尾部观察的误差很大.我曾尝试 weights_column过对尾部观察进行过采样,并对其他观察结果进行欠采样,但这并没有帮助.

h2o.model <- h2o.gbm(x = predictors, y = response, training_frame = train,valid = valid, seed = 1,
                              ntrees =150, max_depth = 10, min_rows = 2, model_id = "GBM_DD", balance_classes = T, nbins = 20, stopping_metric = "MSE", 
                     stopping_rounds = 10, min_split_improvement = 0.0005)


h2o.model <- h2o.randomForest(x = predictors, y = response, training_frame = train,valid = valid, seed = 1,ntrees =150, max_depth = 10, min_rows = 2, model_id = "DRF_DD", balance_classes …

我正在制作一个将利用 Google AutoML Vision API 的 Android 应用程序。我正在寻找一种方法来获取永久访问令牌或在代码中生成它们，这样我就不需要每次想使用我的应用程序时都使用 gcloud。我该怎么做呢？

我已经创建了 AutoML 模型，设置了我的服务帐户，并在 Android Studio 中编写了我的应用程序，以便它使用 Volley 向 API 发出请求。问题是，它们要求您使用 gcloud 生成并传递访问令牌。我可以生成令牌并将其放入我的代码中，但它只能持续一个小时然后过期。REST API 需要访问令牌，如下所示。

curl -X POST -H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth application-default print-access- 
token)" 

我已经研究了解决这个问题的不同方法。例如，有一些适用于 Java 和 Google Cloud 应用程序的 Google 客户端库展示了如何将服务帐户凭据添加到代码中。我很困惑从手机运行时如何将 Json 密钥文件添加到代码中。我还读到可以使用 Firebase，但我不熟悉该过程是什么。

目前，我将在我的计算机上打开 gcloud，生成访问令牌，将其粘贴到我的代码中，并按如下方式使用标题运行应用程序，这将返回所需的结果长达一个小时，直到访问代码过期。

@Override
public Map<String, String> getHeaders() throws AuthFailureError{
    Map<String, String> headers = new HashMap<>();
    headers.put("Authorization", "Bearer " + accesstoken);
    return headers;
 }

我希望这是一个可以在 Android 手机上运行的独立应用程序。这样做的最佳方法是什么？

更新：我能够将文件添加到 Android Studio，然后使用一些函数来获取访问令牌，它似乎在模拟器中工作。我不确定这种方法有多安全，因为带有密钥的 json 文件需要保密。 …

** 我知道类似的问题！！**

我的问题是针对我的特定情况...我使用 Google Vision 训练我自己的模型来检测自定义对象。过去我遇到过类似的形状错误，我通过重塑输入图像解决了这些错误。

这个特殊的错误告诉我我的形状必须是一个空数组或空形状。这甚至可能吗？如果这不是故障，我该如何解决？

这就是我在其他项目中抱怨形状时解决以前错误的方法。此解决方案不适用于空数组/形状

    const model = await autoML.loadObjectDetection('./model/model.json');
 // const model = await tfjs.loadGraphModel('./model/model.json');
    await tfjs.ready();
    const tfImg = tfjs.browser.fromPixels(videoElement.current).expandDims(0);
    const smallImg = await tfjs.image.resizeBilinear(tfImg, [224, 224]);
    const resized = tfjs.cast(smallImg, 'float32');
    const t4d = tfjs.tensor4d(Array.from(resized.dataSync()), [1, 224, 224, 3]);
    const predictions = await modelRef.current.detect(tfImg, options);

我们有一个场景，需要使用机器学习算法来预测值。由于一些问题，我们希望在 ML.NET 中实现这一点。

我们在一个项目中尝试了 AutoML，并使用近 8 万条数据记录对其进行了训练。我们对数据进行了 30 多分钟的训练。csv 文件为 22MB。数据如下所示。

------------------------------------
Col1                        col2
------------------------------------
Some text                    21
Some other text               2

我们有一些上述类型的历史数据。我们需要从 col1 文本中预测 col2。即使该列是整数，它也会以小数形式预测结果。

有人用 python 创建了一个模型，目前正在按预期工作。我们想在 ML.NET 中使用它。

我们是否有可能在 ML.NET 中使用由 python 创建的模型？

我想在两个损失函数或 nn.Modules 或 python 对象之间动态应用数学运算。在pytorch中生成动态图也可以被视为一个问题。

例如：在下面的例子中，我想添加两个损失函数。

nn.L1Loss() + nn.CosineEmbeddingLoss()\n

如果我这样做，它会给我一个错误：

----> 1 nn.L1Loss() + nn.CosineEmbeddingLoss()\nTypeError: unsupported operand type(s) for +: 'L1Loss' and 'CosineEmbeddingLoss'\n

我还尝试创建一个具有转发功能和火炬操作的包装器，如下所示，但它也不起作用。在下面的情况下x， 和y可以是任何损失函数，也op可以是任何数学运算，例如加法、减法等。

class Execute_Op(nn.Module):\n    def __init__(self):\n        super().__init__()\n        \n    def forward(self, x, y, op):\n        if op == 'add':\n            return torch.add(x, y)\n        elif op == 'subtract':\n            return torch.subtract(x - y)\n\nexec_op = Execute_Op()\nexec_op(nn.L1Loss(), nn.CosineEmbeddingLoss(), 'add')\n

它给出如下错误：

Execute_Op.forward(self, x, y, op)\n      5 def forward(self, x, y, op):\n …