标签: azure-machine-learning-service

当我尝试运行实验时，我发现我陷入了排队状态。

是的，我有一个免费帐户，但我没有同时运行两个项目。

我尝试删除所有项目并创建一个新项目，但这也没有通过排队阶段。

感谢您的帮助

我正在尝试torch.utils.data.DataLoader在 AzureML 中对 a 进行一些自定义操作，但无法让它直接从我的实例化azureml.core.Datastore：

ws = Workspace( # ... etc ... )
ds = Datastore.get(ws, datastore_name='my_ds')
am = ds.as_mount()

# HOW DO I GET base_path, data_file from am?

dataloader = DataLoader(
        ListDataset(base_path, data_file), #... etc...
    )

的值am.path()是“$AZUREML_DATAREFERENCE_my_ds”，但我无法弄清楚如何pathlib.Path按照构造函数的预期从该值转到 a ListDataset。我尝试过的事情包括Path(am.path())但Path(os.environ[am.path()])它们似乎不起作用。

很明显有一些答案，因为：

script_params = {
    '--base_path': ds.as_mount(), 
    '--epochs': 30,  
    '--batch_size' : 16,  
    '--use_cuda': 'true'
}
torch = PyTorch(source_directory='./',
                        script_params=script_params,
                        compute_target=compute_target,
                        entry_script='train.py',
                        pip_packages=packages,
                        use_gpu=True) 

似乎创建了一个合法的对象。

当 AzureML 创建 python 环境并运行时pip install，我希望它使用额外的非公共索引。有没有办法做到这一点？

我正在 AzureML 计算上运行 python 脚本。该环境是根据文档根据 pip 要求创建的。该脚本现在引用私有索引中的包。要在本地或构建计算机上运行脚本，我只需PIP_EXTRA_INDEX_URL在运行之前指定带有索引凭据的环境变量pip install -c ...。如何在 AzureML 环境准备过程中启用相同的功能？

AzureML 文档建议我直接提供轮文件而不是包名称。这意味着我必须手动完成 pip 构建的所有工作：在其他要求中识别私有包，选择正确的版本和平台，下载它们。

理想情况下，我只需要写这样的东西：

myenv = Environment.from_pip_requirements(
    name = "myenv",
    file_path = "path-to-pip-requirements-file",
    extra-index-url = ["url1", "url2"])

我有一个 sklearn k-means 模型。我正在训练模型并将其保存在 pickle 文件中，以便稍后可以使用 azure ml 库进行部署。我正在训练的模型使用名为MultiColumnLabelEncoder 的自定义特征编码器。管道模型定义如下：

# Pipeline
kmeans = KMeans(n_clusters=3, random_state=0)
pipe = Pipeline([
("encoder", MultiColumnLabelEncoder()),
('k-means', kmeans),
])
#Training the pipeline
model = pipe.fit(visitors_df)
prediction = model.predict(visitors_df)
#save the model in pickle/joblib format
filename = 'k_means_model.pkl'
joblib.dump(model, filename)

模型保存效果很好。部署步骤与此链接中的步骤相同：

https://notebooks.azure.com/azureml/projects/azureml-getting-started/html/how-to-use-azureml/deploy-to-cloud/model-register-and-deploy.ipynb

但是部署总是失败并出现以下错误：

  File "/var/azureml-server/create_app.py", line 3, in <module>
    from app import main
  File "/var/azureml-server/app.py", line 27, in <module>
    import main as user_main
  File "/var/azureml-app/main.py", line 19, in <module>
    driver_module_spec.loader.exec_module(driver_module)
  File "/structure/azureml-app/score.py", line 22, …

我想在我的 Azure 机器学习工作区 ( azureml-core==1.12.0) 中注册来自 ADLS Gen2 的数据集。由于服务主体的信息不Python的SDK中所需的文件的.register_azure_data_lake_gen2()，我成功地使用下面的代码来注册ADLS第二代的数据存储：

from azureml.core import Datastore

adlsgen2_datastore_name = os.environ['adlsgen2_datastore_name']
account_name=os.environ['account_name'] # ADLS Gen2 account name
file_system=os.environ['filesystem']

adlsgen2_datastore = Datastore.register_azure_data_lake_gen2(
    workspace=ws,
    datastore_name=adlsgen2_datastore_name,
    account_name=account_name, 
    filesystem=file_system
)

但是，当我尝试注册数据集时，使用

from azureml.core import Dataset
adls_ds = Datastore.get(ws, datastore_name=adlsgen2_datastore_name)
data = Dataset.Tabular.from_delimited_files((adls_ds, 'folder/data.csv'))

我收到一个错误

无法从指定路径加载任何数据。确保路径可访问并包含数据。 ScriptExecutionException是由StreamAccessException. StreamAccessException 是由 AuthenticationException 引起的。 'AdlsGen2-ReadHeaders'对于存储上的“[REDACTED]”失败，状态代码为“禁止”（此请求无权使用此权限执行此操作。），客户端请求 ID <CLIENT_REQUEST_ID>，请求 ID <REQUEST_ID>。错误信息：[已编辑] | session_id=<SESSION_ID>

我是否需要启用服务主体才能使其正常工作？使用 ML Studio UI，似乎甚至需要服务主体来注册数据存储。

我注意到的另一个问题是 AMLS 试图访问这里的数据集： https://adls_gen2_account_name.**dfs**.core.windows.net/container/folder/data.csv而 ADLS Gen2 中的实际 URI …

我正在尝试编写一个脚本，该脚本可以从事后运行的 Azure ML 实验下载输出。

runId本质上，我想知道如何通过其属性（或其他标识符）获取 Run 。

我知道当我出于训练目的创建 Run 对象时，我可以访问该对象。我想要的是一种稍后在单独的脚本中重新创建此 Run 对象的方法，可能来自完全不同的环境。

到目前为止，我发现的是一种通过该get_runs()函数从实验中获取 ScriptRun 对象列表的方法。但我没有找到使用这些 ScriptRun 对象之一来创建代表原始 Run 并允许我下载输出的 Run 对象的方法。

任何帮助表示赞赏。

我正在尝试为我的公司在 Azure 上构建机器学习模型。我工作的公司的 IT 团队已经为我的 Azure 机器学习帐户授予了最大权限，因为我正在完成所有设置部分（我们上个月才开始使用它）。但是，我检查了门户并意识到我无权访问 Azure ML 中的任何模块，即实验、模型、端点、数据集等。是否有我遗漏的内容导致出现此错误？错误消息有此链接，但我不确定它是否能达到目的。

注意：我是 Azure 的新手，所以如果这是一个非常基本的疑问，请原谅我。

我的 BlobStorage 中有几千个视频文件，我将其设置为数据存储。此 Blob 存储每天晚上都会收到新文件，我需要拆分数据并将每个拆分注册为新版本的 AzureML 数据集。

这就是我进行数据分割的方式，只需获取 blob 路径并分割它们即可。

container_client = ContainerClient.from_connection_string(AZ_CONN_STR,'keymoments-clips')
blobs = container_client.list_blobs('soccer')
blobs = map(lambda x: Path(x['name']), blobs)
train_set, test_set = get_train_test(blobs, 0.75, 3, class_subset={'goal', 'hitWoodwork', 'penalty', 'redCard', 'contentiousRefereeDecision'})
valid_set, test_set = split_data(test_set, 0.5, 3)

train_set, test_set, valid_set只是包含 blob 存储路径和类的 nx2 numpy 数组。

这是我尝试创建数据集的新版本时的情况：

datastore = Datastore.get(workspace, 'clips_datastore')

dataset_train = Dataset.File.from_files([(datastore, b) for b, _ in train_set[:4]], validate=True, partition_format='**/{class_label}/*.mp4')
dataset_train.register(workspace, 'train_video_clips', create_new_version=True)

即使只有 4 个路径，数据集创建似乎也会无限期挂起，这怎么可能？我在文档中看到提供一个列表Tuple[datastore, path]是完全可以的。你知道为什么吗？

谢谢

我正在尝试使用以下命令安装 azure-pipeline：

pip install azureml-pipeline\n

当我这样做时，它会很好地安装大多数依赖项，直到我收到以下错误消息：

Building wheel for ruamel.yaml (setup.py) ... error\n  error: subprocess-exited-with-error\n\n  \xc3\x97 python setup.py bdist_wheel did not run successfully.\n  \xe2\x94\x82 exit code: 1\n

\n
• \n

ERROR: Failed building wheel for ruamel.yaml\n

\n
• \n

Running setup.py install for ruamel.yaml did not run successfully.\n

请注意，当我使用 pip 安装 ruamel.yaml 时，它表示所有要求均已满足，而当我尝试重新安装 Wheel 工具时，所有要求均已满足：

pip install ruamel.yaml\npip install -U pip setuptools wheel\n

有没有人遇到过这个问题或者知道我需要安装什么才能让它工作？注意：Azureml 在我的机器上安装得很好。

编辑：

Python 版本 = 3.9.7 …

语境

我想使用 Yolo (v8) 训练自定义模型。我已经让它在我的本地计算机上运行，​​但速度非常慢，并且希望在 Azure 机器学习工作室上运行该作业以提高效率。我在用Azure ML SDK v2。

问题

当我在 Azure ML 上运行时，收到一条错误消息，指出 YOLO 无法找到我的训练图像。

Traceback (most recent call last):\nFile "/opt/conda/envs/ptca/lib/python3.8/site-packages/ultralytics/yolo/engine/trainer.py", line 125, in __init__\n  self.data = check_det_dataset(self.args.data)\nFile "/opt/conda/envs/ptca/lib/python3.8/site-packages/ultralytics/yolo/data/utils.py", line 243, in check_det_dataset\n  raise FileNotFoundError(msg)\nFileNotFoundError: \nDataset \'custom.yaml\' not found \xe2\x9a\xa0\xef\xb8\x8f, missing paths [\'/mnt/azureml/cr/j/18bdc3371eca4975a0c4a7123f9adaec/exe/wd/valid/images\']\n

代码/分析

这是我用来运行该作业的代码：

command_job = command(\n    display_name=\'Test Run 1\',\n    code="./src/",\n    command="yolo detect train data=custom.yaml model=yolov8n.pt epochs=1 imgsz=1280 seed=42",\n    environment="my-custom-env:3",\n    compute=compute_target\n)\n

在我的本地计算机上（使用 Visual Studio 代码），该custom.yaml文件位于 …