我希望能够有一个开箱即用的工作 jupyter 笔记本，用于 VS 代码，而我这边的工作最少。

我尝试打开一个 jupyter 笔记本。我立即找到了解释器并将我的 conda env 与命令颗粒一起使用（command + shift + P然后在下拉菜单中找到了我的 conda env）。这似乎使终端工作，因为哪个 python 指向正确的位置：

(automl-meta-learning) brandomiranda~/automl-meta-learning ? which python
/Users/brandomiranda/miniconda3/envs/automl-meta-learning/bin/python

也从 VS Code 运行 python 脚本似乎也工作正常，请参阅输出：

(automl-meta-learning) brandomiranda~/automl-meta-learning ? /Users/brandomiranda/miniconda3/envs/automl-meta-learning/bin/python /Users/brandomiranda/automl-meta-learning/python_playground.py

x = 1
my_str = this is a string
y = 2

但是当我尝试使用 jupyter notebook 时它不起作用。

最明显的是我的 VS 代码没有连接内核，看截图：

我尝试按照 reddit 上的建议点击几个箭头（vs_code_jupyter_server_no_kernel_python_not）：

当我尝试在我的 jupyter notebook 中运行东西时，我收到以下错误：

Error: Activating Python 3.7.6 64-bit ('base': conda) to run Jupyter failed with Error: StdErr …

我正在尝试 wandb 库并运行，wandb.watch但这似乎不适用于我的代码。它不应该太复杂，所以我很困惑为什么它不起作用。

代码：

"""
https://docs.wandb.ai/guides/track/advanced/distributed-training

import wandb

# 1. Start a new run
wandb.init(project='playground', entity='brando')

# 2. Save model inputs and hyperparameters
config = wandb.config
config.learning_rate = 0.01

# 3. Log gradients and model parameters
wandb.watch(model)
for batch_idx, (data, target) in enumerate(train_loader):
    ...
    if batch_idx % args.log_interval == 0:
        # 4. Log metrics to visualize performance
        wandb.log({"loss": loss})


Notes:
    - call wandb.init and wandb.log only from the leader process
"""

from argparse import Namespace
from pathlib import …

我试图用 torchmeta 创建一个 pytorch 分布式数据laoder，但它因死锁而失败：

python ~/ultimate-utils/tutorials_for_myself/my_torchmeta/torchmeta_ddp.py

test_basic_ddp_example

ABOUT TO SPAWN WORKERS (via mp.spawn)
-> started ps with rank=0
-> rank=0
-> mp.current_process()=<SpawnProcess name='SpawnProcess-1' parent=54167 started>
-> os.getpid()=54171
device=device(type='cpu')
----> setting up rank=0 (with world_size=4)
---> MASTER_ADDR='127.0.0.1'
---> 57813
---> backend='gloo'
-> started ps with rank=2
-> rank=2
-> mp.current_process()=<SpawnProcess name='SpawnProcess-3' parent=54167 started>
-> os.getpid()=54173
device=device(type='cpu')
----> setting up rank=2 (with world_size=4)
---> MASTER_ADDR='127.0.0.1'
---> 57813
---> backend='gloo'
-> started ps with rank=1
-> rank=1
-> mp.current_process()=<SpawnProcess name='SpawnProcess-2' parent=54167 started> …

独立的可重现示例

我需要通过 python 跟踪任何命令的输出。但我只需要将以下 amd linux 命令转换为 mac m1/arm 命令（因此 python 可能不相关）：

strace -e trace=execve -v -s 100000000 -xx -ttt -ff -o output.txt sh -c \'echo hi\'\n

我怎么做？

这对我来说失败了：

 \xe2\x9d\xaf sudo dtruss -t execve -f sh -c \'echo hi\'\ndtrace: system integrity protection is on, some features will not be available\n\ndtrace: failed to execute sh: Operation not permitted\n

笔记：

\n
• 我可以完全控制输入，因此我可以在我的 mac 中执行 sudo 和相关命令（主要是为了调试我的代码，因此它可以在 pycharm 上运行）
\n

来自brew的strace失败

我似乎无法从brew …

我正在阅读关于go(golang)字符串的以下对话.go中的字符串只是指向(只读)数组和长度的指针.因此,当您将它们传递给函数时,指针将作为值而不是整个字符串传递.因此,我想到,如果这是真的,那么为什么你甚至被允许定义为带有*string作为参数的签名的函数？如果字符串已经加上,则数据是不可变/只读的,因此无论如何都无法更改它.如果已经在内部执行了指针,那么允许将指针传递给字符串有什么意义呢？

对我来说，我所做的就是检测不可选取的内容并将其放入字符串中（我想我也可以将其删除，但随后它会错误地告诉我该字段不存在，但我宁愿让它存在但成为字符串） ）。但我想知道是否有一种不那么老套、更正式的方式来做到这一点。

我当前使用的代码：

def make_args_pickable(args: Namespace) -> Namespace:
    """
    Returns a copy of the args namespace but with unpickable objects as strings.

    note: implementation not tested against deep copying.
    ref:
        - /sf/ask/4908983481/
    """
    pickable_args = argparse.Namespace()
    # - go through fields in args, if they are not pickable make it a string else leave as it
    # The vars() function returns the __dict__ attribute of the given object.
    for field in vars(args):
        field_val: Any = getattr(args, field)
        if not dill.pickles(field_val): …

我想要（正确且官方的无错误方式）执行以下操作：

\n
1. 从检查点恢复以继续在多个 GPU 上进行训练
\n
2. 在使用多个 GPU 进行训练期间正确保存检查点
\n

为此，我的猜测如下：

\n
1. 为了执行第 1 步，我们让所有进程从文件中加载检查点，然后调用DDP(mdl)每个进程。我假设检查点保存了一个ddp_mdl.module.state_dict().
\n
2. 要做2，只需检查谁的rank = 0并让其执行torch.save({\'model\': ddp_mdl.module.state_dict()})
\n

大概代码：

def save_ckpt(rank, ddp_model, path):\n    if rank == 0:\n        state = {\'model\': ddp_model.module.state_dict(),\n             \'optimizer\': optimizer.state_dict(),\n            }\n        torch.save(state, path)\n\ndef load_ckpt(path, distributed, map_location=map_location=torch.device(\'cpu\')):\n    # loads to\n    checkpoint = torch.load(path, map_location=map_location)\n    model = Net(...)\n    optimizer = ...\n    model.load_state_dict(checkpoint[\'model\'])\n    optimizer.load_state_dict(checkpoint[\'optimizer\'])\n    if distributed:\n        model = DDP(model, device_ids=[gpu], find_unused_parameters=True)\n    return model\n

它是否正确？

我问的原因之一是分布式代码可能会出现微妙的错误。我想确保这不会发生在我身上。当然，我想避免死锁，但如果它发生在我身上，那就很明显了（例如，如果所有进程以某种方式尝试同时打开同一个 …

检测模型是否收敛的标准方法是什么？我打算记录 5 次损失，每次损失有 95 个置信区间，如果他们都同意，那么我\xe2\x80\x99d 停止脚本。我假设收敛之前的训练必须已经在 PyTorch 或 PyTorch Lightning 中的某个地方实现。我不需要一个完美的解决方案，只需自动执行此操作的标准方法 - 即收敛时停止。

我的解决方案很容易实现。一旦创建了一个标准并将减少更改为none。然后它将输出一个大小为 的张量[B]。每次记录时都会记录下来，并且它是 95 置信区间（如果您愿意，也可以是 std，但这精度要低得多）。然后，每次添加新损失及其置信区间时，请确保其大小保持为 5（或 10），并且 5 个损失彼此之间的 CI 范围在 95 以内。那么如果这是真的就停下来。

您可以使用以下方法计算 CI：

def torch_compute_confidence_interval(data: Tensor,\n                                           confidence: float = 0.95\n                                           ) -> Tensor:\n    """\n    Computes the confidence interval for a given survey of a data set.\n    """\n    n = len(data)\n    mean: Tensor = data.mean()\n    # se: Tensor = scipy.stats.sem(data)  # compute standard error\n    # se, mean: Tensor = …