标签: rapids

阅读周围，我发现可以将预先计算的距离矩阵传递到SKLearn DBSCAN中。不幸的是，我不知道如何通过它进行计算。

假设我有一个包含 100 个元素的一维数组，其中只有节点的名称。然后我有一个 100x100 的 2D 矩阵，每个元素之间的距离（顺序相同）。

我知道我必须这样称呼它：

db = DBSCAN(eps=2, min_samples=5, metric="precomputed")

对于节点之间的距离为 2 且节点簇最少为 5 个的情况。另外，使用“预先计算”来指示使用二维矩阵。但是如何传递计算信息呢？

如果使用 RAPIDS CUML DBScan函数（GPU 加速） ，可能会出现同样的问题。

我正在尝试在 Windows 计算机上运行 Nvidia Rapids，但没有任何运气。我已经为 Windows 安装了 docker 桌面并下载了 Rapids 图像。已安装 Cuda 10.0，但未安装 Nvidia-container-toolkit。我一直无法让它运行。任何想法或指导？

我是 Rapids 的新手，很少有使用 conda 的好经验。所以我正在尝试使用容器化版本。我是 Docker 的新手，未知的组合让我无法理清头绪。

我有一个 Ubuntu 18.04 服务器，

# uname -v
#30~18.04.1-Ubuntu SMP Fri Jan 17 06:14:09 UTC 2020

我在上面安装了新版本的 Docker

# apt-get install docker docker-ce docker-ce-cli containerd.io
# docker --version
Docker version 19.03.8, build afacb8b7f0

本机安装了cuda v10.2

# nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Wed_Oct_23_19:24:38_PDT_2019
Cuda compilation tools, release 10.2, V10.2.89

和 Python v3.6.9

# python3 --version
Python 3.6.9

如NVIDIA Container Toolkit Quickstart部分所示，我将 nvidia-docker 列表安装到 …

我正在使用CUDF，它是 Nvidia 的Rapids ML 套件的一部分。

使用这个套件我将如何做点积？

df = cudf.DataFrame([('a', list(range(20))),
('b', list(reversed(range(20)))),
('c', list(range(20)))])

例如，我将如何使用相同的 cudf 对象在上述 Dataframe 上执行点积？

我想了解 dask 和 Rapids 之间的区别是什么，rapids 提供哪些 dask 没有的好处。

Rapids 内部是否使用 dask 代码？如果是这样，那么为什么我们有 dask，因为即使 dask 也可以与 GPU 交互。

我正在尝试将带有 cuDF 和 cuML 的 Rapids 库安装到 Colab 会话，并根据此示例执行代码：来自 在 Googe Colab 笔记本上安装 RAPIDS 库

!wget -nc https://raw.githubusercontent.com/rapidsai/notebooks-contrib/890b04ed8687da6e3a100c81f449ff6f7b559956/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

dist_package_index = sys.path.index("/usr/local/lib/python3.6/dist-packages")
sys.path = sys.path[:dist_package_index] + ["/usr/local/lib/python3.6/site-packages"] + sys.path[dist_package_index:]```
sys.path
if os.path.exists('update_pyarrow.py'): ## This file only exists if you're using RAPIDS version 0.11 or higher
  exec(open("update_pyarrow.py").read(), globals())

在安装过程中我收到此错误：

  - cudf=0.11

Current channels:

  - https://conda.anaconda.org/rapidsai-nightly/label/xgboost/linux-64
  - https://conda.anaconda.org/rapidsai-nightly/label/xgboost/noarch
  - https://conda.anaconda.org/rapidsai-nightly/linux-64
  - https://conda.anaconda.org/rapidsai-nightly/noarch
  - https://conda.anaconda.org/nvidia/linux-64
  - https://conda.anaconda.org/nvidia/noarch
  - https://conda.anaconda.org/conda-forge/linux-64
  - https://conda.anaconda.org/conda-forge/noarch
  - https://repo.anaconda.com/pkgs/main/linux-64
  - https://repo.anaconda.com/pkgs/main/noarch
  - https://repo.anaconda.com/pkgs/free/linux-64
  - https://repo.anaconda.com/pkgs/free/noarch …

描述错误

当我尝试时，import dask_cudf出现以下错误：

---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-11-afb970ad91bb> in <module>()
      8 from dask_cuda import LocalCUDACluster
      9 import dask_xgboost
---> 10 import dask_cudf
     11 import dask
     12 from xgboost.dask import DaskDMatrix

ModuleNotFoundError: No module named 'dask_cudf'

---------------------------------------------------------------------------
NOTE: If your import is failing due to a missing package, you can
manually install dependencies using either !pip or !apt.

To view examples of installing some common dependencies, click the
"Open Examples" button below.
---------------------------------------------------------------------------

我用 pip 安装了 …

我正在使用rapps.ai的python库，我开始想知道的关键事情之一是：如何以编程方式检查内存分配？我知道我可以用来nvidia-smi查看一些总体高水平统计数据，但具体来说我想知道：

1）有没有一种简单的方法可以找到 cudf 数据帧（和其他急流对象）的内存占用？

2）有没有办法让我确定设备可用内存？

我确信 C++ 程序员有很多方法可以获取这些详细信息，但我希望找到一个能让我继续使用 Python 的答案。

我想将 cuDF 数据帧转换为 cupy ndarray。我正在使用下面的代码：

import time
import numpy as np
import cupy as cp
import cudf
from numba import cuda
df = cudf.read_csv('titanic.csv')
arr_cupy = cp.fromDlpack(df.to_dlpack())

输出：

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-176-0d6ff9785189> in <module>
----> 1 arr_cupy = cp.fromDlpack(df.to_dlpack())

~/.conda/envs/rapids_013/lib/python3.7/site-packages/cudf/core/dataframe.py in to_dlpack(self)
   3821         import cudf.io.dlpack as dlpack
   3822 
-> 3823         return dlpack.to_dlpack(self)
   3824 
   3825     @ioutils.doc_to_csv()

~/.conda/envs/rapids_013/lib/python3.7/site-packages/cudf/io/dlpack.py in to_dlpack(cudf_obj)
     72         )
     73 
---> 74     return libdlpack.to_dlpack(gdf_cols)

cudf/_libxx/dlpack.pyx in cudf._libxx.dlpack.to_dlpack()

ValueError: Cannot create a DLPack tensor with null …

我的目标是探索具有 10,000 到 10M+ 记录的表格数据的 GPU 加速。我最熟悉 Pandas，所以 cuDF 似乎是一个不错的起点。

我发现了不同的结果：cuDF 是否会在我的系统上运行（Windows 7 Pro 64 位、i7-6820HQ、32GB RAM、NVidia Quadro M2000M 4GB）。还有一个板载显卡。

根据 gitHub 页面（https://github.com/rapidsai/cudf）：

CUDA/GPU 要求

• CUDA 10.0+（是的 - 我有 v10.1.120）
• NVIDIA 驱动程序 410.48+（是的 - 我有 432.06）
• Pascal 架构或更好（NO - Maxwell）

我听说 Pascal 架构是首选/最佳的，而不是要求，但也许这适用于旧版本的 cuDF？就在今天早上，我听说它将在 Win 64 上运行，但性能优势也可能会降低。尽管如此，我还是有兴趣试一试。

当我使用 CUDA 版本的推荐命令从 conda 提示符（python 3.6 env）安装时：

conda install -c Rapidsai -c nvidia -c numba -c conda-forge cudf=0.13 python=3.6 cudatoolkit=10.1

我得到：

收集包元数据 (repodata.json)：完成 求解环境：初始冻结求解失败。使用灵活的解决方法重试。

PackagesNotFoundError：当前频道不提供以下软件包：

• cudf=0.13

当前频道：

• https://conda.anaconda.org/rapidsai/win-64
• https://conda.anaconda.org/rapidsai/noarch
• https://conda.anaconda.org/nvidia/win-64
• https://conda.anaconda.org/nvidia/noarch …