小编Bot*_*Man的帖子

从客户端将本地文件加载到dask分布式集群上

有点初学者的问题,但是我没有找到相关的答案。

基本上,我有关(7gb)的数据位于本地计算机上。我已经在本地网络上运行了分布式集群。如何将该文件添加到群集中?

普通的dd.read_csv()或read_parquet()失败,因为工作进程无法在自己的环境中找到文件。

我是否需要手动将文件传输到集群中的每个节点?

注意:由于管理员的限制,我仅限于SFTP ...

python python-3.x dask

5
推荐指数
1
解决办法
1638
查看次数

标签 统计

dask ×1

python ×1

python-3.x ×1