有点初学者的问题,但是我没有找到相关的答案。
基本上,我有关(7gb)的数据位于本地计算机上。我已经在本地网络上运行了分布式集群。如何将该文件添加到群集中?
普通的dd.read_csv()或read_parquet()失败,因为工作进程无法在自己的环境中找到文件。
我是否需要手动将文件传输到集群中的每个节点?
注意:由于管理员的限制,我仅限于SFTP ...
python python-3.x dask
dask ×1
python ×1
python-3.x ×1