标签: datashape

pydata BLAZE 项目走向何方?

我发现 blaze 生态系统*很棒,因为它涵盖了大多数数据工程用例。在 2015-2016 年期间,这些项目肯定引起了很多兴趣,但最近却被忽视了。我说这是查看 github 存储库上的提交。

所以我对社区的问题是

- 2016 年发生了什么导致失去兴趣的事情?

- 是否有其他基于 Python 的库取代了 blaze?

火焰生态系统:

  • Blaze:查询不同存储系统数据的接口
  • Dask:通过任务调度和阻塞算法进行并行计算
  • Datashape:一种数据描述语言
  • DyND:用于动态多维数组的 C++ 库
  • Odo:不同存储系统间的数据迁移

参考资料:http : //blaze.pydata.org/

blaze datashape dask odo

7
推荐指数
1
解决办法
553
查看次数

python odo sql AssertionError:datashape必须是Record类型,得到0*{...}

我正在尝试使用odo将CSV导入MySQL,但是我收到了数据形状错误.

我的理解是datashape采用以下格式:

var * {
    column: type
    ... 
}
Run Code Online (Sandbox Code Playgroud)

其中var表示可变数量的行.我收到以下错误:

AssertionError: datashape must be Record type, got 0 * {
  tod: ?string,
  interval: ?string,
  iops: float64,
  mb_per_sec: float64
}
Run Code Online (Sandbox Code Playgroud)

我不确定0行的来源.我已尝试使用明确设置数据形状dshape(),但继续得到相同的错误.

这是重新创建错误的代码的精简版本:

from odo import odo

odo('test.csv', mysql_database_uri)
Run Code Online (Sandbox Code Playgroud)

我使用Conda运行Ubuntu 16.04和Python 3.6.1.

感谢您的任何意见.

python mysql datashape odo

5
推荐指数
1
解决办法
618
查看次数

标签 统计

datashape ×2

odo ×2

blaze ×1

dask ×1

mysql ×1

python ×1