如何使用sqlite后端为python blaze提供用户定义的函数？

Question

我连接到Blaze中的sqlite数据库使用 df = bz.Data("sqlite:///<mydatabase>) 一切正常,但我不知道如何在与df的交互中提供用户定义的函数.我在df中有一个名为IP的列,它是包含IP地址的文本.我还有一个函数toSubnet(x,y),它接收文本格式的IP地址(x)并返回其/ y子网.例如:

out = toSubnet('1.1.1.1',24)
out
1.1.1.0/24

现在,如果我想将所有IP映射到它们的/ 14子网,我使用:

df.IP.map(lambda x:toSubnet(x,14),'string')

当后端是CSV时,这适用.但是我得到了sqlite后端NotImplementedError.这有什么不对？

Answer 1

注意:这并没有告诉你如何完全按照自己的意愿行事,但是它解释了为什么它不能正常工作,以及下一步可以使用SQLite.

您遇到的问题是,针对任意SQL数据库高效执行任意Python代码非常困难.

Blaze使用SQLAlchemy获取用户代码并尽可能地将其转换为SQL,我认为没有办法实现此目的.

由于几乎每个数据库都有不同的处理用户定义函数(UDF)的方法,因此构建允许以下内容的API需要做很多工作:

1. 用户在Python中定义函数
2. 将纯Python函数转换为数据库的UDF本机.

也就是说,SQLite的Python接口有一种方法来注册可以在SQL语句中执行的Python函数:

https://docs.python.org/2/library/sqlite3.html#sqlite3.Connection.create_function

目前没有办法使用SQL后端使用Blaze表达UDF,尽管这可以实现为允许用户通过底层数据库的db API注册函数的新表达式类型.