sqldf:按日期范围查询数据

Question

我正在阅读一个具有'%d/%m/%Y'日期格式的巨大文本文件.我想使用sqldf的read.csv.sql来按日期同时读取和过滤数据.这是为了节省内存使用和跳过许多日期,我不是有意的运行时间.我知道如何的帮助下做到这一点dplyr和lubridate,但我只是想尝试与sqldf通过前述的理由.尽管我对SQL语法非常熟悉,但它仍然在大部分时间里都是我,但也不例外sqldf.

像下面这样的运行命令返回了一个带有0行的data.frame:

first_date <- "2001-11-1"
second_date <- "2003-11-1"
query <- "select * from file WHERE strftime('%d/%m/%Y', Date, 'unixepoch', 'localtime') between
                    '$first_date' AND '$second_date'"
df <- read.csv.sql(data_file,
                       sql= query,
                       stringsAsFactors=FALSE,
                       sep = ";", header = TRUE)

所以对于模拟,我尝试使用sqldf如下函数:

first_date <- "2001-11-1"
second_date <- "2003-11-1"
df2 <- data.frame( Date = paste(rep(1:3, each = 4), 11:12, 2001:2012, sep = "/"))
sqldf("SELECT * FROM df2 WHERE strftime('%d/%m/%Y', Date, 'unixepoch') BETWEEN '$first-date' AND '$second_date' ") 

# Expect:
# Date
# 1  1-11-2001
# 2  1-12-2002
# 3  1-11-2003

Answer 1

strftime使用百分比代码的strftime用于将已经被sqlite视为日期时间的对象转换为其他内容,但是您希望反向,因此问题中的方法不起作用.例如,这里我们将当前时间转换为dd-mm-yyyy字符串:

library(sqldf)
sqldf("select strftime('%d-%m-%Y', 'now') now")
##          now
## 1 07-09-2014

讨论由于SQlite缺少日期类型,因此处理此问题有点麻烦,特别是对于1或2位非标准日期格式,但如果您真的想使用SQLite,我们可以通过繁琐地解析日期字符串来实现.使用fn$gsubfn包进行字符串插值可以减轻这一点.

代码下面zero2d输出SQL代码,如果它的一位数,则在其输入前加一个零字符. rmSlash输出SQL代码以删除其参数中的任何斜杠. Year,Month以及Day每个输出SQL代码,以表示正在讨论的格式的日期的字符串,并提取指示的组件,在Month和的情况下将其重新格式化为2位零填充字符串Day. fmtDate取入的问题示出了用于形式的字符串first_string和second_string,并输出一个yyyy-mm-dd字符串.

library(sqldf)
library(gsubfn)

zero2d <- function(x) sprintf("substr('0' || %s, -2)", x)

rmSlash <- function(x) sprintf("replace(%s, '/', '')", x)

Year <- function(x) sprintf("substr(%s, -4)", x)

Month <- function(x) {
   y <- sprintf("substr(%s, instr(%s, '/') + 1, 2)", x, x)
   zero2d(rmSlash(y))
}

Day <- function(x) {
   y <- sprintf("substr(%s, 1, 2)", x)
   zero2d(rmSlash(y))
}

fmtDate <- function(x) format(as.Date(x))

sql <- "select * from df2 where 
  `Year('Date')` || '-' || 
  `Month('Date')` || '-' || 
  `Day('Date')`
  between '`fmtDate(first_date)`' and '`fmtDate(second_date)`'"
fn$sqldf(sql)

赠送:

       Date
1 1/11/2001
2 1/12/2002
3 1/11/2003

笔记

1)使用SQLite函数 instr,replace并且substr是核心sqlite函数

2)SQLfn$执行替换后执行的实际SQL语句如下(稍微重新格式化以适合):

> cat( fn$identity(sql), "\n")
select * from df2 where 
  substr(Date, -4) 
  || '-' || 
  substr('0' || replace(substr(Date, instr(Date, '/') + 1, 2), '/', ''), -2) 
  || '-' || 
  substr('0' || replace(substr(Date, 1, 2), '/', ''), -2)
  between '2001-11-01' and '2003-11-01' 

3)并发症的来源主要并发症是非标准的1或2位数日和月.如果他们一直是2位数,它会减少到这个:

first_date <- "2001-11-01"
second_date <- ""2003-11-01"

fn$sqldf("select Date from df2 
   where substr(Date, -4) || '-' || 
         substr(Date, 4, 2) || '-' ||
         substr(Date, 1, 2)
   between '`first_date`' and '`second_date`' ")

4)H2 这是H2溶液.H2确实有一个日期时间类型,大大超过了SQLite,简化了解决方案.我们假设数据在一个名为的文件中mydata.dat.请注意,read.csv.sql不支持H2,因为H2已经具有内部csvreadSQL函数来执行此操作:

library(RH2)
library(sqldf)

first_date <- "2001-11-01"
second_date <- "2003-11-01"

fn$sqldf(c("CREATE TABLE t(DATE TIMESTAMP) AS
  SELECT parsedatetime(DATE, 'd/M/y') as DATE
  FROM CSVREAD('mydata.dat')", 
  "SELECT DATE FROM t WHERE DATE between '`first_date`' and '`second_date`'"))

请注意,第一个RH2查询在会话中会很慢,因为它会加载java.之后,您可以尝试一下,看看性能是否足够.