我刚刚开始使用Twitter Streaming API并使用命令行,使用以下命令将原始JSON响应重定向到文件:
curl https://stream.twitter.com/1/statuses/sample.json -u USER:PASSWORD -o "somefile.txt"
是否可以完全保留在R中并利用RCurl来做同样的事情？我想解析返回的每个响应,而不是仅仅将输出保存到文件中.我过去曾解析过Twitter搜索结果,但我想在收到每个回复时这样做.实质上,将函数应用于每个JSON响应.
提前致谢.
编辑:这是我在R中尝试过的代码(不幸的是我在Windows上).我需要包含对.pem文件的引用以避免错误.但是,代码只是"运行",我似乎无法看到返回的内容.我试过打印,猫等.
download.file(url="http://curl.haxx.se/ca/cacert.pem", destfile="cacert.pem")
getURL("https://stream.twitter.com/1/statuses/sample.json",
userpwd="USER:PWD",
cainfo = "cacert.pem")
我有一个持续的过程来收集数据,我想写每小时收集的数据.简单地说,如何每小时有条件地将数据保存到.Rdata文件中.
对于上下文,我收集列表中的数据,希望将列表对象保存到每小时文件,删除列表,然后重建它.
我尝试了下面的代码,但它不起作用:
if (identical(format(Sys.time(), "%M:%S"), "00:00")) {
save(twt, file=fname_r)
}
任何帮助都感激不尽.
这是我的数据结构:
> str(highered.tweets)
'data.frame': 2950 obs. of 5 variables:
$ created_at : POSIXlt, format: "2012-02-13 20:41:36" "2012-02-13 20:37:00" ...
$ from_user : chr "feministtexican" "OzGrrl09" "LuanaClarke" "LostBookEnds" ...
$ from_user_id: chr "68253996" "63451221" "273757811" "118199557" ...
$ tweet_idstr : chr "169234804729069570" "169233649844236288" "169233398240526337" "169232836795187203" ...
$ text : chr
以下是我试图传递给plyr的函数:
NTWEETS <- function(x) nrow(x)
NUNIQUE <- function(x) length(unique(x$from_user_id))
这很好用:
ddply(highered.tweets[,c(1,3)], .(format(created_at, "%j%H" )), NTWEETS)
ddply(highered.tweets[,c(1,3)], .(format(created_at, "%j%H" )), NUNIQUE)
然而,这失败了:
ddply(highered.tweets[,c(1,3)], .(format(created_at, "%j%H" )), transform,
NTWEETS,
NUNIQUE)
Error in as.POSIXlt.POSIXct(x, …我正在生成错误:
> options(encoding='UTF-8'); require(knitr); knit('March-2013-Report.Rmd');
Loading required package: knitr
processing file: March-2013-Report.Rmd
|...................... | 33%
ordinary text without R code
|........................................... | 67%
label: unnamed-chunk-1
Quitting from lines 4-5 (March-2013-Report.Rmd)
Error in evaluate(code, envir = env, new_device = FALSE, stop_on_error = if (options$include) opts_knit$get("stop_on_error") else 2L) :
unused argument(s) (new_device = FALSE, stop_on_error = if (options$include) opts_knit$get("stop_on_error") else 2)
Calls: knit ... process_group.block -> call_block -> block_exec -> in_dir -> evaluate
Execution halted
knitr terminated with status 1
使用RSTudio编织.Rmd …
我和一位我非常喜欢的教授一起参加了一些研究生课程,而且她一直对SAS赞不绝口.我使用SPSS"长大"学习统计数据,并且最近决定将他们的统计引擎与R和Python集成,我发现很难集中学习其他任何东西的愿望.我在Python中并不是那么强大,但我可以完成大部分我想要完成的任务.
不可否认,我确实看到了SAS的优势,但我学会了结合SPSS和Python做一些很酷的事情,比如从网上抓取数据并实时分析.另外,我真的很喜欢在添加最终修改之前,我可以使用GUI为我的代码生成基础.在SAS中,看起来我必须手动编程(忽略企业指南).
我的问题是这个.您是否可以从Web获取数据并将其解析为SAS数据集？这对我来说是一个交易破坏者.如何与Google Analytics,Twitter等API进行交互？是否有可用于编写和执行SAS程序的外部IDE？
任何帮助将不胜感激.
獾
我正在尝试使用有趣/有趣的示例来学习MySQL和Python.我是两个新手,因为我是一个交易财务人员.我一路上学到了很多东西,但我不知道该去哪里.
我想要导入的数据文件包含在一个zip文件中,托管: 这里
我解压缩了目录,有超过1000个文件.在下面的代码中,我只是尝试单独引用其中一个文件以将其解析为MySQL.
我完全知道必须有一个更容易的方法,但我正在学习,我确信我的代码反映了它(你可以看到我键入了一些基本的打印,看看我的代码是正确的).
您将提供的任何帮助将非常感激.从本质上讲,当涉及到Python时,我认为这是一种业余爱好,也是一种获取我想要使用的网络上大量数据的方法.我粘贴了下面的代码,以便您可以看到我来自哪里.
PS对不起有关下面的代码,无法找出更好的发布方式.
下面的代码是我的创建表脚本
> DROP TABLE IF EXISTS `nba`.`event`;
CREATE TABLE `nba`.`event` (
`a1` varchar(45) DEFAULT NULL,
`a2` varchar(45) DEFAULT NULL,
`a3` varchar(45) DEFAULT NULL,
`a4` varchar(45) DEFAULT NULL,
`a5` varchar(45) DEFAULT NULL,
`h1` varchar(45) DEFAULT NULL,
`h2` varchar(45) DEFAULT NULL,
`h3` varchar(45) DEFAULT NULL,
`h4` varchar(45) DEFAULT NULL,
`h5` varchar(45) DEFAULT NULL,
`period` int(11) DEFAULT NULL,
`time` time DEFAULT NULL,
`team` varchar(3) DEFAULT NULL,
`etype` varchar(15) DEFAULT NULL,
`assist` varchar(45) DEFAULT NULL,
`away` …下面两个陈述之间有什么区别.他们正在呈现不同的结果,因为我试图从SPSS来到R,我有点困惑.
ds$share.all <- ds[132]/ ds[3]
mean(ds$share.all, na.rm=T)
和
ds$share.all2 <- ds$col1/ ds$Ncol2
mean(ds$share.all2, na.rm=T)
它们呈现相同的平均值,但在第一个上,输出打印为
col1
0.02669424
第二个只打印.02xxxxx.
任何帮助都感激不尽.
我是R的新手,所以如果这很简单直截了当,我道歉.我已成功将网页读入字符向量.我想将此字符串拆分为较小的段,以便我可以提取一些数据.到目前为止,这么容易.
问题是我是regex和R的新手,所以这对我来说非常困难.我只是想缩短字符串,使其包含之间的所有内容
<div class="appForm"
and
</div>
出于某种原因,我很难使用stringr包和？str_match.
任何帮助 - 更有效的解决方案 - 将非常感谢.网络抓取的新手,但决定留在R内.
我有下面的数据框:
temp <- as.data.frame(with(uadm, table(prlo_state_code)))
我期待创建11个虚拟变量.前10名和"其他"各1名.前10名很容易找到:
#top10
temp <- temp[order(temp$Freq, decreasing=T),]
head(temp, n=10)
我知道R很棒,所以我假设有一个很容易自动创建(和命名)来自前10名的虚拟变量并将其余部分折叠成一个名为"其他"的最终虚拟变量.
在此先感谢任何帮助或见解.
我经常从读取数据Oracle到R.为了解决TIMESTAMP我的一些表格中的格式,我TO_CHAR在我的SQL语句中将该列作为字符串读入.
但是,我想将字符串中保存的数据转换回R可以使用的日期+时间格式.不幸的是,我不知道如何做到这一点,特别是考虑到AM/PM组件.剥离日期很容易,但我不知道如何保留每条记录的时间部分.
以下是一些数据记录:
c("31-JUL-12 10.08.35.432 AM", "31-JUL-12 08.53.18.316 AM", "18-JUL-12 01.17.52.939 PM",
"13-AUG-12 05.34.11.405 PM", "15-AUG-12 02.04.31.505 PM", "21-AUG-12 09.10.03.976 AM"
)
需要注意的是:这些数据是时区EST.
任何帮助将不胜感激!
我遇到了这个服务,它会很好地格式化我的本地markdown文件.根据示例,使用样本curl命令很容易获得格式良好的响应.
我想要做的是利用一些可用的选项,即版本和"名称"参数.我将如何构建curl命令？以下是我在R中使用的代码示例.
此代码很好地工作,但缺少指定的选项:
doc.up <- "curl -X POST --data-urlencode content@test-markdown.md \ http://documentup.com/compiled > index.html"
system(doc.up)
我试图指定名称选项,但没有骰子:
doc.up <- "curl -X POST --data-urlencode name@mynamevar content@test-markdown.md \ http://documentup.com/compiled > index.html"
system(doc.up)
任何帮助将不胜感激!
编辑:根据下面的一些建议,我尝试了几种方法来使用Rcurl和HTTR.我在Rstudio中使用默认的Markdown模板,但为了完整起见,我将其保存为test-markdown.Rmd并将其编译为test-markdown.md.
使用RCurl,我试图:
## attempt 1
f <- paste(readLines('test-markdown.md'),collapse="\n" )
h <- dynCurlReader()
wp <- curlPerform(url="http://documentup.com/compiled",
postfields = c(content=f))
## attempt 2
postForm("http://documentup.com/compiled",
"content" = fileUpload('test-markdown.md'))
使用httr,我试过:
## attempt 3
tmp <- POST("http://documentup.com/compiled", body = list(content= upload_file(f)))
content(tmp)
## attempt 4
tmp <- POST("http://documentup.com/compiled", body …我期待重新编码大量的变量,并且我可以使用某种循环来实现这一点.抛出我的是如何以编程方式命名每个变量(我只想保留var名称并附加".rc".
这是一个例子.假设我有一组变量,var.1到var.5.我想在我的数据帧中创建一个新变量var.1.rc < - var.1/sum(var.1到var1.5).我会对下一个变量做同样的事情,依此类推.
我是R的新手,但这对我来说是一个巨大的进步.
可能吗.最好的办法吗？任何帮助都感激不尽!
问候,
獾