小编Joh*_*aul的帖子

Django/Python中的实时数据处理

我们正在开展一个涉及实时数据处理的项目.我们计划使用Django/Python.实际过程是:

  1. 成千上万的设备每秒采样4个样本(0,0.25,0.5,0.75)并不断发送回我们的Django服务器,基本上它们是带有时间戳和值的时间序列
  2. 我们需要根据时间戳(需要毫秒精度)对齐来自所有设备的样本,并对所有时间序列进行简单平均
  3. 所有这些都需要实时完成(最长1秒延迟)并使用另一个线程发送出去

我们正在研究RRDTool和scikits.timeseries,但它们没有毫秒的精度,所以它们无法对齐我们的时间序列.

只是想知道我们可以使用Django/Python进行这种类型的实时数据处理的工具/数据结构.线程安全很重要,因为发送结果将在另一个线程中完成.

提前致谢.

django real-time time-series

3
推荐指数
1
解决办法
3985
查看次数

使用带有Elastic Beanstalk的log4j旋转S3日志记录

我正在尝试将每个日志文件传输到s3.有一个自动脚本可以拾取tail_catina.log并覆盖那里的任何内容.

我想每个日志文件:tail_catalina.log1,tail_catalina.log2,tail_catalina.log3等保存到我的S3.

我想要一切!!

logging log4j amazon-ec2 amazon-elastic-beanstalk

3
推荐指数
1
解决办法
6379
查看次数

按日期和时间选择时间序列对象的间隔

我的问题是如何管理空气质量数据库中的日期和时间,该数据库从2002年到2008年每天每隔十分钟保存一次数据.

我想生成几个分析和图表,但仅参考从早上6点到早上8点的早上高峰时段,我试图在所需的时间间隔内生成图表,但R工具总是在24小时内绘制图表.因此,歪曲了高峰时段的可用数据.

我非常感谢您就如何在高峰时段选择和绘制间隔以及如何生成多个图表的指导.

我有下一个脚本来生成日期间隔,但我想要小时间隔(6-8 am)并仅绘制间隔数据:

# select interval
start.date = as.POSIXct("2007-03-27 05:00", tz = "GMT")
end.date = as.POSIXct("2007-05-27 05:00", tz = "GMT")
subdata = subset(mydata, date >= start.date & date <= end.date,
select = c(date, nox, co))
#
#plot the variables
Run Code Online (Sandbox Code Playgroud)

r date time-series hour

3
推荐指数
1
解决办法
8126
查看次数

Galaxy S4 SupportActionBar覆盖ActionMode中的整个屏幕

三星Galaxy S4在我的应用程序上进入ACtionMode时显示了一种非常奇怪的行为,该应用程序正在使用Support-v7中的SupportActionBar.

在此输入图像描述

有谁知道如何解决这个问题?

我想问题来自三星定制Android-Rom.

android galaxy samsung-mobile android-actionbar android-support-library

3
推荐指数
1
解决办法
357
查看次数

如何将输入文件读入闪亮的?

我的闪亮应用程序基于单个.csv文件的数据.所以我需要在启动时输入数据.这样,如果有人在他们的系统上打开应用程序,结果将由应用程序正确显示.我怎样才能做到这一点?

r shiny

3
推荐指数
1
解决办法
3124
查看次数

根据两个变量匹配数据帧行(索引)

我本质上是试图将无序数据变成长形式的线性建模.

我有2个data.frames"rec"和"book"

"book"中的每一行都需要根据行中的两个变量粘贴到几行"rec"的末尾:"MRN"和"COURSE"匹配.

我尝试了以下和其中的变化无济于事:

i=1
newlist=list()
colnames(newlist)=colnames(book)
for ( i in 1:dim(rec)[1]) {
    mrn=as.numeric(as.vector(rec$MRN[i]));
    course=as.character(rec$COURSE[i]);
get.vector<-as.vector(((as.numeric(as.vector(book$MRN))==mrn) & (as.character(book$COURSE)==course)))
newlist[i]<-book[get.vector,] 
i=i+1;
}
Run Code Online (Sandbox Code Playgroud)

如果有人有任何建议

1)让它工作2)使它更优雅(或者可能只是不那么笨拙)

如果我不清楚,请求你的赦免.

我知道我没有合并上面的任何数据,我想如果我能生成一个长格式的data.frame我可以自己组合它们

merge join r dataframe

2
推荐指数
1
解决办法
9580
查看次数

保存格子图

我正在尝试打开设备,但收到以下错误:

> trellis.device(device="pdf", filename="runtime.pdf")
Error in device.call(...) : unused argument (filename = "runtime.pdf")
Run Code Online (Sandbox Code Playgroud)

当我尝试打开设备时,会发生同样的错误

PDF(文件名= "C:/R/FSM/runtime.pdf")

我需要加载到库中吗?

r lattice

2
推荐指数
1
解决办法
1189
查看次数

使用numpy或pandas的时间序列

我是Python相关环境的初学者,我在使用时间序列数据方面遇到了问题.

以下是我的OHLC 1分钟数据.

2011-11-01,9:00:00,248.50,248.95,248.20,248.70
2011-11-01,9:01:00,248.70,249.00,248.65,248.85
2011-11-01,9:02:00,248.90,249.25,248.70,249.15
...
2011-11-01,15:03:00,250.25,250.30,250.05,250.15
2011-11-01,15:04:00,250.15,250.60,250.10,250.60
2011-11-01,15:15:00,250.55,250.55,250.55,250.55
2011-11-02,9:00:00,245.55,246.25,245.40,245.80
2011-11-02,9:01:00,245.85,246.40,245.75,246.35
2011-11-02,9:02:00,246.30,246.45,245.75,245.80
2011-11-02,9:03:00,245.75,245.85,245.30,245.35
...
Run Code Online (Sandbox Code Playgroud)
  1. 我想提取每行的最后一个"关闭"数据并转换数据格式,如下所示:

    2011-11-01, 248.70, 248.85, 249.15, ... 250.15, 250.60, 250.55
    2011-11-02, 245.80, 246.35, 245.80, ...
    ...
    
    Run Code Online (Sandbox Code Playgroud)
  2. 我想计算每个EACH DAY的最高关闭值和时间(分钟),如下所示:

    2011-11-01, 10:23:03, 250.55
    2011-11-02, 11:02:36, 251.00
    ....
    
    Run Code Online (Sandbox Code Playgroud)

任何帮助将非常感激.

先感谢您,

python numpy time-series pandas

2
推荐指数
1
解决办法
4908
查看次数

消失的按钮 - 点击后

我想要一个按钮(比如 A),sidebarPanel这样在使用它之后另一个按钮(比如 B)将被激活(通过renderUI),但按钮 A 将消失。我怎样才能做到这一点

这是我天真的解决方案。我不知道如何避免将按钮状态指向自身:

library(shiny)
runApp(list(

   ui = fluidPage(
      uiOutput("answer"),
      uiOutput("part2")
      ),

   server = function(input, output) {

      output$answer <- renderUI({
         if(input$continue == 0){
            checkboxGroupInput(inputId = "firstQ", label = "First question", choices = c("Ans. A" = "a", "Ans. B" = "b"))
            actionButton("continue", "Continue")}
      })

      output$part2 <- renderUI({
         if(input$kontynuuj > 0)
            actionButton("newButton", "New button")
      })

   }
))
Run Code Online (Sandbox Code Playgroud)

r shiny

2
推荐指数
1
解决办法
1095
查看次数

你能在dplyr链中使用两次data.frame吗?dplyr说"错误:无法处理"

我试图在dplyr链中使用两次data.frame .这是一个给出错误的简单示例

df <- data.frame(Value=1:10,Type=rep(c("A","B"),5))

df %>% 
  group_by(Type) %>% 
  summarize(X=n())  %>% 
  mutate(df %>%filter(Value>2) %>%  
  group_by(Type) %>%  
  summarize(Y=sum(Value)))

Error: cannot handle
Run Code Online (Sandbox Code Playgroud)

因此,我们的想法是首先data.frame创建两个列Value,这两个列只是一些数据,Type它指示值来自哪个组.

然后我尝试使用汇总来获取每个组中的对象数,然后在数据被过滤后再次使用该对象来获取值的总和.但是我得到了Error: cannot handle.有什么想法在这里发生了什么?

期望的输出:

Type X Y
  A  5 24
  B  5 28
Run Code Online (Sandbox Code Playgroud)

r dplyr

2
推荐指数
1
解决办法
587
查看次数