小编ala*_*lan的帖子

我正在使用Heroku和Crane Postgres选项,当我的本地计算机崩溃时,我正从本地计算机上运行数据库查询.如果我跑

select * from pg_stat_activity

其中一个条目有

<IDLE> in transaction

在current_query_text列中.

因此,我无法删除被终止的查询写入的表.我尝试过使用pg_cancel_backend(N)并返回True,但似乎没有任何事情发生.

我怎样才能终止这个过程,以便我可以放弃这个桌子？

我正在努力让Celery登录工作Django.我有登录设置settings.py进入控制台(这是我正在托管的工作正常Heroku).在每个模块的顶部,我有:

import logging
logger = logging.getLogger(__name__)

在我的tasks.py中,我有:

from celery.utils.log import get_task_logger
logger = get_task_logger(__name__)

这适用于从任务记录调用,我得到如下输出:

2012-11-13T18:05:38+00:00 app[worker.1]: [2012-11-13 18:05:38,527: INFO/PoolWorker-2] Syc feed is starting

但是如果该任务然后调用另一个模块中的queryset方法,例如方法,我会得到重复的日志条目,例如

2012-11-13T18:00:51+00:00 app[worker.1]: [INFO] utils.generic_importers.ftp_processor process(): File xxx.csv already imported. Not downloaded
2012-11-13T18:00:51+00:00 app[worker.1]: [2012-11-13 18:00:51,736: INFO/PoolWorker-6] File xxx.csv already imported. Not downloaded

我想我可以用

CELERY_HIJACK_ROOT_LOGGER = False

只是使用Django日志记录但是当我尝试它时这不起作用,即使我确实让它工作,我也会失去"PoolWorker-6"我想要的那一点.(顺便说一句,我无法弄清楚如何在Celery的日志条目中显示任务名称,因为文档似乎表明它应该).

我怀疑我在这里缺少一些简单的东西.

使用data.table包实现滑动窗口函数的最佳(最快)方法是什么？

我正在尝试计算滚动中位数但每个日期有多行(由于2个额外的因素),我认为这意味着动物园rollapply函数不起作用.以下是使用naive for循环的示例:

library(data.table)
df <- data.frame(
  id=30000,
  date=rep(as.IDate(as.IDate("2012-01-01")+0:29, origin="1970-01-01"), each=1000),
  factor1=rep(1:5, each=200),
  factor2=1:5,
  value=rnorm(30, 100, 10)
)

dt = data.table(df)
setkeyv(dt, c("date", "factor1", "factor2"))

get_window <- function(date, factor1, factor2) {
  criteria <- data.table(
    date=as.IDate((date - 7):(date - 1), origin="1970-01-01"),
    factor1=as.integer(factor1),
    factor2=as.integer(factor2)
  )
  return(dt[criteria][, value])
}

output <- data.table(unique(dt[, list(date, factor1, factor2)]))[, window_median:=as.numeric(NA)]

for(i in nrow(output):1) {
  print(i)
  output[i, window_median:=median(get_window(date, factor1, factor2))]
}

有没有一种过滤预取对象的方法？我需要获取最新的()预取对象,但如果你使用最新的prefetch_related不起作用,因为查询被更改？

这里的例子做了我需要的,但我希望有一个更简单的解决方法......

https://github.com/ionelmc/django-prefetch#example

我和我的网络应用程序的所有用户都在英国,目前在欧盟 - 西部地区.美国东部地区相对便宜得多,而且我正在使用另一家公司的服务,这些服务将他们的服务器放在美国东部地区(这意味着如果我在欧盟保留东西,我将在地区之间有数据传输费用) .我有可能在两者之间看到很大的速度差异？

(我可以自己做一个测试,但我希望其他人已经做过:))

我很欣赏任何人都有的见解.提前致谢

在Postgresql中,hstore和json数据类型似乎具有非常相似的用例.你什么时候选择使用一个与另一个？初步想法:

• 你可以用json嵌套; 你不能用hstore
• 解析json的函数在9.3之前不可用

我对Talend提供的不同产品感到困惑.

看来,Talend Open Studio for Data Integration和Talend Open Studio for Big Data是相同的产品,但只是默认安装不同的组件.是对的吗？如果我使用Talend Open Studio进行数据集成并从Talend Exchange下载我需要的组件(例如Google BigQuery),它是否真的是同一产品？

我正在尝试使用LAG函数计算BigQuery中的28天移动总和.

这个问题的最佳答案

用于滑动窗口聚合的Bigquery SQL

来自Felipe Hoffa表示您可以使用LAG功能.一个例子是:

SELECT
    spend + spend_lagged_1day + spend_lagged_2day + spend_lagged_3day + ... +  spend_lagged_27day as spend_28_day_sum,
    user,
    date
FROM (
  SELECT spend,
         LAG(spend, 1) OVER (PARTITION BY user ORDER BY date) spend_lagged_1day,
         LAG(spend, 2) OVER (PARTITION BY user ORDER BY date) spend_lagged_2day,
         LAG(spend, 3) OVER (PARTITION BY user ORDER BY date) spend_lagged_3day,
         ...
         LAG(spend, 28) OVER (PARTITION BY user ORDER BY date) spend_lagged_day,
         user,
         date
  FROM user_spend
)

有没有办法做到这一点,而不必写出28行SQL!

我有大量的图像(数十万),对于每一个,我需要说明它的右上角是否有水印.水印总是相同的并且处于相同的位置.它采用带有符号和一些文本的功能区的形式.我正在寻找简单快速的方法来做到这一点,理想情况下,不使用SciPy(因为它在我正在使用的服务器上不可用 - 但它可以使用NumPy)

到目前为止,我已经尝试使用PIL和裁剪功能来隔离图像中应该有水印的区域,然后将直方图与RMS函数进行比较(请参阅http://snipplr.com/view/757/compare-两个pil-images-in-python /).由于两个方向都存在很多错误,因此效果不佳.

任何想法将不胜感激.谢谢

Python模糊Wuzzy库包括以下正则表达式:

regex = re.compile(r"(?ui)\W")
return regex.sub(u" ", a_string)

(https://github.com/seatgeek/fuzzywuzzy/blob/master/fuzzywuzzy/string_processing.py#L17)

这将用空格替换a_string中的任何非字母数字.

(？ui)位做了什么？没有它似乎工作正常.

谢谢