标签: multi-level

Scrapy CrawlSpider:如何跨不同级别的解析访问项目

我正在抓取一个网站(只有两个级别),我想从两个级别的网站上抓取信息.我遇到的问题是,我想用两个级别的信息填写一个项目的字段.我该怎么做呢?

我想有一个项目列表作为一个实例变量,所有线程都可以访问它(因为它是蜘蛛的同一个实例),而parse_1将填写一些字段,而parse_2必须在填充之前检查正确的密钥输出相应的值.这种方法看起来很麻烦,我仍然不确定如何使它工作.

我在想的是必须有更好的方法,也许以某种方式将项目传递给回调.我不知道如何用Request()方法做到这一点.想法?

python web-crawler scrapy web-scraping multi-level

6
推荐指数
1
解决办法
2041
查看次数

R中的标准差之间/之内

在处理分层/多级/面板数据集时,采用一个返回可用变量的组内和组间标准差的包可能非常有用。

Stata通过以下命令可以轻松完成以下数据操作

xtsum, i(momid)
Run Code Online (Sandbox Code Playgroud)

我进行了研究,但找不到任何R可以做到这一点的软件包。

编辑:

为了解决问题,分层数据集的示例可能是这样的:

son_id       mom_id      hispanic     mom_smoke     son_birthweigth

  1            1            1            1              3950
  2            1            1            0              3890
  3            1            1            0              3990
  1            2            0            1              4200
  2            2            0            1              4120
  1            3            0            0              2975
  2            3            0            1              2980
Run Code Online (Sandbox Code Playgroud)

每个母亲(较高级别)有两个或更多儿子(较低级别)的事实给出了“多级”结构。因此,每个母亲都定义了一组观察结果。

因此,每个数据集变量可以在母亲之间和母亲之间或仅在母亲之间变化。birtweigth母亲之间会有所不同,但同一位母亲之间也会有所不同。而是hispanic固定为同一个母亲。

例如,母体内部方差son_birthweigth为:

# mom1 means
    bwt_mean1 <- (3950+3890+3990)/3
    bwt_mean2 <- (4200+4120)/2
    bwt_mean3 <- (2975+2980)/2

# Within-mother variance for birthweigth
    ((3950-bwt_mean1)^2 + (3890-bwt_mean1)^2 + …
Run Code Online (Sandbox Code Playgroud)

r hierarchical-data multi-level stata

6
推荐指数
1
解决办法
2220
查看次数

R中多重估算数据集的多级回归模型(Amelia,zelig,lme4)

我试图在多重估算数据上运行一个多级模型(用Amelia创建); 样本基于群集样本,群组= 24,N = 150.

library("ZeligMultilevel")
ML.model.0 <- zelig(dv~1 + tag(1|group), model="ls.mixed",
data=a.out$imputations)
summary(ML.model.0)
Run Code Online (Sandbox Code Playgroud)

此代码生成以下错误代码:

Error in object[[1]]$result$call : 
$ operator not defined for this S4 class
Run Code Online (Sandbox Code Playgroud)

如果我运行OLS回归,它可以工作:

model.0 <- zelig(dv~1, model="ls", data=a.out$imputations)
m.0 <- coef(summary(model.0)) 
print(m.0, digits = 2)

      Value Std. Error t-stat  p-value
[1,]    45       0.34    130 2.6e-285
Run Code Online (Sandbox Code Playgroud)

我很高兴提供一个有效的例子.

require(Zelig)
require(Amelia)
require(ZeligMultilevel)

data(freetrade)
length(freetrade$country) #grouping variable

#Imputation of missing data

a.out <- amelia(freetrade, m=5, ts="year", cs="country")

# Models: (1) OLS; (2) multi-level 

model.0 <- zelig(polity~1, model="ls", …
Run Code Online (Sandbox Code Playgroud)

regression r missing-data multi-level r-zelig

6
推荐指数
1
解决办法
2597
查看次数

具有分类/因子变量的多级多重插补 (MICE)?

我有一个数据集,我尝试在包中使用多重插补micemiceaddsmicemd在多级设置中使用分类/因子变量。我可以将该方法2l.2stage.pois用于连续变量,效果非常好。分类变量的插补也适用于polyreg,但这并没有利用多级数据。

这是说明我的问题的可复制代码。

dat <- data.frame(x=rep(c("A", "B"), 50),
                  y=rep(c(10:14), 20),
                  r=rep(c(1:50), 2),
                  z=rep(c(1:4), 25))

dat[40:44, c("x")] <- NA
dat[60:64, c("y")] <- NA
dat[80:84, c("r")] <- NA

predm <- mice::make.predictorMatrix(data=dat)

predm[, c("z")] <- -2
predm[, c("r")] <- 3
predm[row(predm) == col(predm)] <- 0
meth <- c("x"="polyreg", "y"="2l.2stage.pois", "r"="", "z"="")

imputed = mice(dat, method=meth, predictorMatrix=predm, m=1, maxit=1)
imp <- complete(imputed)

table(imp$x, dat$x, useNA = "always")
table(imp$y, dat$y, useNA = "always")
Run Code Online (Sandbox Code Playgroud)

本质上,我试图polyreg用可能应该以 …

r factors multi-level r-mice imputation

6
推荐指数
1
解决办法
977
查看次数

评估线性混合模型中的似然函数(lme4)

我目前正在编写一个脚本来评估用于线性混合模型的(受限制的)对数似然函数.我需要它来计算模型的可能性,其中一些参数固定为任意值.也许这个脚本对你们中的一些人也有帮助!

我用lmer()lme4logLik()来检查我的脚本是否正常工作,因为它应该.而且看起来,它没有!由于我的教育背景并不真正关注这一级别的统计数据,我有点迷失了.

接下来,您将找到一个使用sleepstudy-data的简短示例脚本:

  # * * * * * * * * * * * * * * * * * * * * * * * * 
  # * example data

  library(lme4)
  data(sleepstudy)
  dat <- sleepstudy[ (sleepstudy$Days %in% 0:4) & (sleepstudy$Subject %in% 331:333) ,]
  colnames(dat) <- c("y", "x", "group")

  mod0 <- lmer( y ~ 1 + x + ( 1 | group ), data = dat)  


  # + + + + + + …
Run Code Online (Sandbox Code Playgroud)

statistics r lme4 multi-level mixed-models

5
推荐指数
1
解决办法
1206
查看次数

Javascript中的多级继承

我试图使用原型在Javascript中模拟继承.

我有一个名为Model的函数和一个model => Item的类型.

var Model = function() { 
   this.names = ["name1", "name2"]; 
} 
Model.prototype.Item = function(args) { 
   this.init = function(item_name) { 
      this.names[0] = item_name; // ERROR: Cannot set property '0' of undefined
   } 
}
var m = new Model();
var i = new m.Item();
i.init("New Name"); // ERROR: Cannot set property '0' of undefined
Run Code Online (Sandbox Code Playgroud)

如何namesinit()上面的函数访问数组?

javascript inheritance multi-level

5
推荐指数
1
解决办法
4424
查看次数

在 Java 中使用多级 HashMap 的最佳实践

我们有一种情况,我们最终会使用多级哈希映射;也就是说,哈希映射内部的哈希映射,深度为三或四级。

本能地,这感觉哪里不对劲。我在这里读过讨论如何迭代/使用多级哈希映射的帖子,但几乎没有人说这方面的最佳实践是什么。

为什么多级哈希映射不好,如果有的话,什么是更好的设计?

这是我们拥有的多级哈希映射的示例设计:

Map<String, Object1> map1;

class Object1 {
    String version;
    Map<String,Object2> map2;
}

class Object2 {
    Map<String,List<Object3>> map4;
    Map<String,String> map5;
}
Run Code Online (Sandbox Code Playgroud)

java hashmap multi-level

5
推荐指数
1
解决办法
1万
查看次数

RStan:指定三级随机斜率模型?

我一直在研究一个三级 RStan 模型,其中重复的宽带测量(年份 ID = yrid)嵌套在地方当局(LA ID = 铺设)内,最终嵌套在区域内(区域 ID = rnid)。(记录的)因变量是速度,(记录的)预测变量是人口密度 (pd) 和超高速宽带渗透率 (sfbb)。目前在地方当局和区域级别(2 级和 3 级)有随机拦截。

如何扩展模型以在 1 级或 2 级具有随机斜率?

这是数据的子集、RStan 模型和整个 R 代码。任何帮助将非常感激。

 library(rstan)
 ###Data
  yrid = c(1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,
     21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,
     41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,
     61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,
     81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99,100,
     101,102,103,104,105,106,107,108,109,110,111,112,113,114,115,116,117,118,119,120,
     121,122,123,124,125,126,127,128,129,130,131,132,133,134,135,136,137,138,139,140,
     141,142,143,144,145,146,147,148,149,150,151,152,153,154,155,156,157,158,159,160,
     161,162,163,164,165,166,167,168,169,170,171,172,173,174,175,176,177,178,179,180,
     181,182,183,184,185,186,187,188,189,190,191,192,193,194,195,196,197,198,199)
  laid <- c(1,1,1,1,2,2,2,2,3,3,3,3,4,4,4,4,5,5,5,5,
     6,6,6,6,7,7,7,7,8,8,8,8,9,9,9,9,10,10,10,10,
     11,11,11,11,12,12,12,12,13,13,13,13,14,14,14,14,15,15,15,15,
     16,16,16,16,17,17,17,17,18,18,18,18,19,19,19,19,20,20,20,20,
     21,21,21,21,22,22,22,22,23,23,23,23,24,24,24,24,25,25,25,25,
     26,26,26,26,27,27,27,27,28,28,28,28,29,29,29,29,30,30,30,30,
     31,31,31,31,32,32,32,32,33,33,33,33,34,34,34,34,35,35,35,35,
     36,36,36,36,37,37,37,37,38,38,38,38,39,39,39,39,40,40,40,40,
     41,41,41,41,42,42,42,42,43,43,43,43,44,44,44,44,45,45,45,45,
     46,46,46,46,47,47,47,47,48,48,48,48,49,49,49,49,50,50,50)
 rnid <- c(1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
     1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
     1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
     2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,3,3,3,3,
     3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,4,4,4,4,
     4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,
     4,4,4,4,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,
     5,5,5,5,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,
     6,6,6,6,6,6,6,6,6,6,6,6,7,7,7,7,7,7,7,7,
     7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,8,8,8)
pd <- c(7.59262,7.59875,7.6027,7.60375,7.5301,7.53444,7.53604,7.54136,8.378,8.3936,
   8.40061,8.41183,7.36682,7.36992,7.37607,7.38268,7.20065,7.2011,7.20162,7.20578,
   7.78846,7.79947,7.80743,7.81992,7.71797,7.72011,7.72396,7.73026,7.66336,7.66561,
   7.66744,7.66833,7.66973,7.67587,7.68327,7.69321,7.4326,7.43449,7.43762,7.44167,
   7.43053,7.43053,7.43189,7.43396,8.33459,8.34315,8.34548,8.35036,7.15921,7.16325,
   7.16379,7.16943,7.4898,7.48869,7.48689,7.48796,7.61918,7.62046,7.62075,7.62261,
   6.55763,6.56541,6.57438,6.58286,6.27777,6.27833,6.28133,6.28339,6.80184,6.8045,
   6.80572,6.81113,7.31315,7.32324,7.32804,7.33446,7.24893,7.24843,7.24744,7.24993,
   7.80751,7.81927,7.83475,7.84514,7.80045,7.80147,7.80543,7.80792,7.74119,7.74253,
   7.74323,7.74457,7.6027,7.6042,7.60564,7.60852,8.29695,8.30721,8.31356,8.32186,
   8.07527,8.09465,8.11516,8.13795,8.06994,8.07091,8.07347,8.07788,8.19141,8.19883,
   8.20841,8.21603,7.05652,7.05893,7.06613,7.07089,7.85991,7.86511,7.8699,7.87721,
   8.18894,8.19332,8.19572,8.20125,7.26382,7.26669,7.2701,7.27351,6.32972,6.33505, …
Run Code Online (Sandbox Code Playgroud)

r bayesian multi-level rstan

5
推荐指数
1
解决办法
524
查看次数

Three-level partially nested model

I am modeling change over time in group psychotherapy subjects using R and lme4. My data have the following structure:

  • subject (id)
  • time (code 1-10 for equally spaced repeated measures)
  • outcome (for every repeated measure)
  • treatment (0/1 for psychotherapy/waiting list control)

My first two-level model with random slopes and intercepts works well and is simple:

lmer(outcome ~ time * treatment + (time | subject), data=data, REML=FALSE)
Run Code Online (Sandbox Code Playgroud)

Now I was wondering if I should use a three-level partially nested model because …

nested r lme4 multi-level

5
推荐指数
1
解决办法
1307
查看次数

R是否支持多级命名空间?

是否可以R在多个命名空间级别下拥有一个函数?

例如,这些功能可以存在吗?

Mymath::Trig::cosine( )
A::B::C::D::foo( )
Run Code Online (Sandbox Code Playgroud)

namespaces r multi-level

5
推荐指数
1
解决办法
68
查看次数