小编Ton*_*ony的帖子

并行运行shell脚本

我有一个shell脚本

  1. 随机播放一个大文本文件(600万行和6列)
  2. 根据第一列对文件进行排序
  3. 输出1000个文件

所以伪代码看起来像这样

file1.sh 

#!/bin/bash
for i in $(seq 1 1000)
do

  Generating random numbers here , sorting  and outputting to file$i.txt  

done
Run Code Online (Sandbox Code Playgroud)

有没有办法运行这个shell脚本parallel来充分利用多核CPU?

在这一刻, ./file1.sh按顺序执行1到1000次运行并且速度非常慢.

谢谢你的帮助.

unix linux parallel-processing bash shell

41
推荐指数
4
解决办法
8万
查看次数

如何使用AWK合并两个文件?

文件1有5个字段ABCDE,字段A是整数值

文件2有3个字段AFG

文件1中的行数远大于文件2中的行数(20 ^ 6到5000)

文件1中A的所有条目都出现在文件2的字段A中

我想通过字段A合并这两个文件并携带F和G.

期望的输出是ABCDEFG

档案1

 A     B     C    D    E
4050 S00001 31228 3286 0
4050 S00012 31227 4251 0
4049 S00001 28342 3021 1
4048 S00001 46578 4210 0
4048 S00113 31221 4250 0
4047 S00122 31225 4249 0
4046 S00344 31322 4000 1
Run Code Online (Sandbox Code Playgroud)

档案2

A     F    G   
4050 12.1 23.6
4049 14.4 47.8   
4048 23.2 43.9
4047 45.5 21.6
Run Code Online (Sandbox Code Playgroud)

期望的输出

A    B      C      D   E F    G
4050 S00001 31228 3286 0 12.1 …
Run Code Online (Sandbox Code Playgroud)

unix linux bash awk

31
推荐指数
3
解决办法
7万
查看次数

如何截断实数值并丢弃其在awk中的非整数部分?

我有以下数据集(所有正值)

输入文件

1 2.3456
1 5.02
2 3.9763333
2 0.123
Run Code Online (Sandbox Code Playgroud)

我想截断第二列中的数字并丢弃其非整数部分.

怎么会在awk中做到这一点?

期望的输出文件

1 2
1 5
2 3
2 0
Run Code Online (Sandbox Code Playgroud)

谢谢你的帮助.

awk

24
推荐指数
2
解决办法
2万
查看次数

如何使用AWK BASH脚本生成给定开始和结束日期的日期序列?

我有一个具有以下格式的数据集

第一和第二个字段表示研究开始和结束的日期(M/D/YYYY).

考虑到使用AWK或BASH脚本的闰年,如何将数据扩展为所需的输出格式?

非常感激您的帮忙.

输入

  7/2/2009   7/7/2009
  2/28/1996  3/3/1996
  12/30/2001 1/4/2002
Run Code Online (Sandbox Code Playgroud)

期望的输出

  7/7/2009
  7/6/2009
  7/5/2009
  7/4/2009
  7/3/2009
  7/2/2009
  3/3/1996
  3/2/1996
  3/1/1996
  2/29/1996
  2/28/1996
  1/4/2002
  1/3/2002
  1/2/2002
  1/1/2002
  12/31/2001
  12/30/2001
Run Code Online (Sandbox Code Playgroud)

unix bash awk

20
推荐指数
4
解决办法
2万
查看次数

如何使用R中的confint计算95%CI?

我使用confint帮助页面中提供的示例

> fit <- lm(100/mpg ~ disp + hp + wt + am, data=mtcars)
> summary(fit)

Call:
lm(formula = 100/mpg ~ disp + hp + wt + am, data = mtcars)

Residuals:
    Min      1Q  Median      3Q     Max 
-1.6923 -0.3901  0.0579  0.3649  1.2608 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) 0.740648   0.738594   1.003  0.32487   
disp        0.002703   0.002715   0.996  0.32832   
hp          0.005275   0.003253   1.621  0.11657   
wt          1.001303   0.302761   3.307  0.00267 **
am          0.155815   0.375515   0.415  0.68147   
---
Signif. codes: …
Run Code Online (Sandbox Code Playgroud)

r

12
推荐指数
1
解决办法
3万
查看次数

如何在降雪中输出消息?

我正在使用Windows 7上的降雪软件包进行模拟研究.

我喜欢每10次运行打印一条消息到主R控制台来监控进度,但它没有这样做.即.没有打印

任何帮助都感激不尽.

runsim = function(nsim,n,mean,var){
cov = 0
for(i in 1:nsim){
if ( i %% 10==0) 
cat("\n Running simulation",i)
dat = function1(n,mean,var)

cov = ...
}
cov / nsim
}
sfExport("function1","runsim")
sfLibrary(library1)

wrapper = function(n){
runsim(100,n,0.5,0.25)
}

Out<-sfLapply(1:100,wrapper)
Run Code Online (Sandbox Code Playgroud)

r snowfall

8
推荐指数
1
解决办法
2449
查看次数

用BASH shell中的awk生成随机数

我希望随机地对文件的行(行)进行随机打印,然后打印到不同的五个文件.

但我一直在file1到file5中出现完全相同的行顺序.随机生成过程无法正常工作.我会很感激任何建议.

#!/bin/bash
for i in seq 1 5
do
  awk 'BEGIN{srand();}  {print rand()"\t"$0}' shuffling.txt  | sort -k2 -k1 -n | cut -f2-  > file$i.txt
done
Run Code Online (Sandbox Code Playgroud)

输入shuffling.txt

111 1032192
111 2323476
111 1698881
111 2451712
111 2013780
111  888105
112 2331004
112 1886376
112 1189765
112 1877267
112 1772972
112  574631
Run Code Online (Sandbox Code Playgroud)

awk

6
推荐指数
1
解决办法
2万
查看次数

如何在R中的粘贴命令中的每个元素之间插入逗号?

如何在R中的粘贴命令中的每个元素之间插入逗号?

paste ("X",1:5,sep="")

"X1" "X2" "X3" "X4" "X5"
Run Code Online (Sandbox Code Playgroud)

现在我想在每个元素之间插入一个逗号

Desired Output 

"X1","X2","X3","X4","X5"
Run Code Online (Sandbox Code Playgroud)

谢谢你的帮助

r

6
推荐指数
1
解决办法
1万
查看次数

如何在不诉诸循环的情况下生成以下序列?

time<-c(10,20)
d<-NULL
for ( i in seq(length(time)))
d<-c(d,seq(0,(time[i]-1)))
d
Run Code Online (Sandbox Code Playgroud)

time<-c(3000,4000,2000,...,5000)时间长度为1000时,程序非常慢.是否有更快的方式生成序列而不循环?

谢谢你的帮助.

r

5
推荐指数
2
解决办法
1580
查看次数

Octave和R之间的接口

有人可以更新界面之间的状态Octave and R吗?ROctave软件包是在2002年开发的,但之后没有新的更新.我喜欢在R中调用Octave中的一些函数,例如"根".怎么做?

谢谢你的帮助.

r octave

5
推荐指数
2
解决办法
2178
查看次数

标签 统计

r ×5

awk ×4

bash ×3

unix ×3

linux ×2

octave ×1

parallel-processing ×1

shell ×1

snowfall ×1