标签: bigdata

有人可以建议什么数据库更好地存储文本信息,如词性序列,依赖关系,用python编写的NLP项目中使用的句子.现在,该信息存储在文件中,并且每次都需要对它们进行解析,以便提取所提到的块,这些块用作下一个处理阶段的输入.考虑的选项 - MongoDB,Cassandra和MySQL.NoSQL数据库在这种类型的应用程序中是否更好.谢谢.

我正在尝试将数据从csv文件导入到mongodb

具有波纹管数据的CSV文件

7259555112 774561213 3 4

7259555112 774561214 4 5

7259555112 774561215 1 3

7259555112 774561216 2 1

7259555112 774561217 4 2

7259555112 774561218 6 1

7975795117 7599702622 3 2

7975795117 7599702623 2 1

第一个数字是MISDIN(cell_number),第二个数字是MISDIN第三个字段是mnay第一次从第二个第四个fiels获得的第一个字段是从第一个到第二个有多少支出

我想将它导入mongodb,我需要收集模式如下所示

7259555112(first_doucment我想把第一个Misdin作为索引)

{

{MSISDN:774561213

INCOMING_COUNT:4

outgoing_count:3

TOTAL_COUNT:7

is_EE:1

},

{MSISDN:774561214

INCOMING_COUNT:3

outgoing_count:2

TOTAL_COUNT:5

is_EE:1

},

{MSISDN:774561215

INCOMING_COUNT:1

outgoing_count:2

TOTAL_COUNT:3

is_EE:0

}

}

7975795117(第二份文件)

{

{MSISDN:7599702622

INCOMING_COUNT:3

outgoing_count:2

TOTAL_COUNT:5

is_EE:1

},

{MSISDN:7599702623

INCOMING_COUNT:2

outgoing_count:1

TOTAL_COUNT:3

is_EE:1

},

请使用mongoimport或任何其他工具指导如何实现此目的

谢谢

我尝试使用'ffbase'包使用ffdfdplyR中的函数对大型数据集进行聚合.
假设我有三个变量叫做Date,Item和sales.在这里,我想使用sum函数聚合Date和Item上的销售额.你能指导我在R中使用一些正确的语法吗？
我试过这样:

grp_qty <- ffdfdply(x=data[c("sales","Date","Item")], split=as.character(data$sales),FUN = function(data)  

summaryBy(Date+Item~sales, data=data, FUN=sum)).

我很感激您的解决方案.

是否可以从.Rdata对象或存储在磁盘上的任何其他大型数据对象中绘制引导样本？我目前从非常大的数据中采样的方法是构建一个本地MySQL数据库,然后使用SQL将随机样本绘制到R中.不幸的是,MySQL中的采样和排序根本没有效率.我想知道是否有人为此用例设计了更好的解决方案.

要了解我当前的解决方案,请参阅MySQL中的采样问题: 来自Sql数据库的简单随机样本

所以我有一个16列和大约1700万行的数据框.

我首先想ddply在数据框上做一些,然后查看不同列之间的相关性.实现这一目标的最佳和最有效的方法是什么？我目前的方法花了太长时间:

该数据帧all_df和列名A,B,C,..., ,,NOP

avB <- ddply(all_df, c(“A”), summarise, NB_av=mean(B), NB_sd=sd(B))
avC <- ddply(all_df, c(“A”), summarise, NC_av=mean(C), NC_sd=sd(C))
avD <- ddply(all_df, c(“A”), summarise, ND_av=mean(D), ND_sd=sd(D))
avE <- ddply(all_df, c(“A”), summarise, NE_av=mean(E), NE_sd=sd(E))
avF <- ddply(all_df, c(“A”), summarise, NF_av=mean(F), NF_sd=sd(F))
avG <- ddply(all_df, c(“A”), summarise, NG_av=mean(G), NG_sd=sd(G))

summary_df <- avB
summary_df <- merge(summary_df, avC, by=c(“A”))
summary_df <- merge(summary_df, avD, by=c(“A”))
summary_df <- merge(summary_df, avE, by=c(“A”))
summary_df <- merge(summary_df, …

我正在尝试按照本指南在本地运行测试群集https://mesosphere.com/2014/07/07/installing-mesos-on-your-mac-with-homebrew/

目前,我可以在localhost:5050上运行一个主服务器,在默认端口5051上运行一个从服务器(slave ID为S0).但是,当我尝试在另一个端口启动另一个从站时,它将自身重新注册为S0,主控制台仅显示1个已激活的从站.有谁知道我将如何启动另一个奴隶S1？谢谢!

我是bigdata的新手,我想解析整个数据,所以当我尝试使用numpy数组处理1 GB数据需要4GB内存(实时处理大量数据)时,我无法拆分它.是否有任何优化方法可以将这些数组用于这么多数据或任何特殊函数来处理大量数据.

我已经阅读了很多文章,但我似乎没有得到关于什么是大数据的完全清楚的答案.在一个页面中,我看到"任何对您的使用来说更大的数据,都是大数据,即100 MB被认为是您邮箱的大数据,而不是您的硬盘".而另一篇文章说"大数据通常超过1 TB,不同的数量/种类/速度,不能存储在一个系统中".此外,该数据应存储在NOSQL数据库中,其中Hadoop用于转换数据.

此外,我一直在研究解决方案,并想知道我是否可以将其归类为大数据.以下解决方案的片段,

• 数以百万计的原始数据记录,通常还有500多GB的数据.
• SQL数据库作为后端和SSIS/SQL查询来清理/处理数据并将其转换为有意义的形式.
• 使用Spotfire进行可视化

任何帮助将非常感激.谢谢 !

我是Spark-scala的新手,试图解决简单的字数(将多个属性作为键).我可以获得一些投入吗？我有一个Rdd(字符串,字符串,长)像(a,b,1)(a,c,1)(a,c,1)(b,b,1)(b,b,1)

期望的结果是像(a,b,1)(a,c,2)(b,b,2)的rdd

我想选择几列，添加几列或除以某些列，并用空格填充它们，并以新名称存储它们作为别名。例如，SQL中的内容应类似于：

select "   " as col1, b as b1, c+d as e from table 

如何在Spark中实现这一目标？