我正在使用R进行文本分类任务,并且我获得了一个文档项矩阵,其大小为22490×120,000(仅有400万个非零条目,小于1%的条目).现在我想通过利用PCA(主成分分析)来降低维数.遗憾的是,R无法处理这个巨大的矩阵,所以我将这个稀疏矩阵存储在"矩阵市场格式"的文件中,希望使用其他一些技术来做PCA.
所以任何人都可以给我一些有用库(无论编程语言)的提示,它可以轻松地用这个大规模矩阵做PCA,或者自己做一个简单的PCA,换句话说,首先计算协方差矩阵,然后计算协方差矩阵的特征值和特征向量.
我想要的是计算所有PC(120,000),并且只选择前N台PC,它们占90%的差异.显然,在这种情况下,我必须先给出一个阈值,将一些非常小的方差值设置为0(在协方差矩阵中),否则,协方差矩阵将不会稀疏,其大小将是120,000乘120,000,这是用一台机器无法处理.此外,负载(特征向量)将非常大,并且应以稀疏格式存储.
非常感谢您的帮助!
注意:我使用的是具有24GB RAM和8个CPU内核的机器.
我担心我的问题可能非常愚蠢,也可能是重复的.但在本网站上寻找类似的问题后,我无法找到我想要的东西.
我的问题很简单,我有一个大文件,即我的Ubuntu服务器上有1GB,我想和其他用户共享这个文件.如何为公共用户创建URL地址,换句话说,当一个用户单击此URL时,下载将自动启动而不需要用户名和密码,就像我们发现可用时下载许多内容(pdf,音乐)一样与谷歌的网址.
有人建议我设置一个匿名的ftp.我认为这是一个可能的解决方案,但我没有成功完成它.有人可以给我更多细节我如何实现我的目标,(有或没有ftp都可以).
感谢您的帮助,我非常感谢一些示例或一些教程!
我正在使用MongoDB 3.0.假设有一组文件命名photos,其结构是
{"_id" : 1, photographer: "jack"}
使用database.getCollection("photos"),Mongodb将返回一个MongoCollection对象,我有方法count()获取返回的数字文件.
但是,当我使用特定条件进行查询时.例如,查找ID小于100的文档:
photosCollections.find(Document.parse("{_id : {$lt : 100}}"))
上面的find方法将始终返回一个不提供count()功能的游标.那么我怎么知道返回了多少文件呢？我知道在命令行上,我可以使用
db.photos.find({_id : {$lt : 100}}).count()
当然,我可以通过迭代器并自己计算文档数量.但是我发现它真的很笨拙.我想知道MongoDB java驱动程序是否提供了这样的功能来计算find()方法返回的文件数量？如果没有,决定背后的原因是什么？
我刚刚在Ubuntu 12.04服务器上安装了PostgreSQL 9.1(由Amazon EWS托管).当我尝试启动psql命令时,会显示以下错误消息.
psql:无法连接到服务器:没有这样的文件或目录服务器是否在本地运行并接受Unix域套接字"/var/run/postgresql/.s.PGSQL.5432"上的连接？
在网上搜索后,我发现在使用它之前我必须启动服务器.通过遵循此initdb链接,我仍然无法使用postgresql数据库.我应该做更多的工作(比如配置)来启动服务器吗？
我试图启动服务:service postgresql start 另一条错误信息显示:
没有PostgreSQL集群; 见"man pg_createcluster"
我有200K行要插入一个数据库表中.我尝试jdbcTemplate.batchUpdate在春天使用,以便每批次插入10,000.但是,此过程会消耗太多时间(对于200K行,为7分钟).所以在数据库方面,我检查插入的行数select count(*) from table_X.我发现行数略有增加,预计为10K.任何人都可以解释是什么原因或者是应该在数据库端配置的东西吗？
PS:我正在使用sybase ....
我刚刚使用以下命令在一个全新的Ubuntu 12.04 LTS服务器上安装了postgresql 9.1: sudo apt-get install postgresql libpq-dev 安装过程没有错误.基本上我应该能够连接到本地服务器,但是当我点击命令psql时,会出现以下错误:
psql:无法连接到服务器:没有这样的文件或目录服务器是否在本地运行并接受Unix域套接字"/var/run/postgresql/.s.PGSQL.5432"上的连接？
我在线搜索了很多帖子,但无法解决问题(很多时候,我的服务器上不存在提到的目录).有谁能建议一些解决方案？谢谢 !
我有一个maven项目,其中,我正在尝试执行一个脚本(用R编写).我也将此脚本文件放在源代码目录中.我发现这个脚本根本没有执行.但是,当我将此脚本移到jar文件之外时,它会执行!任何人都可以告诉我为什么,并给我一些解决方案将脚本放入jar中,同时确保其执行？
非常感谢 !
public class Test {
static void test(Integer x) {
System.out.println("Integer");
}
static void test(long x) {
System.out.println("long");
}
static void test(Byte x) {
System.out.println("byte");
}
static void test(Short x) {
System.out.println("short");
}
public static void main(String[] args) {
int i = 5;
test(i);
}
}
输出值为"long".
只能告诉我它为什么不是"整数",因为在Java中,int值应该是自动装箱的.
我是初学Web开发人员,特别是PHP和一些前端技术(HTML,CSS,JS/JQuery).我发现在某些情况下,很难找到PHP代码中的错误.以下是一个例子:
在HTML页面中,我使用JQuery将表单提交(带有post)到PHP文件以进行后端事务.由于我使用的是JQuery,页面不会被重定向到PHP页面,所以如果PHP代码有一些错误(甚至是一些愚蠢的语法/ SQL错误),当我们用普通的导航器测试它们时很难检测到它们.
我的问题是:如果在上面的例子中我在PHP页面中使用echo,输出将驻留在哪里？我认为应该存在一些日志文件用于所有这些类型的输出.更重要的是,如果JavaScript中存在一些错误,是否有任何快速定位错误的技巧？
PS:我在MAC OS下使用PHPStorm作为IDE.
在我的一个HTML页面中,有一些输入字段具有相同的名称属性,因为我想将它们作为数组发送到另一个PHP以进行后端事务.
假设输入字段如下:
<input type="text" name="language_names[]" value="english">
<input type="text" name="language_names[]" value="french">
<input type="text" name="language_names[]" value="spanish">
现在我想用Jquery发送这个数组？我正在使用.post()方法,我知道单值可以发送为{key1:value1,key2:value2 ...},但对于数组我怎么能这样做呢？我想它应该接近
{'language_names[]' : $('#input[name="language_names[]"]').val()}
但它不起作用(我查看请求正文).有人可以帮忙吗？
当我学习LinkedList数据结构时,会出现这个问题.假设每个链接(或节点)由一个对象表示,该对象包含两个字段,数据和下一个链接的下一个点.如果我想删除一个特定节点,显然我将更新前一个Link的下一个字段.但是我应该将删除的链接的下一个字段设置为null,以确保它将被垃圾收集器回收吗？
如果我的描述不清楚,我会尝试概括(或简化)我的问题.假设类A的对象a1具有一个字段,该字段引用同一类的另一个对象a2.如果没有对象a1的引用,它是否有资格获得垃圾收集器？或者我们必须将a1中的引用字段显式设置为null？(不关心对象a2,除了a1中的引用字段之外还有其他引用).
我知道在Java中,有三种不同的方法可以将原始类型转换为相应的包装类.但是,如果性能至关重要,是否有任何首选方式？
Integer i = new Integer(5);
Integer i = 5;
Integer i = Integer.valueOf(5);