问题列表 - 第45296页

使用h5py在Python中对大数据进行分析工作的经验?

我做了很多统计工作,并使用Python作为我的主要语言.我使用的一些数据集虽然可以占用20GB的内存,但这使得使用numpy,scipy和PyIMSL中的内存函数对它们进行操作几乎是不可能的.统计分析语言SAS在这里具有很大的优势,因为它可以对来自硬盘的数据进行操作而不是严格的内存处理.但是,我想避免在SAS中编写大量代码(出于各种原因),因此我试图确定我使用Python的选项(除了购买更多的硬件和内存).

我应该澄清一下像map-reduce这样的方法对我的大部分工作都无济于事,因为我需要对完整的数据集进行操作(例如计算分位数或拟合逻辑回归模型).

最近我开始玩h5py并认为这是我发现允许Python像SAS一样操作磁盘上的数据(通过hdf5文件),同时仍然能够利用numpy/scipy/matplotlib等的最佳选择.我想听听是否有人在类似设置中使用Python和h5py以及他们发现了什么.有没有人能够在迄今为止由SAS主导的"大数据"设置中使用Python?

编辑:购买更多硬件/内存当然可以提供帮助,但从IT角度来看,当Python(或R或MATLAB等)需要在内存中保存数据时,我很难将Python出售给需要分析大量数据集的组织.SAS继续在这里有一个强大的卖点,因为虽然基于磁盘的分析可能会更慢,但您可以放心地处理大量数据集.因此,我希望Stackoverflow可以帮助我弄清楚如何降低使用Python作为主流大数据分析语言的感知风险.

python sas hdf5 scipy h5py

46
推荐指数
2
解决办法
8308
查看次数

在Java中获取类层次结构?

我有一个特定的问题,Eclipse完美解决,但我需要一个程序化的解决方案.我想要做的是获得我提供的任何类的"类型层次结构".Eclipse确实显示了按Ctrl+ 的解决方案T,但它是如何实现这一目标的呢?有没有可用的API,以便我可以使用它们?

java

7
推荐指数
2
解决办法
1万
查看次数

在sitecore中停用单词

我们使用Lucene进行文本搜索,作为sitecore的一部分.是否有任何方法可以忽略sitecore搜索中的停用词(如a,an,...)?

lucene sitecore

8
推荐指数
1
解决办法
3802
查看次数

我还需要一个用于临时构建的Entitlements.plist文件吗?

iOS Provisioning门户上的" 分发"页面中给出的说明清楚地描述了创建过程的过程,并在构建中包含Entitlements.plist文件以进行临时分发.在iOS开发指南的分发应用程序页面,而另一方面,只字不提Entitlements.plist文件.

当我按照iOS开发指南中的说明尝试"构建和存档"我们的最新应用程序时,由于权利问题,最终的ad-hoc app.ipa将无法安装在我的开发设备上.当我使用Entitlements.plist文件重建时,新的app.ipa安装得很好.

不幸的是,包括app.ipa中的Entitlements.plist意味着生成的版本不能简单地重新签名并提交到应用商店 - 对吗?相反,我必须在没有Entitlements.plist的情况下重建并将结果提交到应用商店.

我想我确实有一些相关的问题:

  1. app.ipa是否按照iOS开发指南中的指示生成(没有Entitlements.plist,只需使用ad-hoc分发配置文件进行签名)是否可以在测试分发配置文件中正确识别的非开发设备上安装OK?
  2. 有没有办法让我在我的开发机器上测试"构建和存档"的确切结果,以便我可以重新签名并从Xcode将其提交到App Store?
  3. 如果我提交了明确包含Entitlements.plist文件的app.ipa,会被拒绝吗?

谢谢!

xcode adhoc entitlements ios

17
推荐指数
2
解决办法
2万
查看次数

有没有一个很好的理由为什么ScrollBar的Maximum属性只能以编程方式到达?

直觉人会假设MinimumMaximum性质滚动条可以用来控制用户访问它的范围,但Maximum的MSDN文章状态:

您可以考虑Maximum动态调整 属性以匹配滚动条父级的大小,与像素大小或显示的行数或行数成比例.

只能以编程方式达到最大值.滚动条的值无法在运行时通过用户交互达到其最大值.通过用户交互可以达到的最大值等于1加上Maximum属性值减去LargeChange 属性值.如有必要,可以将Maximum属性设置为对象的大小-1,以使术语为1.

你能解释一下为什么会这样吗?

.net scrollbar winforms

5
推荐指数
1
解决办法
1396
查看次数

mysql计算性能

select count(*) from mytable;
select count(table_id) from mytable; //table_id is the primary_key

这两个查询在一个包含1000万行的表上运行缓慢.我想知道为什么mysql不容易保持一个在所有插入,更新和删除更新的计数器?
有没有办法改善这个查询?我用过解释但没多大帮助.

mysql sql query-optimization aggregate-functions

4
推荐指数
1
解决办法
4388
查看次数

在Linux中运行时如何用Java创建符号链接?

如何在Linux中运行时在Java/JVM中创建符号链接?除了使用Java Native Interface(JNI)还是java.lang.Runtime.exec("/bin/ln -s /some/path symlink")?还有其他方法吗?

创建一个符号链接是非常依赖于平台的,但我最关心的是在Linux上运行,如果在Windows中创建一个快捷方式,那将是一个很好的奖励.

java linux symlink jvm

17
推荐指数
1
解决办法
1万
查看次数

jquery asp.net按钮可见性

有一些这样的代码:

if ( bValid ) { 
      $( this ).dialog( "close" );
$("#btnExcel").show(); }
Run Code Online (Sandbox Code Playgroud)

和.aspx看起来像:

  <form id="form1" runat="server">
                    <input id="inpHide" type="hidden" runat="server" />
                    <asp:Button ID="btnExcel" runat="server" Text="Excel" AccessKey="E" BorderWidth="0px"
                        OnClick="btnExcel_Click" ToolTip="Excel" Visible="false" />
                    </form>

`bValid` is some part of code
Run Code Online (Sandbox Code Playgroud)

为什么这不起作用?可以做些什么来解决它.使按钮可见?

可能是因为:

var button = $('#btnExcel')[0]; 
                        alert(button);
Run Code Online (Sandbox Code Playgroud)

显示:未定义!

寻求帮助.

asp.net jquery visibility aspbutton

0
推荐指数
1
解决办法
9233
查看次数

使用反射调用Scala构造函数的参数数量错误

我正在尝试调用newInstanceScala类的构造函数的方法(case类或通常的类,都受到影响).

但是,我遇到IllegalArgumentException了一个提示错误的参数.

考虑以下:

case class Vec2(x: Float, y: Float)

object TestApp {
  def main(args: Array[String]) {
    //after some research I found the last constructor always to be the default
    val ctor = classOf[Vec2].getConstructors.last

    println("ctor = " + ctor)
    println("takes parameters: " + ctor.getParameterTypes.length)

    val params = new Array[Float](2)

    params.update(0, 1.0f)
    params.update(1, -1.0f)

    println("num parameters: " + params.length)

    println("trying to create new instance...")
    try {
      val x = ctor.newInstance(params)
      println("new instance: " + x)
    } …
Run Code Online (Sandbox Code Playgroud)

reflection scala scala-2.8

7
推荐指数
1
解决办法
2071
查看次数

Linq查询'Id in query'如何?

是否有任何tweek使用IN像lambda中的查询?例如,我有一个查询

Select * from Users where Id in ( 1,45,67, 89)
Run Code Online (Sandbox Code Playgroud)

我可以用linq写同样的东西吗?例如,我有用户说的列表

List<Users> oUserList= new List<Users>();
Run Code Online (Sandbox Code Playgroud)

我有int列表

List<Int32> Ids
Run Code Online (Sandbox Code Playgroud)

我想写一下查询

var data= select all users from 'oUserList' where id not in 'Ids' 
Run Code Online (Sandbox Code Playgroud)

谁能告诉我怎么写这个?

谢谢

问题解决了

var data = oUserInfolist.Where(x => (!oo.Contains(x.ID)));
Run Code Online (Sandbox Code Playgroud)

linq lambda linq-to-sql

0
推荐指数
1
解决办法
873
查看次数