我在Scala 2.11.2上运行Apache Spark 1.3.1,当在具有足够大数据的HPC集群上运行时,我收到很多错误,比如帖子底部的错误(每秒重复多次,直到工作随着时间的推移被杀死).根据错误,执行程序尝试从其他节点获取随机数据,但无法执行此操作.
同样的程序可以使用(a)较少量的数据,或者(b)在仅本地模式下执行,因此它与通过网络发送的数据有关(并且不会被非常小的触发)数据量).
在发生这种情况时执行的代码如下:
val partitioned_data = data // data was read as sc.textFile(inputFile)
.zipWithIndex.map(x => (x._2, x._1))
.partitionBy(partitioner) // A custom partitioner
.map(_._2)
// Force previous lazy operations to be evaluated. Presumably adds some
// overhead, but hopefully the minimum possible...
// Suggested on Spark user list: http://apache-spark-user-list.1001560.n3.nabble.com/Forcing-RDD-computation-with-something-else-than-count-td707.html
sc.runJob(partitioned_data, (iter: Iterator[_]) => {})
这是一个错误的指示,还是有什么我做错了？
这是一个执行程序的stderr日志的小片段(完整日志在这里):
15/04/21 14:59:28 ERROR TransportRequestHandler: Error sending result ChunkFetchSuccess{streamChunkId=StreamChunkId{streamId=1601401593000, chunkIndex=0}, buffer=FileSegmentManagedBuffer{file=/tmp/spark-0f8d0598-b137-4d14-993a-568b2ab3709a/spark-12d5ff0a-2793-4b76-8a0b-d977a5924925/spark-7ad9382d-05cf-49d4-9a52-d42e6ca7117d/blockmgr-b72d4068-d065-47e6-8a10-867f723000db/15/shuffle_0_1_0.data, offset=26501223, length=6227612}} to /10.0.0.5:41160; closing connection
java.io.IOException: Resource temporarily unavailable …我一直在使用Django一段时间(目前在1.2版本上),但最近才开始研究需要支持多个实例的应用程序.例如,项目urls.py文件将在两个不同的命名空间下包含两次,如下所示:
urlpatterns = patterns('',
(r'^instance1/', include('myapp.urls', namespace='instance1')),
(r'^instance2/', include('myapp.urls', namespace='instance2')),
)
我一直很顺利,直到我意识到我需要弄清楚如何处理所有内部调用reverse()(或模板调用{% url %}过滤器).例如,假设我在我的一个观点中做了类似下面的事情:
return HttpResponseRedirect(reverse('view_name'))
或者我的一个模板中的类似内容:
<a href="{% url view_name %}">link text</a>
... view_name包含在哪里的URL模式的名称myapp.urls.由于我使用名称空间,这将引发错误:没有调用视图view_name.相反,我必须告诉它instance1:view_name或者instance2:view_name.但动态地这样做是让我感到难过.
我做了一些看起来,它看起来像是current_app传递给或者,Context或者RequestContext,旨在帮助这个,但它并不清楚如何动态传递正确的应用程序名称current_app.那么告诉Django使用哪个命名空间的正确方法是什么？
编辑:我的用例是多次使用应用程序的单个安装.也就是说,它只存在于磁盘上一次,但在项目的根目录中被多次包含urls.py(每次都在不同的命名空间下,如上例所示).考虑到这一点,有没有什么好方法可以跟踪调用视图/模板的命名空间,并在同一命名空间中使用reverse()或{% url %}粘贴？我知道Django 1.3将提供一些额外的功能,可以帮助解决这个问题(即新的和改进的resolve()),但是现在肯定有一个很好的方法可以做到这一点......
我正在使用jQuery UI Autocomplete插件(版本1.8),我想自定义建议的显示方式.具体来说,我不仅要显示一些文字,还要显示一个图标.但是,当我发送<img>标签时,它只会在结果列表中呈现为纯文本.
有没有办法改变这种行为？或者,您可以建议一种不同的方式在返回的结果中包含图像并将它们显示在建议中吗？
这可能很简单,但我是Drupal的新手.我工作的组织不久前转而使用Drupal,但是在各种外部PHP文件中仍然存在一些遗留代码,这些代码在Drupal中转换为工作会很麻烦.
但是,能够根据针对Drupal进行身份验证的人限制对其中某些页面的访问权限,这将是非常好的.(有些页面是管理性的,例如,任何知道URL的人都可以看到它们.是的,设计很糟糕,但那是我继承的......)
如何从外部PHP文件中检查Drupal,以查看访问给定页面的人是否已通过身份验证？
我正在使用Solr进行搜索,最近开始使用分面来允许用户缩小搜索范围.但是,一旦用户按其中一个方面进行筛选,则在方面结果中不再返回其他筛选选项.这是预期的,但不是我想要的.
有没有办法返回facet字段并计算未过滤的查询,而不进行额外的搜索？举例来说,如果用户的过滤器按类别(通过选择特定的类别),我希望他们仍然能够挑选其他类别中的一个,而不必首先明确地删除该过滤器.(也就是说,所有类别及其计数 - 仍应由Solr返回,以便我可以将它们与过滤的查询集一起包含在页面中.)
我怀疑这可能是不可能的.如果不是,我可以在每次搜索时执行额外查询,这将遗漏过滤器(并返回0行),如之前的StackOverflow问题中所述.但我想我会问:有没有人知道如何在没有多次查询的情况下做到这一点？