小编JKn*_*ght的帖子

我正在尝试将我的docker镜像推入公共docker注册表:

$ docker login
Username (binarybana): 
WARNING: login credentials saved in /home/jknight/.dockercfg.
Login Succeeded

$ docker images
REPOSITORY              TAG                 IMAGE ID            CREATED             VIRTUAL SIZE
binarybana/dev-fedora   latest              10c7881fbaca        24 hours ago        1.148 GB
binarybana/fedoradev    latest              10c7881fbaca        24 hours ago        1.148 GB
binarybana/fedora-dev   latest              10c7881fbaca        24 hours ago        1.148 GB
<none>                  <none>              b44397dc4c99        24 hours ago        1.148 GB
<none>                  <none>              a98c27ba4738        24 hours ago        1.141 GB
<none>                  <none>              775c74a34add        24 hours ago        1.141 GB
<none>                  <none>              2be2491d2354        24 hours ago        1.141 GB …

我们Job在这里使用Kubernetes 进行大量批量计算,并且我想用监控边车来检测每个Job,以便根据作业的进度更新集中式跟踪系统.

唯一的问题是,我无法弄清楚作业中多个容器的语义是什么(或应该是什么).

无论如何我给了它一个镜头(alpine每1秒打一个"你好" 的边车),在我的主要任务完成之后,Job考虑s Successful并且kubectl get pods在Kubernetes 1.2.0中显示:

NAME                                         READY     STATUS      RESTARTS   AGE
    job-69541b2b2c0189ba82529830fe6064bd-ddt2b   1/2       Completed   0          4m
    job-c53e78aee371403fe5d479ef69485a3d-4qtli   1/2       Completed   0          4m
    job-df9a48b2fc89c75d50b298a43ca2c8d3-9r0te   1/2       Completed   0          4m
    job-e98fb7df5e78fc3ccd5add85f8825471-eghtw   1/2       Completed   0          4m

如果我描述其中一个豆荚

State:              Terminated
  Reason:           Completed
  Exit Code:        0
  Started:          Thu, 24 Mar 2016 11:59:19 -0700
  Finished:         Thu, 24 Mar 2016 11:59:21 -0700

然后GET,作业的yaml显示每个容器的信息:

  status:
    conditions:
    - lastProbeTime: null
      lastTransitionTime: 2016-03-24T18:59:29Z
      message: 'containers with unready status: …

我有一个多态函数,如:

convert :: (Show a) => a -> String
convert = " [label=" ++ (show a) ++ "]"

但有时我想传递一个Data.Map并做一些更精彩的键值转换.我知道我不能在这里进行模式匹配,因为Data.Map是一个抽象的数据类型(根据这个类似的SO问题),但是我一直没有成功使用警卫,而且我不确定ViewPatterns是否会对此有所帮助(并宁愿避免它们的便携性).

这更符合我的要求:

import qualified Data.Map as M

convert :: (Show a) => a -> String
convert a 
    | M.size \=0 = processMap2FancyKVString a -- Heres a Data.Map
    | otherwise = " [label=" ++ (show a) ++ "]" -- Probably a string

但这不起作用,因为M.size不能采取除Data.Map之外的任何东西.

具体来说,我试图修改功能图库中的sl实用程序功能,以便处理GraphViz输出中边的着色和其他属性.

更新

我希望我能接受TomMD,Antal SZ和luqui对这个问题的所有三个答案,因为他们都明白我真正在问的是什么.我会说:

• Antal SZ提供了应用于FGL的最"优雅"的解决方案,但也需要最多的重写和重新思考以实现个人问题.
• TomMD给出了一个很好的答案,介于Antal SZ和luqui之间的适用性与正确性之间.它也是直接的,我非常欣赏,为什么我选择他的答案.
• luqui给出了最好的'快速工作'答案,我可能会在实践中使用(因为我是一名研究生,这只是一些一次性代码来测试一些想法).我不接受的原因是因为TomMD的答案可能会更好地帮助其他人.

话虽如此,它们都是很好的答案,上面的分类是一个粗略的简化.我还更新了问题标题以更好地代表我的问题(谢谢再次感谢您扩大我的视野!

我想使用元编程来回答这个问题,但for循环的作用域规则导致我的变量不能在最上层(REPL)范围内定义:

for x = [:A1, :A2]
   @eval x = rand(2,2)
end

我知道这可能是一个简单的方法,但我周五晚上的脑子想不到一个.你们其中一个元编程爱好者可以帮助我找到一个简洁的解决方案吗？(我意识到一个宏可能与转义一起工作,但我想要想更短的事情)

我想在S3上将一个大型排序表保存到Parquet,然后读取它并使用Sorted Merge Join策略将其连接到另一个大型排序表.

问题是:即使我事先在连接键上对这些表进行排序,一旦我将它们保存到Parquet,它们似乎就会丢失有关其排序的信息.反正有没有提示Spark,下次我读它们时不需要使用它们？

我一直在Spark 1.5上尝试这个,我不断得到SQL EXPLAIN计划:

[== Physical Plan ==]
[TungstenProject [pos#28400,workf...#28399]]
[ SortMergeJoin [CHROM#28403,pos#28400], [CHROM#28399,pos#28332]]
[  TungstenSort [CHROM#28403 ASC,pos#28400 ASC], false, 0]
[   TungstenExchange hashpartitioning(CHROM#28403,pos#28400)]
[    ConvertToUnsafe]
[     Scan ParquetRelation[file:/....sorted.parquet][pos#284....8424]]
[  TungstenSort [CHROM#28399 ASC,pos#28332 ASC], false, 0]
[   TungstenExchange hashpartitioning(CHROM#28399,pos#28332)]
[    ConvertToUnsafe]
[     Scan ParquetRelation[file:....exploded_sorted.parquet][pos#2.....399]]

你可以在那里看到额外的TungstenExchange和TungstenSort阶段,即使这个连接在两个表上,这些表orderBy在保存到Parquet之前在连接键上排序.

在卡夫卡文档中：

卡夫卡对此的处理方式有所不同。我们的主题分为一组完全排序的分区，每个分区在任何给定时间都由一个消费者消费。这意味着消费者在每个分区中的位置只是一个整数，即下一条要消费的消息的偏移量。这使得有关已消耗内容的状态非常小，每个分区只有一个数字。可以定期检查此状态。这使得消息确认的成本非常低。

然而，按照同一文档中的快速入门指南，我可以轻松地：

1. 创建具有单个分区的主题
2. 启动控制台制作者
3. 推送几条消息
4. 启动一个consumer来消费--from-beginning
5. 启动另一个消费者--from-beginning

并让两个消费者成功地从同一个分区消费。

但这似乎与上面的文档不一致？

与此相关问题类似,我想在Vector上执行并行映射,但在我的情况下,我有一个嵌套的 Vector,我似乎无法使评估正确.

这是我到目前为止:

import qualified Data.Vector as V
import qualified Data.Vector.Unboxed as U
import Data.Vector.Strategies 
import Control.DeepSeq

main = do
  let res = genVVec 200 `using` parVector 2
  print res

genUVec :: Int -> U.Vector Int
genUVec n = U.map (ack 2) $ U.enumFromN n 75

genVVec :: Int -> V.Vector (U.Vector Int)
genVVec n = V.map genUVec $ V.enumFromN 0 n

ack :: Int -> Int -> Int
ack 0 n = n+1
ack m 0 …