小编Aja*_*axx的帖子

val rddA = someData.rdd.map { x => (x.key, x); } // 10-million
val rddB = someData.rdd.map { y => (y.key, y); } // 600-million
var joinRDD = rddA.join(rddB);

Run Code Online (Sandbox Code Playgroud)

当spark决定加入时,它决定做一个ShuffledHashJoin.这导致rddB中的许多项目在网络上进行混洗.同样,一些rddA也在网络上进行了洗牌.在这种情况下,rddA太"大"而不能用作广播变量,但看起来像BroadcastHashJoin会更有效率.是否有提示使用BroadcastHashJoin的火花？(Apache Flink通过联接提示支持此功能).

如果没有,是增加autoBroadcastJoinThreshold的唯一选择吗？

更新7/14

我的表现问题似乎完全依赖于重新分配.通常,从HDFS读取的RDD将按块进行分区,但在这种情况下,源是一个镶木地板数据源[我制作].当spark(databricks)写出镶木地板文件时,它会为每个分区写入一个文件,同样地,它会为每个文件读取一个分区.因此,我发现最好的答案是在数据源的生成过程中,按密钥对其进行分区,然后写出镶木地板(然后自然是共同分区)并将其用作rddB.

给出的答案是正确的,但我认为有关镶木地板数据源的详细信息可能对其他人有用.

join apache-spark rdd

Aja*_*axx

2015 07-15

10
推荐指数

1
解决办法

8393
查看次数

如何以编程方式更改NetTcp的WCF消息编码？

我有一个没有互操作性要求的自定义Intranet应用程序.我们以双工模式编程构造NetTcp通道以传递消息.我们想要更改消息编码,但无法弄清楚如何实现这一点.

我们采取的方法(失败)是将NetTcpBinding扩展为一个名为LeanTcpBinding的新类,如下所示:


internal class LeanTcpBinding : NetTcpBinding
{
    private static readonly ILog _log =
        LogManager.GetLogger(System.Reflection.MethodBase.GetCurrentMethod().DeclaringType);

    public override BindingElementCollection CreateBindingElements()
    {
        BindingElementCollection bindingElementCollection = base.CreateBindingElements();
        BindingElement encodingElement = bindingElementCollection.FirstOrDefault(
            bindingElement => bindingElement is BinaryMessageEncodingBindingElement);
        if (encodingElement != null)
        {
            int index = bindingElementCollection.IndexOf(encodingElement);
            bindingElementCollection.RemoveAt(index);
            bindingElementCollection.Insert(index, new LeanBinaryMessageEncodingBindingElement());
        }
        else
        {
            _log.Warn("Encoding not found");
        }

        return bindingElementCollection;
    }
}

Run Code Online (Sandbox Code Playgroud)

显然,我们正在尝试用我们自己的替换默认的BinaryMessageEncodingBindingElement.只是为了开始使用,LeanBinaryMessageEncodingBindingElement是BinaryMessageEncodingBindingElement的扩展,如下所示:


 internal class LeanBinaryMessageEncodingBindingElement : MessageEncodingBindingElement
 {
        private readonly BinaryMessageEncodingBindingElement _bindingElement;

        /// 
        /// Initializes a new instance of the  class.
        /// 
        public LeanBinaryMessageEncodingBindingElement() …

Run Code Online (Sandbox Code Playgroud)

binary wcf encoding net-tcp

Aja*_*axx

2010 01-05

8
推荐指数

1
解决办法

7581
查看次数

您使用的是事件流媒体产品吗？

也许您熟悉事件流处理(ESP)的概念......如果您愿意,我很乐意听到您正在使用的内容以及您正在使用它们的平台.我是Esper项目的积极贡献者(http://esper.codehaus.org/),但我有兴趣听听其他人使用的内容吗？有人使用Coral8,Aleri或Streambase吗？你在哪些平台上使用它们？

esper streambase event-stream-processing

Aja*_*axx

2016 12-30

7
推荐指数

0
解决办法

699
查看次数