小编Ren*_*ien的帖子

我试图在silverlight 5中实现3D模型冲突.为此,我创建了一个BoundingBox(就像在XNA4.0中一样):

我在此链接中看到了相同的问题VertexBuffer.GetData()和Silverlight 5,但未找到答案.

 public BoundingBox GetBoundingBoxFromModel(Model model)
    {            
        BoundingBox boundingBox = new BoundingBox();

            foreach (ModelMeshPart part in model.Meshes[0].MeshParts)
            {
                VertexPositionNormalTexture[] vertices = new VertexPositionNormalTexture[part.NumVertices];
                Vector3[] vertexs = new Vector3[vertices.Length];

                part.VertexBuffer.GetData<VertexPositionNormalTexture>(vertices);                    


                for (int index = 0; index < vertexs.Length; index++)
                {
                    vertexs[index] = vertices[index].Position;
                }

                boundingBox = BoundingBox.CreateMerged(boundingBox, BoundingBox.CreateFromPoints(vertexs));
            }            
        return boundingBox;
    }

I\xe2\x80\x99m 尝试在 Yarn 客户端上运行 Spark 作业。我有两个节点，每个节点都有以下配置。\n

I\xe2\x80\x99m 得到 \xe2\x80\x9cExecutorLostFailure (执行器 1 丢失)\xe2\x80\x9d。

我已经尝试了大部分 Spark 调优配置。我已经减少到 1 个执行程序丢失，因为最初我有 6 个执行程序失败。

这些是我的配置（我的火花提交）：

\n

HADOOP_USER_NAME=hdfs Spark-submit --class genkvs.CreateFieldMappings\n --master 纱线客户端 --driver-内存 11g --executor-内存 11G --total-executor-cores 16 --num-executors 15 --conf " Spark.executor.extraJavaOptions=-XX:+UseCompressedOops\n -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" --conf Spark.akka.frameSize=1000 --conf Spark.shuffle.memoryFraction=1 --conf\n Spark .rdd.compress=true --conf\n spark.core.connection.ack.wait.timeout=800\n my-data/lookup_cache_spark- assembly-1.0-SNAPSHOT.jar -h\n hdfs://hdp-node -1.zone24x7.lk:8020 -p 800

\n

我的数据大小是 6GB，我在工作中执行 groupBy 操作。

def process(in: RDD[(String, String, Int, String)]) = {\n    in.groupBy(_._4)\n}\n

我\xe2\x80\x99m是Spark的新手，请帮我找出我的错误。我\xe2\x80\x99m已经挣扎了至少一周了。

预先非常感谢您。 …

我有9个节点集群,每个节点都有以下配置,

我正在尝试使用" recommendedProductsForUsers "函数为MatrixFactorizationModel中的所有用户生成建议.看起来需要很长时间才能完成(例如:1个月的数据需要大约34个小时).是否由于在矩阵上多次迭代？

如何减少执行时间？

这些是我的spark-submit配置:

spark-submit --jars $ JAR_LOC --class com.collaborativefiltering.CustomerCollaborativeJob --driver-memory 5G --num-executors 7 --executor-cores 2 --executor-memory 20G --master yarn-client cust_rec/cust- rec.jar --period 1month --out/PATH --rank 50 --numIterations 2 --lambda 0.25 --alpha 300 --topK 20

非常感谢你提前.