我经常在运行时对我的火花作业的DAG进行分析.但是,为了看到DAG,在运行时必须坐下来观看应用程序是很烦人的.
所以,我试图用这个叫做的东西来看DAg spark history-server,我知道应该帮我看看过去的工作.我很容易访问端口18080,我可以看到历史服务器UI.
但是,它没有向我显示与spark程序执行相关的任何信息.我知道我的历史服务器正在运行,因为当我这样做时,sudo service --status-all我看到了
spark history-server is running [ OK ]
所以我已经尝试过这个问题的建议:这里.
我想这是因为我在YARN上运行spark,它一次只能使用一个资源管理器？也许？
那么,在作业结束后,我怎么看到火花执行DAG, *？更具体地说,当运行YARN作为我的资源管理器时？
我具有以下功能来说明一些轮廓线：
"""
Illustrate simple contour plotting, contours on an image with
a colorbar for the contours, and labelled contours.
See also contour_image.py.
"""
import matplotlib
import numpy as np
import matplotlib.cm as cm
import matplotlib.mlab as mlab
import matplotlib.pyplot as plt
matplotlib.rcParams['xtick.direction'] = 'out'
matplotlib.rcParams['ytick.direction'] = 'out'
X = np.arange(-1.2, 1.2, 0.005)
Y = np.arange(-1.2, 1.2, 0.005)
X, Y = np.meshgrid(X, Y)
Z = (np.ones([np.shape(X)[0],np.shape(X)[1]])-X)**2+100*(Y-(X)**2)**2
# Create a simple contour plot with labels using default colors. The
# inline argument …我有这样的矢量:
h = [1,2,3,4,5,6,7,8,9,10,11,12]
我想重复每一个第三个元素:
h_rep = [1,2,3,3,4,5,6,6,7,8,9,9,10,11,12,12]
如何在MATLAB中优雅地完成这项工作？实际的数组是巨大的,所以理想情况下我不想写一个for循环.有没有矢量化的方法来做到这一点？