每次登录我们公司的集群,先拿到Kerberos票据,然后尝试提交作业,但是找不到spark-ubmit:
-bash-4.1$ ./pipeline.runtime/scripts/vpspark-submit.sh crow-env/ /user/gsamaras/crow_spm-1.0.2.3.tar.gz --properties-file $SPARK_CONF_PROPERTIES --num-executors 1 foo.py
./pipeline.runtime/scripts/vpspark-submit.sh: line 51: spark-submit: command not found
Run Code Online (Sandbox Code Playgroud)
但是,如果我提供 .bashrc,它就可以正常工作。
>> cat .bashrc
[ -f /etc/bashrc ] && . /etc/bashrc
export PATH=${SPARK_HOME}/bin:$PATH
export SPARK_CONF_DIR=~/tripodrt-spark/conf/
export SPARK_CONF_PROPERTIES=~/tripodrt-spark/conf/spark-overrides-tt.conf
Run Code Online (Sandbox Code Playgroud)
为什么?我希望 .bashrc 在登录时运行。我使用的是红帽企业 Linux。