我是Spark的新手,我正在忙着设置启用了HA的Spark Cluster.
启动火花壳进行测试时: bash spark-shell --master yarn --deploy-mode client
我收到以下错误(请参阅下面的完整错误): file:/tmp/spark-126d2844-5b37-461b-98a4-3f3de5ece91b/__spark_libs__3045590511279655158.zip does not exist
应用程序在yarn Web应用程序上标记为失败,并且没有启动容器.
通过以下方式启动shell时:spark-shell --master local它会打开而不会出错.
我注意到文件只被写入创建shell的节点上的tmp文件夹.
任何帮助都感激不尽.如果需要更多信息,请与我们联系.
环境变量:
HADOOP_CONF_DIR = /选择/ Hadoop的2.7.3的/ etc/hadoop的/
YARN_CONF_DIR = /选择/ Hadoop的2.7.3的/ etc/hadoop的/
SPARK_HOME = /选择/火花2.0.2彬hadoop2.7 /
完整的错误消息:
16/11/30 21:08:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/11/30 21:08:49 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
16/11/30 21:09:03 WARN cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Container marked as …我一直在尝试遵循vcpkg 设置指南，但无法解决最后一步中出现的构建错误：
fatal error C1083: Cannot open include file: 'sqlite3.h': No such file or directory
我的vcpkg设置过程如下：
> git clone https://github.com/Microsoft/vcpkg.git> cd vcpkg\> .\bootstrap-vcpkg.bat> vcpkg install sqlite3:x64-windows> vcpkg integrate install我确认 sqlite 安装：
> vcpkg list
sqlite3:x64-windows 3.29.0-1 SQLite is a software library that implements a s...
我在测试存储库中创建以下文件：
CMakeLists.txt：
cmake_minimum_required(VERSION 3.0)
project(test)
find_package(Sqlite3 REQUIRED)
add_executable(main main.cpp)
target_link_libraries(main sqlite3)
主要.cpp：
#include <sqlite3.h>
#include <stdio.h>
int main()
{
printf("%s\n", sqlite3_libversion());
return 0;
}
开始构建：
然后，我通过在构建文件夹中运行以下命令来生成构建文件，并注意它能够找到 …