小编Man*_*ake的帖子

我是 lambda 新手，其中尝试将 lambda 与 docker 图像一起使用。我需要使用我自己的 docker 镜像作为基础镜像，而不是 aws 提供的 lambda 镜像。下面是我的 docker 文件，基本映像是python:3.9.6。但是，当我尝试执行 lambda 函数时，出现以下错误。

我指的是下面的链接来执行下面的实现。AWS 文档链接

# Define function directory
ARG FUNCTION_DIR="/function/"

FROM python:3.9.6 as build-image

# Install aws-lambda-cpp build dependencies
RUN apt-get update && \
  apt-get install -y \
  g++ \
  make \
  cmake \
  unzip \
  libcurl4-openssl-dev

# Include global arg in this stage of the build
ARG FUNCTION_DIR
# Create function directory
RUN mkdir -p ${FUNCTION_DIR}

# Copy function code
COPY …

我有以下输入文件，可能有错误记录，我想抛出异常并识别列名列不符合我的自定义架构。根据我的理解，即使我们不对数据帧调用任何操作，数据帧也应该立即抛出异常。

1,a,10000,11-03-2019,浦那

2,b,10020,14-03-2019,浦那

3,a,34567,15-03-2019,浦那

tui,a,fgh-03-2019,浦那

4,b,10020,14-03-2019,浦那

我尝试为 Spark 数据框设置“FAILFAST”选项，但它并没有在我的末尾引发任何类型的异常。

我已经尝试过下面的代码。

SparkSession ss = SparkSession.builder().appName("Data Quality Frameowrk")
    .master("local")
    .getOrCreate();

    try {
    StructField[] fields = new StructField[5];
    fields[0] = new StructField("id", DataTypes.IntegerType, false,Metadata.empty());
    fields[1] = new StructField("name", DataTypes.StringType, false,Metadata.empty());
    fields[2] = new StructField("salary", DataTypes.DoubleType, false,Metadata.empty());
    fields[3] = new StructField("dob", DataTypes.DateType, false,Metadata.empty());
    fields[4] = new StructField("loc", DataTypes.StringType, false,Metadata.empty());
    StructType customSchema = new StructType(fields);

    ss.read().format("csv")
            .schema(customSchema)
            .option("mode", "FAILFAST")
            .load("C:\\\\Users\\\\manoj.dhake\\\\Downloads\\\\softwares\\\\neo4jdata\\\\employee.csv");


    }catch(Exception e) {
        System.out.println("want to catch column name ,due to which error has been occured"); …