我在Node.js后端开发中使用TypeScript。每当我在node.js中遇到错误时,它就会向我显示与已转译的JavaScript(.js)文件有关的行号,而不是与TypeScript(.ts)文件有关的行号。
如果您使用过离子性的,我们将在此处得到与打字稿文件相对应的错误。
有什么办法可以获取与我的打字稿文件有关的错误行号?如果是,请说明如何以及对配置文件进行哪些更改。
尝试使用 hadoop-aws 从 s3 读取文件,用于运行代码的命令如下所述。请帮我解决这个问题并了解我做错了什么。
# run using command
# time spark-submit --packages org.apache.hadoop:hadoop-aws:3.2.1 connect_s3_using_keys.py
from pyspark import SparkContext, SparkConf
import ConfigParser
import pyspark
# create Spark context with Spark configuration
conf = SparkConf().setAppName("Deepak_1ST_job")
sc = SparkContext(conf=conf)
sc.setLogLevel("ERROR")
hadoop_conf = sc._jsc.hadoopConfiguration()
config = ConfigParser.ConfigParser()
config.read("/home/deepak/Desktop/secure/awsCred.cnf")
accessKeyId = config.get("aws_keys", "access_key")
secretAccessKey = config.get("aws_keys", "secret_key")
hadoop_conf.set(
"fs.s3n.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("fs3a.access.key", accessKeyId)
hadoop_conf.set("s3a.secret.key", secretAccessKey)
sqlContext = pyspark.SQLContext(sc)
df = sqlContext.read.json("s3a://bucket_name/logs/20191117log.json")
df.show()
Run Code Online (Sandbox Code Playgroud)
编辑 1:
由于我是 pyspark 的新手,我不知道这些依赖关系,因此错误也不容易理解。
得到错误为
File "/home/deepak/spark/spark-3.0.0-preview-bin-hadoop3.2/python/lib/pyspark.zip/pyspark/sql/utils.py", line 98, in deco
File …
Run Code Online (Sandbox Code Playgroud)