Spark 安装 2.3 并在 .bashrc 中设置以下环境变量后(使用 gitbash)
HADOOP_HOME
SPARK_HOME
PYSPARK_PYTHON
JDK_HOME
执行$SPARK_HOME/bin/spark-submit显示以下错误。
错误:无法找到或加载主类 org.apache.spark.launcher.Main
我在 stackoverflow 和其他网站上做了一些研究检查,但无法找出问题所在。
执行环境
您能提供一些指示吗?
我已经浏览了许多与使用基本身份验证触发 GET 请求相关的类似帖子(例如:Python、带有基本身份验证的 HTTPS GET),但仍然无法找出问题。我不断收到错误requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url
使用相同的凭据,标头在邮递员中尝试了相同的操作,它按预期工作。已验证 api_key、password 的 base64encoded 值与 postman 中使用的值完全相同,因此我不认为其编码或资源访问权限问题。
python -V
Python 3.6.4 :: Anaconda, Inc.
Run Code Online (Sandbox Code Playgroud)
方法一
api_key = 'some_api_key'
password = 'some_password'
headers = {'accept': 'application/json'}
url = 'https://test.access.com/this/url'
api_key_password = "%s:%s" % (api_key, password)
b64_encoded = b64encode(bytes(api_key_password, 'utf-8')).decode("ascii")
headers['authorization'] = 'Basic %s' % b64_encoded
response = requests.get(url,
headers=headers)
if (response.ok):
json_data = json.loads(response.content)
print (json_data)
else:
print (response)
response.raise_for_status()
Run Code Online (Sandbox Code Playgroud)
方法2
api_key = 'some_api_key'
password = 'some_password' …Run Code Online (Sandbox Code Playgroud)