小编Dmi*_*bin的帖子

在 Python 3.8 上导入 pyspark 时出现“TypeError: an integer is required (got type bytes)”

  1. 创建 conda 环境:
conda create -y -n py38 python=3.8
conda activate py38
Run Code Online (Sandbox Code Playgroud)
  1. 从 Pip 安装 Spark:
pip install pyspark
# Successfully installed py4j-0.10.7 pyspark-2.4.5
Run Code Online (Sandbox Code Playgroud)
  1. 尝试导入pyspark:
python -c "import pyspark"

Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "/Users/dmitrii_deriabin/anaconda3/envs/py38/lib/python3.8/site-packages/pyspark/__init__.py", line 51, in <module>
    from pyspark.context import SparkContext
  File "/Users/dmitrii_deriabin/anaconda3/envs/py38/lib/python3.8/site-packages/pyspark/context.py", line 31, in <module>
    from pyspark import accumulators
  File "/Users/dmitrii_deriabin/anaconda3/envs/py38/lib/python3.8/site-packages/pyspark/accumulators.py", line 97, in <module>
    from pyspark.serializers import read_int, PickleSerializer
  File "/Users/dmitrii_deriabin/anaconda3/envs/py38/lib/python3.8/site-packages/pyspark/serializers.py", line 72, in <module>
    from pyspark import …
Run Code Online (Sandbox Code Playgroud)

apache-spark pyspark python-3.8

11
推荐指数
1
解决办法
9725
查看次数

使用Ref作为Fn :: Sub内部函数的第一个参数

在编译模板时我遇到了很奇怪的问题,我在其中引用了一个字符串参数Fn::Sub,而文档明确地说可以使用Ref内部的函数Fn::Sub.这是一块模板:

"Resources": {
    "LaunchConfiguration": {
      "Type" : "AWS::AutoScaling::LaunchConfiguration",
      "Properties" : {
        "UserData": { "Fn::Base64": { "Fn::Sub": { "Ref": "UserDataParam" } } },
Run Code Online (Sandbox Code Playgroud)

这是我得到的错误:

模板错误:一个或多个Fn :: Sub内部函数未指定预期参数.指定字符串作为第一个参数,并指定可选的第二个参数以指定要在字符串中替换的值的映射

当我使用完整符号:时{ "Fn::Sub": [ { "Ref": "UserDataParam" }, {} ] },我得到完全相同的错误.有没有人有同样的问题?是否可以在使用参数时避免使用它?

amazon-web-services aws-cloudformation

6
推荐指数
1
解决办法
3408
查看次数