我想使用包含Dockerfile的Docker容器构建pip install -r requirements.txt.pandas == 0.22.0包含在此requirements.txt文件中.直到两天前,Docker容器完美构建.从昨天开始,我收到一个错误:
双重要求:numpy == 1.12.1来自 https://pypi.python.org/packages/02/64/c6c1c24ff4dbcd789fcfdb782e343ac23c074f6b8b03e818ff60eb0f937f/numpy-1.12.1-cp34-cp34m-manylinux1_x86_64.whl#md5=6288d4e9cfea859e03dc82879539d029(已经在numpy == 1.9.3来自 https://pypi.python.org/packages/fc/1b/a1717502572587c724858862fd9b98a66105f3a3443225bda9a1bd16ee14/numpy-1.9.3-cp34-cp34m-manylinux1_x86_64.whl#md5=e1130c8f540a759d79ba5e8960f6915a,name ='numpy')
在Mac(Docker版本:18.03.0-ce-mac58(23607))和Ubuntu 16.04.3(Docker版本:17.12.0-ce,构建c97c6d6)上都会发生此错误.
我已经尝试使用不同版本的操作系统,预安装numpy,从requirements.txt文件中删除pand并单独安装它.以及尝试安装apt-get install python-pandas.对于后一种解决方案,安装了pandas v14,而我至少需要v19.
我正在使用Spark 2.0.0的"预览"Google DataProc Image 1.1.为了完成我的一项操作,我必须完成一个笛卡尔积.从版本2.0.0开始,创建了一个spark配置参数(spark.sql.cross Join.enabled),禁止使用笛卡尔积,并抛出异常.如何设置spark.sql.crossJoin.enabled = true,最好是使用初始化操作？
spark.sql.crossJoin.enabled=true