标签: python-import

pyspark导入用户定义的模块或.py文件

我构建了一个python模块,我想在我的pyspark应用程序中导入它.

我的包目录结构是:

wesam/
|-- data.py
`-- __init__.py
Run Code Online (Sandbox Code Playgroud)

import wesam我的pyspark脚本顶部的一个简单导致ImportError: No module named wesam.我也试图压缩它与我的代码以出货--py-files为推荐这个答案,没有运气.

./bin/spark-submit --py-files wesam.zip mycode.py
Run Code Online (Sandbox Code Playgroud)

我也按照这个答案的建议以编程方式添加了文件,但是我得到了同样的ImportError: No module named wesam错误.

.sc.addPyFile("wesam.zip")
Run Code Online (Sandbox Code Playgroud)

我在这里错过了什么?

python python-module python-import apache-spark pyspark

21
推荐指数
1
解决办法
2万
查看次数

导入模块时隐藏外部模块(例如,关于代码完成)

我在一个包中有一些模块(一种工具包),我在我的项目中使用它.结构如下所示:

the_toolkit:
    __init__.py
    basic_io.py
    simple_math.py
    matrix_kit.py
    ...
Run Code Online (Sandbox Code Playgroud)

现在当我从包中导入模块后使用IPython或代码完成VIM时

from the_toolkit import matrix_kit
Run Code Online (Sandbox Code Playgroud)

我得到一堆模块/功能,其matrix_kit.py进口(array,math,log,loggin,format_exc,等等),与该实际功能一起matrix_kit限定.我怎样才能否则过滤掉一切,因为我不感兴趣,math或array在的代码完成matrix_kit模块?

__init__.py许多pythonistas建议这是空的,还是这样做的?

python python-import code-completion

20
推荐指数
2
解决办法
6279
查看次数

在Python中导入Seaborn模块时出错

我试图使用以下代码将seaborn导入python(使用2.7):

import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
import numpy as np
import math as math
from pylab import rcParams

%matplotlib inline
Run Code Online (Sandbox Code Playgroud)

并收到以下错误消息:

ImportError                               Traceback (most recent call last)
<ipython-input-62-bd3d27f3b137> in <module>()
      1 import matplotlib.pyplot as plt
----> 2 import seaborn as sns
      3 import pandas as pd
      4 import numpy as np
      5 import math as math

C:\Python27\lib\site-packages\seaborn\__init__.py in <module>()
      2 from .utils import *
      3 from .palettes import *
----> 4 from .linearmodels …
Run Code Online (Sandbox Code Playgroud)

python-import python-2.7 seaborn

20
推荐指数
4
解决办法
7万
查看次数

boto3 python 2.7 ImportError:没有名为boto3的模块USER_BASE USER_SITE站点包不存在

为什么python在安装pip或pip3显示它时没有找到boto3 .

我在Mac机器上.尝试/不使用pip/pip3 sudo.尝试更改PATH变量以及几条路径,但没有运气.

路径:/Library/Frameworks/Python.framework/Versions/3.5/bin:/Users/arun/.sdkman/candidates/gradle/current/bin:/Users/arun/aks/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin

和

$ python -c 'import sys; print sys.path'|tr ',' '\012'
[''
 '/Library/Python/2.7/site-packages/RBTools-0.5.7-py2.7.egg'
 '/Library/Python/2.7/site-packages/wfawsclitools-0.1-py2.7.egg'
 '/Library/Python/2.7/site-packages/PyYAML-3.12-py2.7-macosx-10.12-intel.egg'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python27.zip'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-darwin'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac/lib-scriptpackages'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-tk'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-old'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-dynload'
 '/Library/Python/2.7/site-packages'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python'
 '/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/PyObjC']
Run Code Online (Sandbox Code Playgroud)

和

$ python -m site
sys.path = [
    '/Users/arun/ubuntu-vagrant-box',
    '/Library/Python/2.7/site-packages/RBTools-0.5.7-py2.7.egg',
    '/Library/Python/2.7/site-packages/wfawsclitools-0.1-py2.7.egg',
    '/Library/Python/2.7/site-packages/PyYAML-3.12-py2.7-macosx-10.12-intel.egg',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python27.zip',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-darwin',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac/lib-scriptpackages',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-tk',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-old',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-dynload',
    '/Library/Python/2.7/site-packages',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python',
    '/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/PyObjC',
]
USER_BASE: '/Users/arun/Library/Python/2.7' (doesn't exist)
USER_SITE: '/Users/arun/Library/Python/2.7/lib/python/site-packages' (doesn't exist)
ENABLE_USER_SITE: True
Run Code Online (Sandbox Code Playgroud)

到目前为止我跑的步骤:

[arun@ip-10.11.33-65 ~/aks] $ …
Run Code Online (Sandbox Code Playgroud)

python macos pip python-import boto3

19
推荐指数
2
解决办法
3万
查看次数

如何使用Python的__import__函数执行"import*from module"的等效操作?

给定一个带有模块名称的字符串,如何导入模块中的所有内容,就像调用了:

from module import *
Run Code Online (Sandbox Code Playgroud)

即给定字符串S ="模块",如何得到相当于以下内容:

__import__(S, fromlist="*")
Run Code Online (Sandbox Code Playgroud)

这似乎没有按预期执行(因为它不会导入任何东西).

python python-import

18
推荐指数
2
解决办法
8573
查看次数

强制python使用旧版本的模块(比我现在安装的版本)

我的雇主有一个专用模块1,我们用于内部单元/系统测试; 但是,这个模块的作者不再在这里工作,我被要求用它测试一些设备.

问题是pyfoo需要古老版本的twisted(v8.2.0)并且它导入twisted了33个不同的文件.我尝试pyfoo在v11.0.0下运行单元测试,我甚至没有看到TCP SYN数据包2.不幸的是,我已经在我的实验室linux服务器上安装了扭曲的v11.0.0,并且我有自己的代码依赖于它.

为了解决这个问题,我一直在绞尽脑汁,但我只能提出以下选择:

选项A.安装新版本的python,安装virtualenv,然后安装旧版本twisted的virtualenv.只运行pyfoo在这个新版本的python下需要的测试.

选项B.使用以下内容编辑所有33个文件:DIR = '../'; sys.path.insert(0, DIR)并在源代码下面的相应目录中安装旧版本的python.

选项C.尝试修复pyfoo使用v11.0.0 3

我有什么选择吗?除了上面的选项A之外,还有更优雅的方法来解决这个问题吗?


END-NOTES:

  1. 我们pyfoo为了争论而称之为
  2. 单元测试连接到我们的一个本地实验室服务器并执行基本的telnet功能
  3. 这个选项几乎不是首发...... pyfoo这不是一件轻而易举的事,而且这项工作的截止日期很短.

python linux twisted python-import

18
推荐指数
2
解决办法
3万
查看次数

导入文件夹中所有文件中的所有类(或函数),就好像它们都在__init__文件中一样

我有一个包含许多不同类的多个文件的文件夹.这些都可以在一个大文件中,但为了使它更容易阅读,我将它分成多个文件,具体取决于类的属性.

我想将文件夹中所有文件的所有类导入到__init__文件中,以便我可以从文件夹导入任何内容,而不知道它属于哪个文件.

例:

/kitchen
 + __init__.py
 + fridge.py
 + stove.py
 + cupboard.py
Run Code Online (Sandbox Code Playgroud)

现在我必须这样做

from kitchen.fridge import milk
Run Code Online (Sandbox Code Playgroud)

当我想做的时候

from kitchen import milk
Run Code Online (Sandbox Code Playgroud)

相当于我可以通过以下方式__init__.py完成:

from kitchen.fridge import *
from kitchen.stove import *
from kitchen.cupboard import *
Run Code Online (Sandbox Code Playgroud)

然后我就能做到

from kitchen import milk
Run Code Online (Sandbox Code Playgroud)

但是我希望它能够获取文件夹中的所有文件而不必明确指定它(这样文件就可以转储到那里然后使用).

有没有办法做到这一点?

python python-import

18
推荐指数
2
解决办法
2万
查看次数

Python 3中星型导入的功能形式是什么

import *在Python中使用函数(大概来自importlib)的等价物是什么?

我知道您可以导入一个模块mod = __import__(...),该模块将委托给当前配置的实现.你也可以这样做

mod_spec = importlib.utl.spec_from_file_location(...)
mod = importlib.util.module_from_spec(mod_spec)
mod_spec.loader.exec_module(mod)
Run Code Online (Sandbox Code Playgroud)

这允许你做一些疯狂的事情,比如通过在调用之前插入东西将东西注入模块exec_module.(由/sf/answers/4738471/和/sf/answers/2705561491/提供)

但是,我的问题仍然存在.import *功能形式如何工作?什么函数根据存在/内容确定从模块加载哪些名称__all__?

python python-import python-3.x

18
推荐指数
1
解决办法
1394
查看次数

为什么导入的函数"as"另一个名称保留其原始__name__?

这里:

from os.path import exists as foo
print foo.__name__
Run Code Online (Sandbox Code Playgroud)

我们得到:'exists'.为什么不'foo'呢?哪个属性会给出'foo'?

python module function python-import

18
推荐指数
2
解决办法
1645
查看次数

在运行时加载python代码

我想.py在运行时加载一个文件.该.py文件基本上是一个配置文件,格式如下:

var1=value  
var2=value  
predicate_function=func line : <return true or false>  
Run Code Online (Sandbox Code Playgroud)

加载此文件后,我希望能够访问var1,var2并且predicate_function.对于每一行,我将它传递给谓词函数,如果它返回false,我将忽略它.

无论如何,我不确定如何在运行时加载python文件并访问其变量.

澄清:可能有任何数量的这些配置文件需要传递给主程序,直到运行时我才会知道它们的名称.谷歌告诉我应该使用__import__.我不确定如何正确使用该方法,然后访问导入文件的变量.

python runtime python-import

17
推荐指数
4
解决办法
3万
查看次数