我构建了一个python模块,我想在我的pyspark应用程序中导入它.
我的包目录结构是:
wesam/
|-- data.py
`-- __init__.py
Run Code Online (Sandbox Code Playgroud)
import wesam我的pyspark脚本顶部的一个简单导致ImportError: No module named wesam.我也试图压缩它与我的代码以出货--py-files为推荐这个答案,没有运气.
./bin/spark-submit --py-files wesam.zip mycode.py
Run Code Online (Sandbox Code Playgroud)
我也按照这个答案的建议以编程方式添加了文件,但是我得到了同样的ImportError: No module named wesam错误.
.sc.addPyFile("wesam.zip")
Run Code Online (Sandbox Code Playgroud)
我在这里错过了什么?
我在一个包中有一些模块(一种工具包),我在我的项目中使用它.结构如下所示:
the_toolkit:
__init__.py
basic_io.py
simple_math.py
matrix_kit.py
...
Run Code Online (Sandbox Code Playgroud)
现在当我从包中导入模块后使用IPython或代码完成VIM时
from the_toolkit import matrix_kit
Run Code Online (Sandbox Code Playgroud)
我得到一堆模块/功能,其matrix_kit.py进口(array,math,log,loggin,format_exc,等等),与该实际功能一起matrix_kit限定.我怎样才能否则过滤掉一切,因为我不感兴趣,math或array在的代码完成matrix_kit模块?
__init__.py许多pythonistas建议这是空的,还是这样做的?
我试图使用以下代码将seaborn导入python(使用2.7):
import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
import numpy as np
import math as math
from pylab import rcParams
%matplotlib inline
Run Code Online (Sandbox Code Playgroud)
并收到以下错误消息:
ImportError Traceback (most recent call last)
<ipython-input-62-bd3d27f3b137> in <module>()
1 import matplotlib.pyplot as plt
----> 2 import seaborn as sns
3 import pandas as pd
4 import numpy as np
5 import math as math
C:\Python27\lib\site-packages\seaborn\__init__.py in <module>()
2 from .utils import *
3 from .palettes import *
----> 4 from .linearmodels …Run Code Online (Sandbox Code Playgroud) 为什么python在安装pip或pip3显示它时没有找到boto3 .
我在Mac机器上.尝试/不使用pip/pip3 sudo.尝试更改PATH变量以及几条路径,但没有运气.
路径:/Library/Frameworks/Python.framework/Versions/3.5/bin:/Users/arun/.sdkman/candidates/gradle/current/bin:/Users/arun/aks/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin
和
$ python -c 'import sys; print sys.path'|tr ',' '\012'
[''
'/Library/Python/2.7/site-packages/RBTools-0.5.7-py2.7.egg'
'/Library/Python/2.7/site-packages/wfawsclitools-0.1-py2.7.egg'
'/Library/Python/2.7/site-packages/PyYAML-3.12-py2.7-macosx-10.12-intel.egg'
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python27.zip'
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7'
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-darwin'
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac'
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac/lib-scriptpackages'
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-tk'
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-old'
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-dynload'
'/Library/Python/2.7/site-packages'
'/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python'
'/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/PyObjC']
Run Code Online (Sandbox Code Playgroud)
和
$ python -m site
sys.path = [
'/Users/arun/ubuntu-vagrant-box',
'/Library/Python/2.7/site-packages/RBTools-0.5.7-py2.7.egg',
'/Library/Python/2.7/site-packages/wfawsclitools-0.1-py2.7.egg',
'/Library/Python/2.7/site-packages/PyYAML-3.12-py2.7-macosx-10.12-intel.egg',
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python27.zip',
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7',
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-darwin',
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac',
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac/lib-scriptpackages',
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-tk',
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-old',
'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-dynload',
'/Library/Python/2.7/site-packages',
'/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python',
'/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/PyObjC',
]
USER_BASE: '/Users/arun/Library/Python/2.7' (doesn't exist)
USER_SITE: '/Users/arun/Library/Python/2.7/lib/python/site-packages' (doesn't exist)
ENABLE_USER_SITE: True
Run Code Online (Sandbox Code Playgroud)
到目前为止我跑的步骤:
[arun@ip-10.11.33-65 ~/aks] $ …Run Code Online (Sandbox Code Playgroud) 给定一个带有模块名称的字符串,如何导入模块中的所有内容,就像调用了:
from module import *
Run Code Online (Sandbox Code Playgroud)
即给定字符串S ="模块",如何得到相当于以下内容:
__import__(S, fromlist="*")
Run Code Online (Sandbox Code Playgroud)
这似乎没有按预期执行(因为它不会导入任何东西).
我的雇主有一个专用模块1,我们用于内部单元/系统测试; 但是,这个模块的作者不再在这里工作,我被要求用它测试一些设备.
问题是pyfoo需要古老版本的twisted(v8.2.0)并且它导入twisted了33个不同的文件.我尝试pyfoo在v11.0.0下运行单元测试,我甚至没有看到TCP SYN数据包2.不幸的是,我已经在我的实验室linux服务器上安装了扭曲的v11.0.0,并且我有自己的代码依赖于它.
为了解决这个问题,我一直在绞尽脑汁,但我只能提出以下选择:
选项A.安装新版本的python,安装virtualenv,然后安装旧版本twisted的virtualenv.只运行pyfoo在这个新版本的python下需要的测试.
选项B.使用以下内容编辑所有33个文件:DIR = '../'; sys.path.insert(0, DIR)并在源代码下面的相应目录中安装旧版本的python.
选项C.尝试修复pyfoo使用v11.0.0 3
我有什么选择吗?除了上面的选项A之外,还有更优雅的方法来解决这个问题吗?
pyfoo为了争论而称之为pyfoo这不是一件轻而易举的事,而且这项工作的截止日期很短.我有一个包含许多不同类的多个文件的文件夹.这些都可以在一个大文件中,但为了使它更容易阅读,我将它分成多个文件,具体取决于类的属性.
我想将文件夹中所有文件的所有类导入到__init__文件中,以便我可以从文件夹导入任何内容,而不知道它属于哪个文件.
例:
/kitchen
+ __init__.py
+ fridge.py
+ stove.py
+ cupboard.py
Run Code Online (Sandbox Code Playgroud)
现在我必须这样做
from kitchen.fridge import milk
Run Code Online (Sandbox Code Playgroud)
当我想做的时候
from kitchen import milk
Run Code Online (Sandbox Code Playgroud)
相当于我可以通过以下方式__init__.py完成:
from kitchen.fridge import *
from kitchen.stove import *
from kitchen.cupboard import *
Run Code Online (Sandbox Code Playgroud)
然后我就能做到
from kitchen import milk
Run Code Online (Sandbox Code Playgroud)
但是我希望它能够获取文件夹中的所有文件而不必明确指定它(这样文件就可以转储到那里然后使用).
有没有办法做到这一点?
import *在Python中使用函数(大概来自importlib)的等价物是什么?
我知道您可以导入一个模块mod = __import__(...),该模块将委托给当前配置的实现.你也可以这样做
mod_spec = importlib.utl.spec_from_file_location(...)
mod = importlib.util.module_from_spec(mod_spec)
mod_spec.loader.exec_module(mod)
Run Code Online (Sandbox Code Playgroud)
这允许你做一些疯狂的事情,比如通过在调用之前插入东西将东西注入模块exec_module.(由/sf/answers/4738471/和/sf/answers/2705561491/提供)
但是,我的问题仍然存在.import *功能形式如何工作?什么函数根据存在/内容确定从模块加载哪些名称__all__?
这里:
from os.path import exists as foo
print foo.__name__
Run Code Online (Sandbox Code Playgroud)
我们得到:'exists'.为什么不'foo'呢?哪个属性会给出'foo'?
我想.py在运行时加载一个文件.该.py文件基本上是一个配置文件,格式如下:
var1=value
var2=value
predicate_function=func line : <return true or false>
Run Code Online (Sandbox Code Playgroud)
加载此文件后,我希望能够访问var1,var2并且predicate_function.对于每一行,我将它传递给谓词函数,如果它返回false,我将忽略它.
无论如何,我不确定如何在运行时加载python文件并访问其变量.
澄清:可能有任何数量的这些配置文件需要传递给主程序,直到运行时我才会知道它们的名称.谷歌告诉我应该使用__import__.我不确定如何正确使用该方法,然后访问导入文件的变量.
python-import ×10
python ×9
apache-spark ×1
boto3 ×1
function ×1
linux ×1
macos ×1
module ×1
pip ×1
pyspark ×1
python-2.7 ×1
python-3.x ×1
runtime ×1
seaborn ×1
twisted ×1