标签: ipython

使用Spark 2启动Ipython

我有我的ipthon启动脚本如下

IPYTHON_OPTS="notebook --port 8889 \
--notebook-dir='/usr/hdp/2.3.2.0-2950/spark/' \
--ip='*' --no-browser" pyspark
Run Code Online (Sandbox Code Playgroud)

它适用于较旧的Spark.但是当我切换到Spark2时,我收到以下错误:

在Spark 2.0+中删除了IPYTHON和IPYTHON_OPTS.从环境中删除它们并改为设置PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS.

目前尚不清楚我应该用什么命令替换它.有人可以帮忙吗?

ipython apache-spark

4
推荐指数
1
解决办法
2209
查看次数

在Jupyter笔记本中,如何滚动到最后一个单元格?

这是一个简单的人体工程学问题。编辑器Geany中有一个选项可以使用户滚动显示的最后一行。例如,这允许用户在垂直方向的显示器上将最后一行代码提升到与视线相同的高度。

如何在Jupyter笔记本中执行类似的操作?我不希望我的头一直向下。如何滚动到最后一个单元格?

我希望结果在某种程度上可以与使用Chromium扩展“ 更多页面空间”相媲美。

ipython geany

4
推荐指数
1
解决办法
536
查看次数

python中二进制分类的ROC曲线

我想绘制一个ROC曲线用于使用 RandomForestClassifier

我有两个numpy数组,一个包含预测值,一个包含真实值,如下所示:

In [84]: test
Out[84]: array([0, 1, 0, ..., 0, 1, 0])

In [85]: pred
Out[85]: array([0, 1, 0, ..., 1, 0, 0])
Run Code Online (Sandbox Code Playgroud)

如何在ipython中为此二进制分类结果移植ROC曲线并获得AUC(曲线下面积)?

numpy machine-learning ipython scikit-learn

4
推荐指数
1
解决办法
7950
查看次数

测量Jupyter Notebook代码单元的运行时

似乎在Spyder(IPython3 Kernel)中,可以通过在代码单元顶部运行%%timeor %%timeit命令来轻松计时代码单元:

#%%
%%time # or %%timeit which measures average runtime from multiple runs
....

#%% (the previous cell ends and the next begins)
Run Code Online (Sandbox Code Playgroud)

运行上面的代码可以获得由这对代码定义的单元格的运行时间#%%.这就是Spyder中的工作方式,但在Jupyter Notebook环境中并不常用.

在Jupyter中,代码单元格不是由#%%分隔符定义的,而是通过单击菜单栏中的按钮来创建.而据我试过了,命令%%time和%%timeit既能提高编译错误.似乎Jupyter无法识别它们,但它很奇怪,因为我的Jupyter实际上使用了与Spyder相同的IPython内核.在Jupyter中有效的一点是%time和%timeit命令,但它们只能测量一行代码的运行时间,即必须像

%time blah blah
Run Code Online (Sandbox Code Playgroud)

事实证明,我甚至无法测量for由多条线组成的循环.所以这种方法对我来说并不合适.是否有任何方法可以使用%time(it)Jupyter中的magic命令等来评估单元运行时?

(PS:如果在Spyder中我%time在一个单元格的顶部附加一个命令,它会给出,Wall time: 0 ns因为在同一行中没有任何跟随它的东西,它实际上没有测量任何东西.)

python time ipython spyder jupyter-notebook

4
推荐指数
3
解决办法
2万
查看次数

同时在jupyter Notebook中运行多个单元

我的问题类似于这里的问题。我的Jupyter笔记本电脑中有一个牢房,可以运行很长时间。我想运行下一个单元格(变量不依赖于上一个单元格)以及上一个单元格。我不是要在CPU上进行多处理或共享作业。我要同时运行多个单元格的内容。默认情况下,它们按顺序运行。

就像运行两个不同的笔记本一样,但是为了连续性和共享对象,我想在同一笔记本的多个单元中运行变量。

python ipython ipython-notebook jupyter-notebook

4
推荐指数
1
解决办法
6853
查看次数

为什么我不能在iPython中为名称`_i`分配值?

如果我做:

_j = 1

print(_j)
1
Run Code Online (Sandbox Code Playgroud)

这是预期的

但如果我:

_i = 1

print(_i)
_i = 1
Run Code Online (Sandbox Code Playgroud)

完全不是我的预期.为什么_i特殊和其他名称有这个属性,我不能覆盖它?

python ipython

4
推荐指数
1
解决办法
390
查看次数

从IPython运行Flask引发了SystemExit

我正在尝试从IPython运行我的Flask应用程序.但是,它失败并出现SystemExit错误.

from flask import Flask

app = Flask(__name__)

@app.route('/')
def index():
    return 'Hello, World!'

if __name__ == '__main__':
   app.run(debug=True)
Run Code Online (Sandbox Code Playgroud)

使用IPython运行它会显示以下错误:

SystemExit                                Traceback (most recent call last)
<ipython-input-35-bfd7690b11d8> in <module>()
     17 
     18 if __name__ == '__main__':
---> 19    app.run(debug = True)

/Users/ravinderbhatia/anaconda/lib/python2.7/site-packages/flask/app.pyc in run(self, host, port, debug, **options)
    770         options.setdefault('use_debugger', self.debug)
    771         try:
--> 772             run_simple(host, port, self, **options)
    773         finally:
    774             # reset the first request information if the development server

/Users/ravinderbhatia/anaconda/lib/python2.7/site-packages/werkzeug/serving.py in run_simple(hostname, port, application, use_reloader, use_debugger, …
Run Code Online (Sandbox Code Playgroud)

python ipython flask jupyter

4
推荐指数
1
解决办法
4696
查看次数

如何计算熊猫中的矛兵等级相关性?

我有一个数据帧,看起来像这样:每个值代表5个距离(1000m,800m,600m,400m,200m,0)之一的值。

'key1': array([  1.21,   0.99,   6.66,
          5.22,   3.33]), 'key2': array([  2.21,   2.99,   5.66,
          6.22,   2.33]), 'key3': array([  4.21,   1.59,   6.66,
          9.12,   0.23])......
Run Code Online (Sandbox Code Playgroud)

我想计算每个键的值和距离之间的Spearman等级相关性。

我有很多“键”,我想以某种方式在熊猫中做到这一点。然后绘制所有键上Spearman等级和平均距离的图表。

python numpy ipython pandas

4
推荐指数
1
解决办法
1900
查看次数

在IPython 7.0.1中打破了多行编辑

我在zsh shell中使用IPython并且我在定义具有多行的函数时遇到了麻烦.

例如,在原始的Python shell中,我可以像这样定义一个函数f:

>>> def f(x):
...     a = x + 1
...     return a
... 
>>>
Run Code Online (Sandbox Code Playgroud)

当我在IPython中完成它时,当'a = x + 1'行结束时,defination立即结束.它看起来像这样:

In [4]: def f(x): 
   ...:     a = x + 1                                                                                                                              

In [5]:   
Run Code Online (Sandbox Code Playgroud)

如何通过更改某些配置或安装其他版本的IPy来修复它?

我的Python和IPython版本:

Python 3.5.6 |Anaconda, Inc.|  
Type 'copyright', 'credits' or 'license' for more information
IPython 7.0.1 -- An enhanced Interactive Python. Type '?' for help.
Run Code Online (Sandbox Code Playgroud)

python shell ipython

4
推荐指数
1
解决办法
435
查看次数

Sypyder中的IPython控制台在Anaconda中非常慢

在使用标准python安装/ IDLE几年之后,我正在尝试Anaconda / Spyder。在我运行的每个脚本和交互式命令中,控制台(和变量资源管理器)在每个工作会话期间会逐渐变慢。最终,要花几分钟才能获得对诸如print之类的简单命令的响应,然后它完全停止响应,因此我将其关闭。这对我的工作相当破坏。

Mac OSX 10.13.6

conda version : 4.5.11
conda-build version : 3.15.1
python version : 3.7.0.final.0

qt 5.9.6
spyder 3.3.1 
ipython 7.1.1
Run Code Online (Sandbox Code Playgroud)

我确实经常使用matplotlib。只要有可能,我都会在脚本开头使用plt.ioff(),并在结尾处使用plt.close('all')。在首选项中完全关闭matplotlib支持无济于事,而且它也不是永久性的解决方法。Python没有在我所有的CPU或RAM附近使用任何地方。

python ipython spyder anaconda

4
推荐指数
3
解决办法
4157
查看次数