小编Dou*_*ugR的帖子

编辑:请参阅Spyder Notebook插件... https://github.com/spyder-ide/spyder-notebook

我想将一个Jupyter笔记本加载到Spyder并在Spyder Ipython控制台中激活当前的Jupyter Python内核.我希望这能让我在Jupyter开发时使用Spyder编辑器,控制台和变量浏览器.使用Jupyter中的以下代码,我已经能够加载转换后的笔记本了.另外,我可以手动在新控制台中打开当前内核.但是,变量资源管理器不会显示连接控制台中的变量.

我想要:

1)从Jupyter,在Spyder IPython控制台中自动打开当前的Jupyter内核
2)获取Spyder变量资源管理器以使用连接的内核

有任何想法吗？有没有人比下面列出的方法更好？

在Spyder中打开Jupyter笔记本和内核:

获取当前笔记本名称

%%javascript
var nb = IPython.notebook;
var kernel = IPython.notebook.kernel;
var commandFileName = "theNotebook = " + "'"+ nb.notebook_path +"'";
kernel.execute(commandFileName);

将笔记本转换为普通的python脚本

get_ipython().system('jupyter nbconvert --to script "' + theNotebook + '"')

在Spyder中打开python脚本

get_ipython().system('spyder "' + theNotebook.replace('.ipynb', '.py') + '"')

获取内核json连接文件

import ipykernel
print("Copy and paste this into Spyder diaolgue box:\nConsoles~'Connect to an existing kernel':\n")
print(ipykernel.connect.get_connection_file())

我目前使用 Vaex 为直方图生成分箱数据并抽取大的时间序列数据。本质上，我将数百万个时间序列点减少到多个 bin 中，并计算每个 bin 的均值、最大值和最小值。我想比较Vaex（读取 HDF 文件）和 Dask（读取 Parquet 文件）并将其保持在“核外内存”。

更新 3（我已删除以前的更新）：

Dask 在第一次运行时比 Vaex 快 30%，但在重复运行时 Vaex 快 4.5 倍。我相信 Vaex 通过内存映射获得了这种加速。Dask 有没有办法改善重复运行的执行时间？

首先，创建一些随机数据并生成一些文件，警告：这将生成 1.5GB 的数据。

import numpy as np
import vaex as vx
import pandas as pd
import dask.dataframe as dd
import os

#cwd = os.getcwd() # Change this to your directory for path to save hdf and parquet files 
cwd = r'F:\temp\DaskVaexx' # Write files to this directory.  Use a fast SSD for …