小编jtl*_*lz2的帖子

从熊猫中删除非重复行

这相当简单,但我无法理解。假设对于以下数据框,我只想保留 y 列中具有重复值的行:

>>> df
   x  y
    x   y
0   1   1
1   2   2
2   3   2
3   4   3
4   5   3
5   6   3
6   7   5
7   8   2
Run Code Online (Sandbox Code Playgroud)

所需的输出如下所示:

>>> df
    x   y
1   2   2
2   3   2
3   4   3
4   5   3
5   6   3
7   8   2
Run Code Online (Sandbox Code Playgroud)

我试过这个:

df[~df.duplicated('y')]
Run Code Online (Sandbox Code Playgroud)

但我明白了:

    x   y
0   1   1
1   2   2
3   4   3
6   7   5
Run Code Online (Sandbox Code Playgroud)

python pandas

7
推荐指数
1
解决办法
4710
查看次数

Apache Zeppelin 0.7.3 - 浏览器中的http错误503

按照这里的简约安装说明,然后在macOS High Sierra 10.13.1上执行:

bin/zeppelin-daemon.sh start
Run Code Online (Sandbox Code Playgroud)

守护进程启动正常,但将任何浏览器指向http://localhost:8080产量

HTTP ERROR: 503
    Problem accessing /. Reason:

    Service Unavailable
Powered by Jetty://
Run Code Online (Sandbox Code Playgroud)

如果我以root身份运行,或者以root身份运行浏览器,或者通过homebrew(brew install apache-zeppelin)安装,则会发生同样的事情.

权限问题?

什么是解决方案?

谢谢!

jetty apache-zeppelin

7
推荐指数
1
解决办法
3184
查看次数

具有ctypes功能的Numpy数组接口

我正在尝试将共享C库与某些python代码连接起来.与库的接口是这样的

typedef struct{
    int v1;
    double* v2} input;
Run Code Online (Sandbox Code Playgroud)

还有另外两种类型,例如:配置和输出类型.

我在python中使用ctypes Structure如下设置这些结构:

class input(Structure):
    _fields_ = [("v1",c_int),("v2",POINTER(c_double)]
Run Code Online (Sandbox Code Playgroud)

C代码有一些函数接收指向该结构的指针,argtypes定义如下:

fun.argtypes = [constraints,input,POINTER(input)]
Run Code Online (Sandbox Code Playgroud)

constraints是另一个具有一些int配置字段的结构.

首先,我更新输入结构中的v2字段

input.v2 = generated_array.ctypes.data_as(POINTER(c_double))
Run Code Online (Sandbox Code Playgroud)

然后我称之为:

fun(constraints,input,byref(output))
Run Code Online (Sandbox Code Playgroud)

函数原型请求struct和*to struct(假设输出结构类型与输入结构类型相同).

然后我想访问存储在输出的v2字段中的乐趣结果.但是我得到了意想不到的结果.这样做有更好/更正确的方法吗?

我在这里搜索了很多并阅读了文档,但我找不到有什么问题.我没有任何错误消息,但是我从共享库中收到的警告似乎表明这些接口存在错误.


我猜我发现了这个问题:

当我调用该方法时,会调用一个numpy数组.然后我创建了4个向量:

    out_real = ascontiguousarray(zeros(din.size,dtype=c_double))
    out_imag = ascontiguousarray(zeros(din.size,dtype=c_double))
    in_real  = ascontiguousarray(din.real,dtype = c_double)
    in_imag  = ascontiguousarray(din.imag,dtype = c_double) 
Run Code Online (Sandbox Code Playgroud)

其中din是输入向量.我用这种方式测试了方法:

    print in_real.ctypes.data_as(POINTER(c_double))    
    print in_imag.ctypes.data_as(POINTER(c_double))
    print out_real.ctypes.data_as(POINTER(c_double))
    print out_imag.ctypes.data_as(POINTER(c_double))
Run Code Online (Sandbox Code Playgroud)

结果是:

    <model.LP_c_double object at 0x1d81f80>
    <model.LP_c_double object at 0x1d81f80>
    <model.LP_c_double object at 0x1d81f80>
    <model.LP_c_double object at 0x1d81f80> …
Run Code Online (Sandbox Code Playgroud)

python ctypes numpy

6
推荐指数
1
解决办法
1901
查看次数

如何从内存中解码jpg图像?

我可以通过PIL,Python OpenCV等从磁盘读取jpg图像,通过一些内置函数(例如OpenCV)将其转换为numpy数组arr= cv2.imread(filename).

但是如何直接从内存中解码二进制格式的jpg?

使用案例:我想将一个jpg图像以二进制格式放入数据库,然后将其从db读入内存并将其解码为numpy数组.

这可能吗?

python binary jpeg opencv numpy

6
推荐指数
1
解决办法
5576
查看次数

将 PyCharm 中的所有 Jupyter 笔记本背景颜色更改为白色

我以某种方式改变了我的 PyCharm 环境的外观,现在因为我的屏幕不是很亮,所以在晴天时我什么也看不到。

现在看起来像这样: 在此处输入图片说明

所以,我认为改变 Darcula 的主题会有所帮助: 在此处输入图片说明

但结果更糟: 在此处输入图片说明

我知道从黑色改变输出颜色是不可能的,但我认为所有其他颜色都是可行的。你能告诉我恢复默认外观的步骤吗?普通的白色笔记本最好。谢谢。

background-color pycharm

6
推荐指数
2
解决办法
5327
查看次数

k8s/python:如何使用 Kubernetes Python 客户端读取机密?

我想做与这个问题相反的事情:

如何使用 Kubernetes Python 客户端创建秘密?

IE:

如何通过 kubernetes-python API 从 kubernetes 集群读取现有机密?

用例是:我想从 jupyter 笔记本(也在我的集群中运行)向 mongodb(在我的集群中运行)进行身份验证,出于明显的原因,不将 mongodb 身份验证密码保存在 jupyter 笔记本中。

谢谢!

python mongodb kubernetes jupyter-notebook

6
推荐指数
2
解决办法
8100
查看次数

什么时候在keras中使用sample_weights合适?

根据这个问题,我了解到,class_weightkeras训练期间应用加权损失,并且sample_weight如果我对所有训练样本没有相同的信心,则会按样本进行一些操作。

所以我的问题是,

  1. 验证期间的损失是由 加权class_weight,还是仅在训练期间加权?
  2. 我的数据集有 2 个类别,实际上我的类别分布并没有严重不平衡。该比例约为。1.7 : 1.是否有必要使用class_weight来平衡损失甚至使用过采样?可以将稍微不平衡的数据保留为通常的数据集处理吗?
  3. 我可以简单地考虑sample_weight为每个训练样本赋予的权重吗?而且我的训练样本可以得到同等的置信度,所以我可能不需要使用它。

python keras tensorflow

6
推荐指数
1
解决办法
8719
查看次数

如何克服“错误:在注册表中找不到对象‘jupyter.widget’”?

我在 kubernetes 上的 jupyterhub 中运行 jupyterlab。

我正在尝试使用例如显示小部件

from ipywidgets import interact

@interact(x=(0, 100, 10))
def p(x=50):
    pass
Run Code Online (Sandbox Code Playgroud)

实验室笔记本打印的不是预期的交互式小部件:

interactive(children=(IntSlider(value=50, description='x', step=10), Output()), _dom_classes=('widget-interact...
Run Code Online (Sandbox Code Playgroud)

检查 javascript 控制台时:

default.js:129 Error: Object 'jupyter.widget' not found in registry
    at default.js:1474
    at new Promise (<anonymous>)
    at Object.loadObject (default.js:1453)
    at DefaultKernel.<anonymous> (default.js:919)
    at Generator.next (<anonymous>)
    at default.js:9
    at new Promise (<anonymous>)
    at push.YC29.__awaiter (default.js:5)
    at DefaultKernel._handleCommOpen (default.js:911)
    at DefaultKernel.<anonymous> (default.js:1018)
Run Code Online (Sandbox Code Playgroud)

我尝试了许多不同的组合:

!pip install ipywidgets
!pip install widgetsnbextension --upgrade
!pip install widgetslabextension --upgrade
!conda install -n base …
Run Code Online (Sandbox Code Playgroud)

python jupyter-notebook jupyterhub ipywidgets jupyter-lab

6
推荐指数
1
解决办法
8960
查看次数

如何使用 python 客户端库将 JSON 记录批量上传到 AWS OpenSearch 索引?

我有一个足够大的数据集,我想对 AWS OpenSearch 中的 JSON 对象进行批量索引。

我看不到如何使用以下任何一个来实现此目的:boto3、awswrangler、opensearch-py、elasticsearch、elasticsearch-py。

有没有办法在不直接使用 python 请求(PUT/POST)的情况下做到这一点?

请注意,这不适用于:ElasticSearch、AWS ElasticSearch。

非常感谢!

python opensearch elasticsearch-py aws-data-wrangler amazon-opensearch

6
推荐指数
1
解决办法
1万
查看次数

谷歌云视觉OCR支持条码读取吗?

我正在构建一个利用谷歌云平台的 OCR 服务的应用程序。我仍在处理它,只是想知道此服务是否也检测条形码并对其进行解码?

谢谢。

ocr google-cloud-vision

5
推荐指数
1
解决办法
2397
查看次数