小编Dan*_*ats的帖子

在熊猫数据框中查找嵌套列

我有一个包含许多列(压缩)JSON 格式的大型数据集。我正在尝试将其转换为镶木地板以进行后续处理。某些列具有嵌套结构。现在我想忽略这个结构,只是将这些列作为(JSON)字符串写出来。

所以对于我确定的列,我正在做:

df[column] = df[column].astype(str)
Run Code Online (Sandbox Code Playgroud)

但是,我不确定哪些列是嵌套的,哪些不是。当我用镶木地板书写时,我看到以下消息:

<stack trace redacted> 

  File "pyarrow/_parquet.pyx", line 1375, in pyarrow._parquet.ParquetWriter.write_table
  File "pyarrow/error.pxi", line 78, in pyarrow.lib.check_status
pyarrow.lib.ArrowInvalid: Nested column branch had multiple children: struct<coordinates: list<item: double>, type: string>
Run Code Online (Sandbox Code Playgroud)

这表明我未能将我的一列从嵌套对象转换为字符串。但应该归咎于哪个专栏?我怎么知道?

当我打印.dtypes我的 Pandas 数据框时,我无法区分字符串和嵌套值,因为两者都显示为object.

编辑:该错误通过显示结构详细信息提示了嵌套列,但这非常耗时调试。此外,它只打印第一个错误,如果您有多个嵌套列,这可能会很烦人

python python-3.x pandas pyarrow

8
推荐指数
1
解决办法
2399
查看次数

由kinesis引发的跨帐户lambda触发器

我试图通过帐户'A'中的Kinesis流在帐号'B'中触发lambda.这类似于此处描述的内容,除了示例使用S3而不是Kinesis.

为此,我正在尝试设置正确的权限,但遇到了困难.

首先我添加此权限:

  aws lambda add-permission \
--function-name "$function_name" \
--statement-id 'Id-123' \
--action "lambda:InvokeFunction" \
--principal $source_account \
--source-arn "$stream_arn" \
--source-account $source_account \
--region us-east-1 \
--profile "$profile"
Run Code Online (Sandbox Code Playgroud)

$source_account"A"的帐户ID 在哪里.

然后我尝试创建源映射:

 aws lambda create-event-source-mapping \
    --event-source-arn "$stream_arn" \
    --function-name "$function_name" \
    --starting-position TRIM_HORIZON \
    --region us-east-1 \
    --profile "$profile"
Run Code Online (Sandbox Code Playgroud)

我收到以下错误:

调用CreateEventSourceMapping操作时发生客户端错误(InvalidParameterValueException):角色和事件源必须与云功能位于同一帐户中

我不明白这个错误.它说我想做的事是不可能的吗?但是,在这里如何通过S3 完成,这基本上是相同的机制?

amazon-web-services amazon-kinesis aws-lambda

7
推荐指数
1
解决办法
1950
查看次数

vim wildmenu 深入到目录

我使用 vim 尝试搜索要打开的文件。我有wildmenu=full。

在此输入图像描述

按下<tab>会将我推到下一个目录,但如何深入了解当前选定的目录?我当前的工作流程是:输入一个字符,删除它,<tab>然后继续。一定会有更好的办法!

vim

7
推荐指数
1
解决办法
1106
查看次数

在 python 字典中为 mypy 指定键

假设我有一些代码

def get_x(d: dict) -> int:
    d["x"]
Run Code Online (Sandbox Code Playgroud)

但是,我想告诉 mypyd应该只包含某些键(例如只有“x”键)。这样,如果我在尝试引用无效键的代码中犯了错误d,mypy 将触发错误。

我的问题是:

  1. 这可能吗?mypy 可以验证字典键吗?
  2. 如果是,这是如何完成的?如果没有,是否有首选的解决方法?

python python-3.x mypy python-typing

7
推荐指数
1
解决办法
1848
查看次数

如何在PHP中使用JQuery AJAX调用触发"错误"回调

我有以下PHP代码片段:

if (!($result = mysql_query($query, $link))) {
   die("Invalid SQL query: " . $query);
}
Run Code Online (Sandbox Code Playgroud)

我有以下JQuery代码片段:

$.ajax({
        url: "....search.php", 
        data: ...,

        async: false, //to trigger error alert

        success: function(xml) {
            ...
        },

        error: function(xml) {
            foundError = true;
        },

        dataType: "xml"
    });

if(foundError) {
        setProgress("Could not complete the search because an error was found", ProgressBar.ERROR);
}
Run Code Online (Sandbox Code Playgroud)

是否有可能让die调用触发JQuery错误函数回调?如果没有,我怎么会触发呢?

php error-handling jquery

6
推荐指数
1
解决办法
4369
查看次数

将文本前置到C中的文件

我想使用C向文件(或文件组)添加标准头文件.这些文件可能非常大,因此将它们加载到内存中或将它们复制到临时文件中是个坏主意(我认为).

有没有办法简单地将标头直接添加到每个文件?

标题本身非常小,不超过1 KB

c io file

6
推荐指数
2
解决办法
4570
查看次数

dlclose不会关闭库打开文件句柄

我正在动态加载库dlopen,然后关闭它dlclose.我希望所有的库资源在dlclose完成后都可以释放,但是在dlclose调用之后仍然会从库中打开文件描述符.我想知道如何确保在程序执行过程中卸载库,以便清理它的所有资源.

我的代码如下:

#include <CL/cl.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <dlfcn.h>
#include <string.h>
#include <dirent.h>
#include <fcntl.h>
#include <unistd.h>

#define MAX_PATH_LENGTH         80

int deviceQ()
{
    cl_int ret;
    void * libHandle = dlopen("/usr/lib64/libOpenCL.so", RTLD_LAZY);
    cl_int (* clGetPlatformIDs)(cl_uint, cl_platform_id*, cl_uint*) = dlsym(
            libHandle, "clGetPlatformIDs"
    );
    cl_int (* clGetDeviceIDs)(cl_platform_id, cl_device_type, cl_uint, cl_device_id*, cl_uint*) =
        dlsym(libHandle, "clGetDeviceIDs");
    /********************** PREAMBLE **************************************/
    cl_device_id device_id = NULL;
    cl_platform_id platform_id = NULL;
    cl_uint ret_num_devices;
    cl_uint ret_num_platforms;

    ret …
Run Code Online (Sandbox Code Playgroud)

c dlopen

6
推荐指数
1
解决办法
860
查看次数

boto3.Bucket.upload_file是阻止还是非阻止?

boto3.Bucket.upload_file是阻止还是非阻止?

即如果我要运行以下

bucket = session.Bucket(bucket_name)
bucket.upload_file(Key=s3_key, Filename=source_path)
os.remove(source_path)
Run Code Online (Sandbox Code Playgroud)

我是否有竞争条件,具体取决于文件的大小?还是可以保证在删除文件之前完成上传?

python amazon-s3 amazon-web-services boto3

6
推荐指数
1
解决办法
3636
查看次数

在远程服务器上运行时指定 Jupyter Notebook 的主机名

我正在远程服务器上运行笔记本,我通过浏览器从本地计算机连接到该服务器。我的一个小烦恼是它在开始时打印:

Serving notebooks from local directory: /home/xxxxxxx
0 active kernels
The Jupyter Notebook is running at:
http://(friendly or 127.0.0.1):8888/
Run Code Online (Sandbox Code Playgroud)

friendly主机的友好名称在哪里。主机的 FQDN 实际上是friendly.x.y.z.com. 我希望它打印这个:

The Jupyter Notebook is running at:
http://friendly.x.y.z.com:8888/
Run Code Online (Sandbox Code Playgroud)

这样就可以从控制台直接单击该 URL。我可以在 jupyter 笔记本中传递一个配置选项来明确指定我想要显示的主机名吗?

需要明确的是,http://friendly.x.y.z.com:8888/尽管出现上述消息,浏览器仍能正确解析。

python jupyter-notebook

6
推荐指数
1
解决办法
4683
查看次数

如何进行仅类型注释的类型断言?

我有两个功能:

def get_foo(params) -> Optional[str]
def bar(foo: str)
Run Code Online (Sandbox Code Playgroud)

以及将这些函数链接在一起的函数:

def f(params):
    # other stuff up here
    foo = get_foo(params)
    return bar(foo)
Run Code Online (Sandbox Code Playgroud)

我知道基础上,其他的事情在我的函数的结果发生的事情get_foo将永远没有了。

当我运行mypy这个文件时,我当然会得到错误:

error: Argument 1 of "bar" has incompatible type "Optional[str]"; expected "str"
Run Code Online (Sandbox Code Playgroud)

这是有道理的。

我可以添加一个assert foo is not None语句,但这是热路径代码,在我的测试中它具有可衡量的性能影响。我只想为 mypy 做一个类型断言。我怎么做?

编辑:我也尝试#type: str在赋值语句后添加注释,但这产生了类似的错误

python python-3.x mypy python-typing

6
推荐指数
1
解决办法
1211
查看次数