来自open()的钩子的分段错误

Question

我试图在系统函数上创建一个钩子open().我按照以下几点做了这个.

我创建了一个包装库,其中包含以下内容:

extern int mocked_open(const char* fn, int flags, va_list args);

int open(const char* fn, int flags, ...)
{
    int r = -1;
    va_list args;

    va_start(args, flags);
    r = mocked_open(fn, flags, args);
    va_end(args);

    return r;
}

我将其编译为libwrapper.so,我使用LD_PRELOAD加载.

执行mocked_open()如下(我使用CPPUtest框架):

int mocked_open(const char* fn, int flags, va_list args)
{
    if (strncmp(fn, test_device_id, 11) == 0)
    {
        return mock().actualCall("open").returnValue().getIntValue();
    }
    else
    {
        int r = -1;
        int (*my_open)(const char*, int, ...);
        void* fptr = dlsym(RTLD_NEXT, "open");
        memcpy(&my_open, &fptr, sizeof(my_open));

        if (flags & O_CREAT)
        {
            r = my_open(fn, flags, va_arg(args, mode_t));
        }
        else
        {
            r = my_open(fn, flags);
        }

        return r;
    }
}

这test_device_id是一个简单的字符串("test_device"),我希望不会在其他地方使用.

在运行测试期间,可执行文件会因分段错误而崩溃.我已经将其追溯到GCC分析功能,该功能想要打开/创建一堆.gcda文件并调用open()它.

在使用strace进行一些调试之后(根据下面的建议),我发现该行r = my_open(fn, flags, va_arg(args, mode_t));确实是罪魁祸首.它被递归地调用,或者似乎是这样:我看到很多对这一行的调用,没有函数返回.然后是段错误.正在打开的文件是相应的.gcda文件(用于分析).事实上,只有启用了性能分析才会发生段错误.

Answer 1

试试这个

typedef int (*OpenFunction)(const char* fn, int flags, ...);

然后

OpenFunction function;
void      **pointer;

pointer  = (void **)&function;
*pointer = dlsym(RTLD_NEXT, "open");

这是一个完整的工作示例

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <dlfcn.h>
#include <unistd.h>
#include <fcntl.h>

#include <errno.h>

typedef int (*OpenFunction)(const char* fn, int flags, ...);

int main(int argc, char **argv)
{
    OpenFunction function;
    void       *dl;
    int         fd;
    void      **pointer;

    if (argc < 2)
        return -1;
    pointer  = (void **)&function;
    *pointer = dlsym(RTLD_NEXT, "open");

    fd = function(argv[1], O_RDONLY);
    if (fd != -1)
    {
        printf("file opened succesfully\n");
        close(fd);
    }
    else
    {
        printf("%s: cannot open the file\n", strerror(errno));
    }
    return 0;
}

Answer 2

当您在启用 gcov 分析的情况下进行编译时，编译器会在函数中插入额外的代码，以跟踪已执行的代码。在粗略的伪代码中，插入的代码将执行以下操作（除其他外）：

if (!output_file_has_been_opened) {
    fd = open(output_filename, ...);
    check_ok(fd);
    output_file_has_been_opened = TRUE;
    track_coverage();
}

...因此，如果输出文件尚未成功打开（如程序启动时），它将尝试打开它。不幸的是，在这种情况下，它将调用您的模拟open()函数 - 它具有相同的插入代码；由于文件仍未成功打开，并且由于 gcov 代码不知道发生了异常情况，因此它将open()再次尝试调用 - 这就是导致递归的原因（以及最终的段错误，一旦堆栈被筋疲力尽的）。