如何从源代码编译我自己的glibc C标准库并使用它?

pyt*_*nic 11 c linux gcc glibc x86-64

我正在尝试编译自己的glibc.我有一个目录glibc,其中包含glibc我从互联网上下载的源代码.从我输入的目录中输入mkdir ../build-glibc.现在从build-glibc我输入的目录../glibc/configure中执行配置.现在我不知道怎么打电话make.我无法从glibc目录中调用它,因为它没有配置集,也不能从中调用它build-glibc,因为makefile不在该目录中.我该如何解决这个问题?

Cir*_*四事件 9

设置1:没有专用GCC的glibc

这种设置可能很有效,因为它不会重新编译整个GCC工具链,只需要glibc.

但是,因为它使用的主机C运行时的对象,例如是不可靠的crt1.o,crti.o以及crtn.o由glibc的提供.这可以参考:https://sourceware.org/glibc/wiki/Testing/Builds? action = recall & rev = 21 #Compile_against_glibc_in_an_installed_location那些对象做了glibc所依赖的早期设置,所以如果事情崩溃的话,我不会感到惊讶和令人敬畏的微妙方式.

有关更可靠的设置,请参阅下面的设置2.

构建glibc并在本地安装:

export glibc_install="$(pwd)/glibc/build/install"

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28
mkdir build
cd build
../configure --prefix "$glibc_install"
make -j `nproc`
make install -j `nproc`
Run Code Online (Sandbox Code Playgroud)

设置1:验证构建

test_glibc.c

#define _GNU_SOURCE
#include <assert.h>
#include <gnu/libc-version.h>
#include <stdatomic.h>
#include <stdio.h>
#include <threads.h>

atomic_int acnt;
int cnt;

int f(void* thr_data) {
    for(int n = 0; n < 1000; ++n) {
        ++cnt;
        ++acnt;
    }
    return 0;
}

int main(int argc, char **argv) {
    /* Basic library version check. */
    printf("gnu_get_libc_version() = %s\n", gnu_get_libc_version());

    /* Exercise thrd_create from -pthread,
     * which is not present in glibc 2.27 in Ubuntu 18.04.
     * https://stackoverflow.com/questions/56810/how-do-i-start-threads-in-plain-c/52453291#52453291 */
    thrd_t thr[10];
    for(int n = 0; n < 10; ++n)
        thrd_create(&thr[n], f, NULL);
    for(int n = 0; n < 10; ++n)
        thrd_join(thr[n], NULL);
    printf("The atomic counter is %u\n", acnt);
    printf("The non-atomic counter is %u\n", cnt);
}
Run Code Online (Sandbox Code Playgroud)

编译并运行test_glibc.sh:

#!/usr/bin/env bash
set -eux
gcc \
  -L "${glibc_install}/lib" \
  -I "${glibc_install}/include" \
  -Wl,--rpath="${glibc_install}/lib" \
  -Wl,--dynamic-linker="${glibc_install}/lib/ld-linux-x86-64.so.2" \
  -std=c11 \
  -o test_glibc.out \
  -v \
  test_glibc.c \
  -pthread \
;
ldd ./test_glibc.out
./test_glibc.out
Run Code Online (Sandbox Code Playgroud)

该计划输出预期的:

gnu_get_libc_version() = 2.28
The atomic counter is 10000
The non-atomic counter is 8674
Run Code Online (Sandbox Code Playgroud)

命令改编自https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location,--sysroot失败了:

cannot find /home/ciro/glibc/build/install/lib/libc.so.6 inside /home/ciro/glibc/build/install
Run Code Online (Sandbox Code Playgroud)

所以我删除了它.

ldd输出确认ldd我们刚刚构建的库和库实际上是按预期使用的:

+ ldd test_glibc.out
        linux-vdso.so.1 (0x00007ffe4bfd3000)
        libpthread.so.0 => /home/ciro/glibc/build/install/lib/libpthread.so.0 (0x00007fc12ed92000)
        libc.so.6 => /home/ciro/glibc/build/install/lib/libc.so.6 (0x00007fc12e9dc000)
        /home/ciro/glibc/build/install/lib/ld-linux-x86-64.so.2 => /lib64/ld-linux-x86-64.so.2 (0x00007fc12f1b3000)
Run Code Online (Sandbox Code Playgroud)

gcc编译调试输出显示我的主机运行时对象被使用,如前面提到的这是不好的,但我不知道如何解决它,例如,它包含:

COLLECT_GCC_OPTIONS=/usr/lib/gcc/x86_64-linux-gnu/7/../../../x86_64-linux-gnu/crt1.o
Run Code Online (Sandbox Code Playgroud)

设置1:修改glibc

现在让我们修改glibc:

diff --git a/nptl/thrd_create.c b/nptl/thrd_create.c
index 113ba0d93e..b00f088abb 100644
--- a/nptl/thrd_create.c
+++ b/nptl/thrd_create.c
@@ -16,11 +16,14 @@
    License along with the GNU C Library; if not, see
    <http://www.gnu.org/licenses/>.  */

+#include <stdio.h>
+
 #include "thrd_priv.h"

 int
 thrd_create (thrd_t *thr, thrd_start_t func, void *arg)
 {
+  puts("hacked");
   _Static_assert (sizeof (thr) == sizeof (pthread_t),
                   "sizeof (thr) != sizeof (pthread_t)");
Run Code Online (Sandbox Code Playgroud)

然后重新编译并重新安装glibc,并重新编译并重新运行我们的程序:

cd glibc/build
make -j `nproc`
make -j `nproc` install
./test_glibc.sh
Run Code Online (Sandbox Code Playgroud)

我们看到hacked按预期印刷了几次.

这进一步证实我们实际上使用了我们编译的glibc而不是主机.

在Ubuntu 18.04上测试过.

设置2:crosstool-NG原始设置

这是设置1的替代形式,这是最正确的设置我已经取得了远:一切是正确的,因为据我可以观察到,包括C运行时的对象,如crt1.o,crti.ocrtn.o.

在此设置中,我们将编译一个完整的专用GCC工具链,该工具链使用我们想要的glibc.

这种方法的唯一缺点是构建需要更长的时间.但我不会冒任何风险的生产设置.

crosstool-NG是一组脚本,可以从我们的源代码下载和编译所有内容,包括GCC,glibc和binutils.

是的,GCC构建系统非常糟糕,我们需要一个单独的项目.

这种设置只是不完美,因为crosstool-NG不支持在没有额外-Wl标志的情况下构建可执行文件,因为我们自己构建了GCC,所以感觉很奇怪.但一切似乎都有效,所以这只是一个不便之处.

获取crosstool-NG,配置并构建它:

git clone https://github.com/crosstool-ng/crosstool-ng
cd crosstool-ng
git checkout a6580b8e8b55345a5a342b5bd96e42c83e640ac5
export CT_PREFIX="$(pwd)/.build/install"
export PATH="/usr/lib/ccache:${PATH}"
./bootstrap
./configure --enable-local
make -j `nproc`
./ct-ng x86_64-unknown-linux-gnu
./ct-ng menuconfig
env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`
Run Code Online (Sandbox Code Playgroud)

构建大约需要30分钟到2个小时.

我能看到的唯一强制配置选项是使其与主机内核版本匹配,以使用正确的内核头文件.找到您的主机内核版本:

uname -a
Run Code Online (Sandbox Code Playgroud)

这告诉我:

4.15.0-34-generic
Run Code Online (Sandbox Code Playgroud)

所以在menuconfig我做:

  • Operating System
    • Version of linux

所以我选择:

4.14.71
Run Code Online (Sandbox Code Playgroud)

这是第一个相同或更旧的版本.它必须更旧,因为内核是向后兼容的.

设置2:可选配置

.config我们与生成./ct-ng x86_64-unknown-linux-gnu具有:

CT_GLIBC_V_2_27=y
Run Code Online (Sandbox Code Playgroud)

要改变它,在menuconfig做:

  • C-library
  • Version of glibc

保存.config,继续构建.

或者,如果你想使用自己的glibc的来源,例如使用从最新的git的glibc,继续像这样:

  • Paths and misc options
    • Try features marked as EXPERIMENTAL:设为true
  • C-library
    • Source of glibc
      • Custom location:说是的
      • Custom location
        • Custom source location:指向包含glibc源的目录

glibc被克隆为:

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28
Run Code Online (Sandbox Code Playgroud)

设置2:测试它

一旦你构建了你想要的工具链,就用以下方法测试它:

#!/usr/bin/env bash
set -eux
install_dir="${CT_PREFIX}/x86_64-unknown-linux-gnu"
PATH="${PATH}:${install_dir}/bin" \
  x86_64-unknown-linux-gnu-gcc \
  -Wl,--dynamic-linker="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib/ld-linux-x86-64.so.2" \
  -Wl,--rpath="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib" \
  -v \
  -o test_glibc.out \
  test_glibc.c \
  -pthread \
;
ldd test_glibc.out
./test_glibc.out
Run Code Online (Sandbox Code Playgroud)

除了现在使用了正确的运行时对象之外,一切似乎都像在安装程序1中一样工作:

COLLECT_GCC_OPTIONS=/home/ciro/crosstool-ng/.build/install/x86_64-unknown-linux-gnu/bin/../x86_64-unknown-linux-gnu/sysroot/usr/lib/../lib64/crt1.o
Run Code Online (Sandbox Code Playgroud)

设置2:高效的glibc重新编译尝试失败

如下所述,使用crosstool-NG似乎不可能.

如果你只是重建;

env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`
Run Code Online (Sandbox Code Playgroud)

然后考虑对自定义glibc源位置的更改,但它从头开始构建所有内容,使其无法用于迭代开发.

如果我们这样做:

./ct-ng list-steps
Run Code Online (Sandbox Code Playgroud)

它给出了构建步骤的一个很好的概述:

Available build steps, in order:
  - companion_tools_for_build
  - companion_libs_for_build
  - binutils_for_build
  - companion_tools_for_host
  - companion_libs_for_host
  - binutils_for_host
  - cc_core_pass_1
  - kernel_headers
  - libc_start_files
  - cc_core_pass_2
  - libc
  - cc_for_build
  - cc_for_host
  - libc_post_cc
  - companion_libs_for_target
  - binutils_for_target
  - debug
  - test_suite
  - finish
Use "<step>" as action to execute only that step.
Use "+<step>" as action to execute up to that step.
Use "<step>+" as action to execute from that step onward.
Run Code Online (Sandbox Code Playgroud)

因此,我们看到有一些glibc步骤与几个GCC步骤交织在一起,最明显的libc_start_files是之前cc_core_pass_2,这可能是最昂贵的步骤cc_core_pass_1.

要构建一个步骤,必须首先.config在初始构建的选项中设置"保存中间步骤" :

  • Paths and misc options
    • Debug crosstool-NG
      • Save intermediate steps

然后你可以尝试:

env -u LD_LIBRARY_PATH time ./ct-ng libc+ -j`nproc`
Run Code Online (Sandbox Code Playgroud)

但不幸的是,+所需的内容如下所述:https://github.com/crosstool-ng/crosstool-ng/issues/1033#issuecomment-424877536

但请注意,在中间步骤重新启动会将安装目录重置为该步骤中的状态.即,你将有一个重建的libc - 但没有用这个libc构建的最终编译器(因此,没有像libstdc ++这样的编译器库).

并且基本上仍然使重建太慢而不适合开发,我不知道如何在不修补crosstool-NG的情况下克服这个问题.

此外,从libc步骤开始似乎没有再次复制源Custom source location,进一步使该方法无法使用.

额外奖励:stdlibc ++

如果您对C++标准库也感兴趣,可以获得奖励:如何编辑和重新构建GCC libstdc ++ C++标准库源代码?


Arj*_*kar 8

Makefile会在你的存在build-glibc的目录,如果configure脚本成功完成.

如果一切似乎都在顺利进行configure,但仍然没有Makefile,那么你可能错过了一个特质:

configure为glibc执行操作时,通常会提供替代方法--prefix,因为安装到默认位置(/usr/local)可能会使系统瘫痪.如果您不提供,则需要打开--disable-sanity-checks.

如果不是这种情况,请查找config.log文件,并阅读其内容.