我试图在C中编写一个自定义分配器用于调试目的(作为练习),我将使用单个链表来使用First Fit算法将自由列表保存在一起.我在下面展示了我想在"空内存节点"中创建的结构.
如何在内存的前几个字节处编写头块(一个特定的联合),我得到(我使用malloc()来初始获得一块内存)以便剩余的字节是空闲的？
这是我正在使用的联盟:
/*Define Header Structure for proper alignment*/
union header {
struct{
union header* next;
unsigned size ; /*Make it size_t*/
}s;
double dummy_align_var;
};
-------------------------------------------------------------------------------
|Next |Size of |16Byte| User is concerned only about |16Byte| |
|Free Memory |Allocated|Header| this portion of memory |Footer|Checksum |
|Address |Block |Picket| and has no knowledge of rest |Picket| |
-------------------------------------------------------------------------------
|-------Header---------| ^Address Returned to user
^------User Requested Size-----^
^-------------Memory Obtained From The Operating System-----------------------^
*/
[编辑]根据提供的建议更改块结构.
我尝试通过仪器监控分配.
但是,当我跑到某一点,发送一些jabber msg时,仪器会自动停止工作.
我想知道它是如何停止的.
应用程序中是否有任何代码可以阻止仪器？
我正在测试几种不同方式的速度来对我的一些数据进行复杂的迭代,我发现了一些奇怪的东西.似乎某个函数的局部大型列表会大大减慢该函数的速度,即使它没有触及该列表.例如,通过相同生成器函数的2个实例创建2个独立列表,第二次约慢2.5倍.如果在创建第二个列表之前删除了第一个列表,则两个迭代器都会使用相同的spee.
def f():
l1, l2 = [], []
for c1, c2 in generatorFxn():
l1.append((c1, c2))
# destroying l1 here fixes the problem
for c3, c4 in generatorFxn():
l2.append((c3, c4))
这些列表每个最终大约有310万个项目,但我也看到了与较小列表相同的效果.第一个for循环运行大约需要4.5秒,第二个循环需要10.5秒.如果我插入l1= []或l1= len(l1)在注释位置,两个for循环都需要4.5秒.
为什么函数中本地内存分配的速度与该函数变量的当前大小有关？
编辑:禁用垃圾收集器修复一切,所以必须由于它不断运行.案件结案!
所以我正在重新认识C,这个概念让我特别困惑.
目标是创建一个动态分配的字符串数组.我已完成此操作,首先创建一个空数组并为输入的每个字符串分配适当的空间量.唯一的问题是,当我尝试实际添加一个字符串时,我得到一个seg错误!我无法弄清楚为什么,我有预感,这是因为我的strcpy函数没有看错.
我在这个网站上看了一遍详尽的答案,我找到了帮助,但不能完全达成协议.您将提供的任何帮助将不胜感激!
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
int main()
{
int count = 0; //array index counter
char *word; //current word
char **array = NULL;
char *term = "q"; //termination character
char *prnt = "print";
while (strcmp(term, word) != 0)
{
printf("Enter a string. Enter q to end. Enter print to print array\n");
// fgets(word, sizeof(word), stdin); adds a newline character to the word. wont work in this case
scanf("%s", word);
//printf("word: %s\nterm: %s\n",word, term);
if (strcmp(term, word) …首先，我非常清楚如何VirtualAlloc()工作：当我保留内存块时，我得到与 64K 边界对齐的地址（可以通过 轻松获得该值GetSystemInfo()），然后当我提交页面时，我得到它们的页面大小边界，通常为 4K。
我无法得到的事情是，为什么如果我使用标志调用VirtualAlloc()（MEM_RESERVE所以我要保留页面）并且指定一定的大小，比如说 4096，那么我将无法将该区域进一步增长到 64K ？
我的意思是：当我提交页面时，我可以使用最多 4K 的内存，因为 Windows 会将这些提交与页面大小对齐（当然，我正在提交页面！），但是当我保留内存区域时，应该Windows 不会将我传递到的区域大小调整VirtualAlloc()为 64K 吗？“浪费”的 15 页都去哪儿了？
因此，如果我保留 4096 字节，我是否应该能够提交更多页面直到 65536 字节？看来并非如此，因为如果我尝试这样做，VirtualAlloc()则会因ERROR_INVALID_ADDRESS最后一个错误代码而失败。
但为什么？如果 Windows 确实在 64K 边界上保留页面，并且我保留小于该大小的页面，我会永远丢失不保留的页面吗？因为似乎没有办法再次提交它们，或者调整区域大小以适应我因较低的预留而错过的 64K 边界。
那么，进程的虚拟空间会不会有漏洞呢？为了避免这种情况，我是否必须始终在 64K 边界上保留内存，因此在保留页面时始终VirtualAlloc()给出64K 对齐的值？
当我使用的时候呢MEM_RESERVE|MEM_COMMIT？由于标志的原因，我不应该在那里传递 64K 对齐的大小吗MEM_RESERVE？
我提供了一些我尝试过的代码示例。正如您在这里所看到的，第一个函数成功了，因为我保留了更多页面，那么我的提交将有足够的“保留区域”来实际提交，但在这种情况下，该区域将<64K，那么那些“丢失的”页面去哪儿了？
在第二种情况下，我只是MEM_RESERVE|MEM_COMMIT，因此提交其他页面会失败并显示ERROR_INVALID_ADDRESS最后一个错误代码。很公平，但同样在这里，为什么我不能提交更多页面，至少在 64K 边界上？为了不浪费地址并创建这些“漏洞”，我真的应该在 64K 边界上保留虚拟内存吗？如果我不遵守这个原则怎么办？我总是看到很多代码只是简单地VirtualAlloc()用MEM_COMMIT|MEM_RESERVE …
第一个括号有什么作用？
// TArray<struct FBatchedLine> BatchedLines; // declared in LineBatchComponent.h
new(BatchedLines) FBatchedLine(Start, End, Color, LifeTime, Thickness, DepthPriority);
在新的运营商参考说，这是一个placement_params：
如果提供了placement_params，它们将作为附加参数传递给分配函数
我想它直接在给定数组的末尾创建对象BatchedLines，但我不确定完全理解它是如何工作的。
什么时候placement_params有用？
笔记
对于那些有权访问 github UnrealEngine 存储库的人，这里是源文件。
将程序从Python翻译成Julia后,我非常不满意:
我认为原因是我不明白内存分配是如何工作的(autodidact在这里,没有CS背景).我会在这里发布我的代码但是它太长而且太具体了,除了我之外它对任何人都没有好处.因此我做了一些实验,现在我有一些问题.
考虑这个简单script.jl:
function main()
@time begin
a = [1,2,3]
end
end
main()
当我运行它时,我得到:
$ julia script.jl
0.000004 seconds (1 allocation: 96 bytes)
1.为什么96字节？当我设置时a = []我得到64个字节(为什么空数组的重量如此之多？).96字节 - 64字节= 32字节.但是a是一个Array{Int64,1}.3*64位= 3*8字节= 24字节!= 32字节.
2.即使我设置了,为什么我会得到96个字节a = [1,2,3,4]？
3.运行时为什么我得到937.500 KB:
function main()
@time begin
for _ in 1:10000
a = [1,2,3]
end
end
end
main()
而不是960.000 KB？
4.为什么,例如,filter()如此低效？看看这个:
check(n::Int64) = n % 2 == …我想了解的时机malloc和free。所以我写了这个简单的程序：
#include <stdlib.h>
#include <stdio.h>
int
main()
{
long i;
for(i = 2; i < 10000000000; i*=2) {
struct timeval start, end;
double timing ;
long j;
gettimeofday(&start, NULL);
double *vect = malloc((size_t) i * sizeof(*vect));
if (!vect) {
printf("malloc failed\n");
exit(-1);
}
gettimeofday(&end, NULL);
timing = (double) (end.tv_sec * 1e6 + end.tv_usec) - (start.tv_sec * 1e6 + start.tv_usec);
printf("size %ld allocating (%f)\t", i * sizeof(*vect), timing);
/* I do this to avoid lazy allocation */ …是的，我最终会将它用于 DMA，但暂时将一致性放在一边。我有 64 位 BAR 寄存器，因此，AFAIK，所有 RAM（例如高于 4G）都可用于 DMA。
我正在寻找大约 64MB 的连续 RAM。是的，很多。
Ubuntu 16 和 18 具有CONFIG_CMA=y但未CONFIG_DMA_CMA在内核编译时设置。
我注意到，如果两者都设置（在内核构建时），我可以简单地调用dma_alloc_coherent，但是，出于逻辑原因，重新编译内核是不可取的。
这些机器将始终具有至少 32GB 的 RAM，不运行任何占用大量内存的东西，并且内核模块将在启动后不久加载，然后 RAM 变得明显碎片化，而且，AFAIK，没有其他东西使用 CMA。
我已经设置了内核参数 CMA=1G。（并尝试过 256M 和 512M）
# dmesg | grep cma
[ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-4.4.170 root=UUID=2b25933c-e10c-4833-b5b2-92e9d3a33fec ro cma=1G
[ 0.000000] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-4.4.170 root=UUID=2b25933c-e10c-4833-b5b2-92e9d3a33fec ro cma=1G
[ 0.000000] Memory: 65612056K/67073924K available (8604K kernel code, 1332K rwdata, 3972K rodata, 1484K init, 1316K bss, 1461868K reserved, 0K cma-reserved)
我试过了 …
给定以下代码，为什么capacity每个向量的 是 0 而不是chunk_size？
#[test]
fn test() {
let chunk_size = 1024;
let data: Vec<Vec<u8>> = vec![Vec::with_capacity(chunk_size); 2];
assert_eq!(data[0].capacity(), chunk_size);
assert_eq!(data[1].capacity(), chunk_size);
}
allocation ×10
memory ×4
c ×3
c++ ×2
arrays ×1
contiguous ×1
debugging ×1
dma ×1
instruments ×1
iphone ×1
julia ×1
linux-kernel ×1
malloc ×1
new-operator ×1
performance ×1
python ×1
rust ×1
string ×1
vector ×1
winapi ×1