小编aSt*_*eve的帖子

将非连续块从文件映射到连续的内存地址

我对使用内存映射IO的前景感兴趣,最好利用boost :: interprocess中的工具来实现跨平台支持,将文件中不连续的系统页大小块映射到内存中的连续地址空间.

简化的具体方案:

我有许多"普通旧数据"结构,每个都有一个固定的长度(小于系统页面大小.)这些结构被连接成一个(非常长的)流,其结构的类型和位置由在流中进行它们的那些结构的值.我的目标是在要求苛刻的并发环境中最小化延迟并最大化吞吐量.

我可以非常有效地读取这些数据,通过内存映射它至少是系统页面大小的两倍...并建立一个新的映射,立即读取超出倒数第二个系统页面边界的结构.这使得与普通老式的数据结构交互的代码是一无所知,这些结构是存储器映射...,例如,可以比较使用memcmp()直接在两个不同的结构,而不必关心页边界.

事情变得有趣的是关于更新这些数据流......当它们被(同时)读取时.我想要使​​用的策略受到系统页面大小粒度的"写入时复制"的启发......基本上是写"覆盖页面" - 允许一个进程读取旧数据而另一个进程读取更新数据.

管理哪些叠加页面以及何时使用不一定是微不足道的......这不是我主要关注的问题.我主要担心的是我可能有一个跨越第4页和第5页的结构,然后更新完全包含在第5页的结构...在第6位写入新页面...当第5页时,将第5页保留为"垃圾收集"决定不再可达.这意味着,如果我将第4页映射到位置M,我需要将第6页映射到内存位置M + page_size ...,以便能够使用现有的(非内存映射)可靠地处理跨页边界的结构意识到)功能.

我正在努力建立最好的策略,而且我受到文件的阻碍,我认为这是不完整的.本质上,我需要将地址空间的分配与内存映射分离到该地址空间.使用mmap(),我知道我可以使用MAP_FIXED - 如果我希望显式控制映射位置......但我不清楚我应该如何保留地址空间以便安全地执行此操作.我可以在没有MAP_FIXED的情况下映射/ dev/zero两个页面,然后使用MAP_FIXED两次将两个页面映射到显式VM地址的分配空间吗?如果是这样,我应该三次打电话给munmap()吗?它会泄漏资源和/或有任何其他不利的开销吗?为了使问题更加复杂,我想在Windows上采用类似的行为......有什么办法可以做到这一点吗?如果我要牺牲我的跨平台野心,是否有完整的解决方案?

-

感谢您的回答,Mahmoud ......我已经读过了,并且认为我已经理解了代码......我已经在Linux下编译了它,它的行为与您的建议一致.

我主要关心的是第62行 - 使用MAP_FIXED.它对mmap做了一些假设,当我阅读我能找到的文档时,我无法确认.您将"更新"页面映射到与最初返回的mmap()相同的地址空间 - 我认为这是'正确' - 即不是恰好在Linux上运行的东西?我还需要假设它适用于文件映射和匿名映射的跨平台.

这个样本肯定让我前进......记录我最终需要的东西可能是在Linux上用mmap()实现的 - 至少.我真正喜欢的是指向文档的指针,该文档显示MAP_FIXED行将在示例演示中运行...并且,理想情况下,从Linux/Unix特定mmap()到独立平台的转换(Boost :: interprocess) )方法.

c++ boost mmap shared-memory boost-interprocess

18
推荐指数
1
解决办法
2157
查看次数

平台独立内存映射[文件] IO

我花了一些时间研究我正在处理的应用程序的内存映射IO.我有一些非常大的(TB级)文件,我想将它们的段映射到内存中,用于读取和写入,最大限度地利用操作系统级缓存.我正在编写的软件需要在Unix/Linux和Windows下运行......性能至关重要.

我发现boost::iostreams::mapped_file_source和boost::iostreams::mapped_file_sink,其提供了大部分我在寻找的设施.我喜欢但尚未找到的设施是:

  • 强制将写入数据同步到磁盘(msync在Unix FlushViewOfFile上为(2); 在Windows上)
  • 锁定文件以防止两个进程同时尝试写入同一文件(或在文件仍在写入时读取..)
  • 在创建时控制文件的属性(Unix)

我可以使用这些东西"boost/iostreams/device/mapped_file.hpp"吗?是否有其他独立于平台的库可以更好地满足我的要求?我必须开发自己的跨平台库才能获得这种灵活性吗?

c++ boost mmap shared-memory

15
推荐指数
1
解决办法
3420
查看次数

CMAKE:构建库并链接它

我正在尝试使用cmake(在Linux上使用GNU make和g ++)来构建一个包含两个子目录的项目:MyLib和MyApp.MyLib包含静态库的源代码; MyApp需要链接到该库.我正在尝试使用以下CMakeLists.txt在生成的makefile上构建Linux:

cmake_minimum_required (VERSION 2.6)
project (MyProj)
include_directories (MyLib)
file(GLOB MyLibSrc MyLib/*.cpp)
add_library(MyLibrary STATIC ${MyLibSrc})
file(GLOB MyAppSrc MyApp/*.cpp)
add_executable(MyApplication ${MyAppSrc})
target_link_libraries(MyApplication MyLibrary)
Run Code Online (Sandbox Code Playgroud)

这"几乎"有效.它在链接时失败,因为它生成libMyLibrary.a - 它在根目录中.当我添加:

link_directories(${MyProj_BINARY_DIR})
Run Code Online (Sandbox Code Playgroud)

没什么区别.

我有一些(相互关联的)问题:

  1. 强制cmake将我的库和可执行文件构建到"临时目录"(比如MyStage)以保持目标与源分离的最佳方法是什么?
  2. 我如何说服cmake将应用程序链接到库?
  3. 如果我想构建一个调试版本和发布版本,那么扩展我的cmake脚本的最佳方法是什么 - 确保调试应用程序链接调试库和发布应用程序针对发布库?

我是cmake的新手.我已经阅读了我在网上可以找到的内容,但发现自己很难让我的库与我的可执行文件链接.在我看来,这种配置应该很常见.一个小便的例子会很有帮助,但我找不到一个.

makefile cmake

12
推荐指数
2
解决办法
2万
查看次数

寻找可视化多维数据的库/工具

我正在使用Python试图分析大量的经验测量.本质上,我有两个函数转换经验数据,这些数据也需要3个'计数'参数 - 并在每个配置中返回一系列浮点数.我期待(希望)在选择适当的参数时看到一些有趣的模式出现.我预计模式可能在为每个函数返回的序列之间是相对的 - 和/或与参数中的某种模式相关.如果它是相关的,3'计数'参数大致对应于:

  • 基础数据上的"窗口大小",用于计算摘要统计信息
  • 用于计算单个汇总统计量的多个连续窗口(即更大空间或更高时间精度之间的权衡)
  • "最小年龄" - 基础数据历史记录的偏移量.

摘要统计信息(为每个参数配置生成浮动的结果序列)非常重要,但对所有三个参数都是独立敏感的.

我对可视化技术感兴趣 - 适合RAD/ad-hoc查询,这将帮助我试验这个多维数据.

到目前为止,我已经使用MatPlotLib进行了修改,但发现限制生成两个2/3维度的图表,以批处理的方式使调查非常繁琐.理想情况下,我会找到一个工具,允许我可视化两个以上的维度......也许允许我在交互式GUI中的维度之间切换实时.

我非常感谢任何可视化专家提供的关于我应该研究的合适工具的提示 - 理想情况是与我现有的Python函数集成 - 或者用其他语言.我特别喜欢听到类似可视化问题的成功轶事.

编辑添加:我正在考虑的一种可能的方法是在2或3D图上使用动画(捕捉另一个维度......留下1或2进行手动选择)......虽然我找不到好的工具来帮助我实现这一目标.

python graphics visualization graph spatial

11
推荐指数
2
解决办法
3517
查看次数

C#代码覆盖的最有效(免费)工具是什么?

在编写C#时,Visual Studio C#Express版本是一个足够的IDE - 而NUnit是编写单元测试的适当框架.但是,这种配对不足以建立这些测试的代码覆盖率.

我意识到Professional和Ultimate版本与MSTest集成并提供完全集成的代码覆盖......但是这限制了对购买相关IDE的人的覆盖验证 - 这并不理想.

我并不担心将覆盖率分析集成到IDE中......这是一种方法,但我对批处理生成的报告同样满意......这可以集成到持续集成中.

我担心覆盖率指标的质量 - 例如,我希望分支级别的覆盖率分析不仅仅是行级别.

我想象Visual Studio Professional/Ultimate对于Mono环境中的开发人员来说不是一个想法解决方案......谁能告诉我在这样的环境中通常使用什么?

c# code-coverage

10
推荐指数
2
解决办法
5856
查看次数

Python扩展 - 有效地构造和检查大整数

我有一个本地库,其自然界面将涉及传递可能大的数字.我预计大约一半是<32位; 另一季度<64位; 接下来的第八个<128位 - 依此类推,没有固定的长度限制.

如果我可以约束值以适合单个寄存器,那么PyLong_FromUnsignedLongLong()和PyLong_AsUnsignedLongLong()将是合适的.

PyLong_FromString()克服了这一点 - 但需要中间表示的不必要的代价._PyLong_FromByteArray()和_PyLong_AsByteArray()减轻了这个成本(通过简化这个中间表示),但是前导下划线让我想知道这是否会导致可移植性问题.

在longintrepr.h中,我发现了struct _longobject ...它暗示它可能是一种直接与内部表示交互的方式......虽然没有关于这种结构的详细文档仍然是一个障碍.

什么方法将导致Python和库之间的最佳吞吐量?有没有我忽略过的文件?

python python-c-api python-2.7 python-3.x

10
推荐指数
1
解决办法
700
查看次数

Windows KTM和Transactional NTFS是否有Linux/Unix等价物?

Windows一段时间以来一直支持与文件的事务交互 - 使用内核事务管理器(MS KTM)和事务性NTFS.这些功能有助于对本地文件系统上的文件进行事务性更改.

Linux/Unix有相同的功能吗?是否有任何公布的性能比较?

unix linux transactions linux-kernel

9
推荐指数
1
解决办法
181
查看次数

Bjam用于gcov覆盖分析?

我希望为一个主要用C++编写的项目集成一个非平凡的跨平台构建系统.到目前为止,我已经评估了Cmake和Scons,虽然它们都代表了对(GNU)make的改进,但在我尝试使用这些工具的上下文中,这两种方法似乎都不优雅或透明.这让我进入了Boost Build(Bjam)并且我很受鼓舞,因为我的项目依赖于Boost,bjam应该可用于任何可行的目标平台.

我试图将代码覆盖整齐地集成到库的单元测试中,以便最终集成到构建服务器(如Jenkins)中,我遇到了困难.虽然我愿意接受Bjam最佳/标准练习的指导,但我认为我需要三种不同的"变体":

  • release - 仅构建优化的静态库
  • debug - 构建非优化的静态库和单元测试
  • coverage - 构建启用coverage的库并与启用非coverage的单元测试相关联.

本质上,除了标准的调试和发布版本之外,我还想要一个专门用于收集覆盖数据的调试版本.

我需要使用(至少)g ++和msvc构建...并且只使用g ++的gcov开关.这意味着我的库目标需要与单元测试可执行目标不同的"compilerflags"...并且仅针对我的一个编译器套件...并且仅针对一个变体.

我不清楚如何最好地用Bjam实现这一点 - 但是,我怀疑,它应该是一个相当常见的用例.Bjam是否明确支持gcov覆盖率分析(可能使用lcov呈现结果)?如果没有,任何人都可以推荐一种支持上述(简化)方案的策略吗?

c++ boost code-coverage bjam gcov

6
推荐指数
1
解决办法
771
查看次数

MapViewOfFileEx - 有效的lpBaseAddress

在回答有关将非连续文件块映射到连续内存的问题时,在这里,一位受访者建议我应该使用带有MEM_RESERVE的VirtualAllocEx()来为最终(lpBaseAddress)参数建立一个"安全"值对于MapViewOfFileEx().

进一步的调查显示,这种方法导致MapViewofFileEx()失败,错误487:"尝试访问无效地址". MSDN页面说:

"在用于映射的区域中不能进行其他内存分配,包括使用VirtualAlloc或VirtualAllocEx函数来保留内存."

尽管对于有效的调用序列,文档可能被认为是模糊的,但实验表明使用VirtualAllocEx()为MapViewOfFileEx()保留内存是无效的.

在网络上,我发现了带有硬编码值的示例 - 例如:

#define BASE_MEM     (VOID*)0x01000000
Run Code Online (Sandbox Code Playgroud)

...

hMap = MapViewOfFileEx( hFile, FILE_MAP_WRITE, 0, 0, 0, BASE_MEM );
Run Code Online (Sandbox Code Playgroud)

对我而言,这似乎是不充分和不可靠的...我很清楚为什么这个地址是安全的,或者可以安全地在那里映射多少块.考虑到我需要我的解决方案在其他分配的上下文中工作,它似乎更加不稳定......而且我需要我的源代码来编译和工作在32位和64位上下文中.

我想知道的是,是否有任何方法可靠地保留地址空间池,以便 - 随后 - MapViewOfFileEx可以可靠地将其映射到显式内存地址.

memory winapi memory-management

5
推荐指数
1
解决办法
3172
查看次数

如何显式管理异构类型(和大小)的多个池分配器?

场景:我有一个 G 类,它(通常)包含数千个从 N 类派生的类型的对象。所有这些对象都有一个明确定义的生命周期。首先,构造一个对象 G,然后添加 N 派生对象,然后用 G 完成一些计算,这不会改变 N 派生对象,然后 G 超出范围,并且随之而来的是, N 个派生对象。N 派生对象又包含指向添加到同一 G 对象的其他 N 派生对象的指针或指针的标准容器。G 表示具有异构节点的图。

我的目标是:

  1. 最小化分配每个 N 派生对象的成本。
  2. 最大化属于同一 G 对象的 N 派生对象的引用局部性。
  3. 通过为所有 N 派生对象解除分配单个块来最小化解除分配的成本。
  4. 能够定义多个具有独立生命周期的独立 G 对象 - 可能在并发线程中管理这些独立 G 对象,而无需线程同步。

对我来说,这似乎需要多个池分配器 - 就像使用堆栈一样进行分配......并且仅在池被销毁时释放池分配。

我查看了 boost 池分配器 - 但没有找到为不同大小的异构对象建立多个独立池的方法。

接下来,我定义了自己的自定义分配器 - 但很快发现,虽然我可以将其作为模板参数传递给标准容器,例如 std::vector、std::set、std::list 等。- 允许我指定池分配器的类型...我感到困惑,因为我无法轻松指定两个独立的容器应该共享相同的(非全局)分配器池。我认识到一种解决方案是使用静态/全局并限制自己仅在一个线程中构造 G 对象。我还考虑过使用线程本地存储将自定义分配器与相关池关联起来......但认为这很难看。这两种方法都不直接支持同一线程中两个独立 G 对象的交错构造。

我是否忽略了 Boost 中问题的现有解决方案?

有没有比使用静态/全局或线程本地存储更好的习惯来实现我的目标?

更新

我已经阅读了 Stroustrup 的常见问题解答以及 boost::container 文档。起初,我对 Boost::container 感到非常鼓舞 - 但很失望没有看到如何在这些容器中使用有状态分配器的具体示例。我已经能够简化我原来要问的问题......给定一个结构:

struct DataUnit { map<int,string> m; list<int> l; …
Run Code Online (Sandbox Code Playgroud)

c++ boost memory-management c++11

5
推荐指数
1
解决办法
1474
查看次数

嵌入式用户定义表达式的安全实施策略

我现在至少在Python中设计/原型化一个领域特定语言... 设计很简单 - 但需要支持指定任意函数(其域是从标签到整数的映射 - 范围是整数.)在许多情况下,该函数将仅选择域中的标签以产生结果......但我希望允许在通用编程语言中轻松(和有效)实现的任何函数的规范.

需要注意的是,我希望函数"安全"......我的意思是:

  • '纯'功能:确定性,无副作用.(即没有外部状态;没有与文件,I/O,设备等的交互)
  • 终止 - 成功或在特定(小规模)分配的计算资源到期后终止.

我非常希望能够有效地实现这个功能 - 我希望不经常提供定义 - 并且经常进行评估.我还希望使用熟悉的语法定义函数.

我已经考虑过在python中支持函数的实现......我知道我可以使用eval()函数强加限制,并且我找到了AST模块 - 建议一种涉及解析AST的方法,然后解释(或在评估之前验证)AST树.我还读过有关pyparse和consdered实现定制,解释的语言.

我不禁想到,试图阻止来自eval()的不良行为是"向后"解决问题(试图阻止事后阻止不良功能),而实施定制语言则需要重新发明轮子.

Python是否已经拥有一个安全,高效,可嵌入的表达式解释器?

python dsl interpreter functional-programming

5
推荐指数
1
解决办法
70
查看次数

Android手机开发 - UDP服务

我对实现与UDP服务交互的Android应用程序的可行性感兴趣.我确定Android支持UDP:

http://www.helloandroid.com/tutorials/simple-udp-communication-example

我不太清楚的是,这种应用程序是否真的可以在典型资费的Android手机上运行 - 用于双向通信.我希望Android客户端通过UDP(宣布自己)联系远程托管服务,并让服务器随后通知Android设备实时事件.

我担心商业网络上的移动设备可能被迫改变IP地址 - 例如 - 当进出Wi-Fi区域时...而且我不清楚NAT是否会成为问题典型的3G网络.

将UDP用于Android手机的双向(尽力而为)通信是否真的可行?

networking android network-protocols android-ndk

4
推荐指数
1
解决办法
4441
查看次数

右移g ++的意外结果

我已经发现将uint64_t值右移64位或更多时看起来异常的结果.我希望以下代码输出值0,但它没有 - 它输出值>> 2 - 但只有g ++.

#include <iostream>
#include <cstdint>
using namespace std;
int main(void)
{
    uint64_t value = 0x5d4d629e80d5489UL;
    int shift = 66;
    cout << hex << (value >> shift) << endl;
    return 0;
}
Run Code Online (Sandbox Code Playgroud)

我编译并运行:

$ g++ -std=c++0x mad.cpp
$ ./a.out
175358a7a035522
$ uname -a
Linux svr 3.2.0-26-generic #41-Ubuntu SMP Thu Jun 14 17:49:24 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux
$ g++ --version 
g++ (Ubuntu/Linaro 4.6.3-1ubuntu5) 4.6.3
Run Code Online (Sandbox Code Playgroud)

我在使用g ++(Debian 4.4.5-8)4.4.5的另一个Linux机器上得到了相同的行为.但是,当我用Visual Studio C++(Express Edition)编译它时,我没有得到相同的行为 - 我得到了我最初预期的结果 - 即0. …

c++ 64-bit g++

3
推荐指数
1
解决办法
254
查看次数