相关疑难解决方法(0)

Windows Server 2008 r2目录可以安全保存多少个文件？

我正在考虑一个拥有图片库的网站.假设有一个目录包含所有缩略图,另一个目录包含完整大小的图像.可以安全存储多少对图像？

或者,如果没有一个好的剪切干燥答案,我应该尝试使用30,000张图像吗？

我的网站有近百万张图片,它们存储在我的Windows服务器上的一个文件夹中.

由于直接在桌面上打开此文件夹驱动我和我的CPU疯狂,我想知道是否使用我的PHP脚本获取其中一个用于HTTP请求也是费力的.
那么,将它们分成不同的文件夹可以提高性能吗？

我有NTFS文件夹,可能会增长到100,000到1,000,000个文件,这个答案讨论的NTFS性能上限.

我的文件具有以下特征:

1)它们具有长文件名(通常为64到100个字符).

2)对于许多文件,文件名的前导部分对于前20到40个字符可以是相同的.

长文件名是否影响NTFS文件夹索引性能,从名称中查找文件的记录,索引的碎片或索引的增长？

NTFS文件夹索引(据报道)是B树.我已经测试了我的软件到50,000个文件,但我正在运行一个"快乐路径"测试,几乎没有文件系统流失.测试到1,000,000将需要几周的时间来不间断地运行我的软件.

我考虑过编写一个模拟器,但在此之前,有没有人有这方面的实际经验？

我有一个网站,每个用户都有自己的个人资料页面.在这里,他们可以上传一个充当他们头像的图像.这是用户可以在整个站点上传到服务器的唯一映像.没有存档,因此如果用户希望更新其头像,则可以覆盖存档.

我以前从未做过这样的事情所以我想打开它并为本网站寻求合适的,可扩展的选项.

我最初的想法是给每个用户的图像一个随机名称,一个6-12个字符长的字符串.这样你就无法构建一个只从目录中提取每个用户的个人资料图片的脚本(例如001.png,002.png等).我的第二个想法是每个目录应该只有一定数量的图像,以确保服务器可以快速检索它们.

可能还有其他我在这里缺少的东西,我不确定具体细节因此我问的原因.

我在NTFS中有一个包含数万个文件的文件夹.我删除了该文件夹中的所有文件,保存1.我运行contig.exe对该文件夹进行碎片整理,所以现在它只在1个片段中.但是,该文件夹的大小仍然是8MB.这意味着指数存在很大差距.这是为什么？如果我删除那个文件,索引的大小会自动变为零.我的猜测是因为它崩溃了进入MFT.有没有办法让NTFS通过根据文件内容对其进行碎片整理来真正对索引文件进行碎片整理？您知道的任何API？Contig.exe只对物理文件进行碎片整理.

我正在渲染数百万个瓷砖,这些瓷砖将在Google地图上显示为叠加层.这些文件由伦敦大学学院高级空间分析中心的GMapCreator创建.应用程序一次将文件呈现到一个文件夹中,在某些情况下我需要创建大约420万个图块.我使用NTFS文件系统在Windows XP上运行它,磁盘为500GB,并使用默认操作系统选项进行格式化.

我发现随着渲染图块数量的增加,图块的渲染变得越来越慢.我还看到,如果我尝试在Windows资源管理器中查看文件夹或使用命令行,那么整个机器会在恢复到足以再次执行某些操作之前有效锁定几分钟.

我一直在将输入的shapefile分成小块,在不同的机器上运行等等,但这个问题仍然给我带来了相当大的痛苦.我想知道我的磁盘上的簇大小是否会阻碍这个问题,或者我是否应该完全使用另一个文件系统.有没有人有任何想法我怎么能够克服这个问题？

谢谢,

巴里.

更新:

感谢大家的建议.最终的解决方案包括编写一段监视GMapCreator输出文件夹的代码,根据文件名将文件移动到目录层中; 所以名为abcdefg.gif的文件将被移动到\ a\b\c\d\e\f\g.gif中.在GMapCreator的同时运行它可以克服文件系统性能问题.关于生成DOS 8.3文件名的提示也非常有用 - 如下所述,我惊讶于它产生了多大的不同.干杯:-)

我设计了一个C#控制台应用程序,使用OOP设计合并和拆分大文件(大小约4GB).它涉及读/写xml,平面文件和图像.我有读者和作家的课程.

合并时间约为00:12,而分裂时间超过04:30.然后我通过将输出文件分发到子目录而不是使用单个目录,将分割的性能提高到00:50.

我的老板要求我将所有内容转换为静态过程编程,而不是对象.他说00:12合并比较00:50分裂是不平衡的.他希望通过转换为静态来在00:30分钟完成分割.

现在我知道静态调用更快按照此.但是我不同意所有静态都会更好,因为我必须在方法中使用"ref"和"out"参数.

我的问题是:

1. 将文件拆分到子目录的原因比使用单个输出目录快得多？(即大量文件> 200,000)
2. 有没有比将代码从对象转换为静态更好的方法,以实现更高的性能？

我有一个程序,现在它已经完成,它有一个数据目录,其中包含10-30K文件,它开始引起问题.我是否应该期望这会导致问题,我唯一的解决方案是调整我的文件结构还是表明其他问题？

我想运行一个机器学习算法作为我的最终研究代码，该代码迄今为止尚未经过验证且未发布用于文本挖掘目的。文本已经获得，但是是从 Common Crawl 获得的 warc 格式中刮取的。我正在为机器学习目的准备数据，所需的分析任务之一是在启动 ML 应用程序之前对语料库进行 IDF（逆文档频率分析）。

据我了解，为了让 IDF 发挥作用，每个文件应该代表一个发言者或一个想法——通常是一小段 ASCII 文本，不比一条推文长多少。挑战在于我已经抓取了大约 1500 万个文件。我在 Windows 7 上使用 Strawberry Perl 读取每个文件并拆分文档中包含的标签，以便来自相关社交媒体的每个评论落入数组的一个元素中（并且在更强类型的语言中将是字符串类型）。

从这里我遇到了性能问题。我让我的脚本运行一整天，但它在 24 小时内只处理了 400,000 个输入文件。从这些输入文件中，它生成了大约 200 万个输出文件，代表每个说话者使用 Perl 的 HTML::Strip 模块处理 html 剥离文本的一个文件。当我查看我的系统时，我发现本地数据驱动器上的磁盘利用率非常高 - 有大量 ASCII 文本写入，远小于 1 KB，每个写入都被塞进本地数据驱动器的 1 KB 扇区中NTFS 格式的硬盘。

是否值得尝试停止运行，在我的家庭系统上设置一个 MySQL 数据库，在数据库中设置一个最大长度可能为 500-1000 个字符的文本字段，然后重新运行 perl 脚本以使其吸收输入html 文件，分割它，HTML 剥离它，然后准备并执行字符串插入与数据库表？

一般来说，从包含大量单独文本文件的文件输出格式切换到包含大量数据库插入的格式在我的硬盘驱动器上会更容易/从长远来看由于某些缓存或更快的写出速度DBMS 中的 RAM/磁盘空间利用魔法？

这就是我目前正在尝试执行的。

$folderPath = 'M:\abc\WORKFORCE\Media\Attachments' 
 
Write-Host "Executing Script..." 
 
foreach ($file in Get-ChildItem $folderPath -file)
{
       # execute code 
}

然而，当我执行 powershell 脚本时，它冻结了。这样已经一个小时了。我假设这可能是因为该目录中有超过 800 万个项目。有没有更有效的方法来移动这些物品？等待是我唯一的选择吗？或者由于目录太大而根本无法使用 powershell 执行此操作？