小编Sim*_*mon的帖子

在早期的一个帖子之后,我把我的问题归结为它的问题,在从Perl脚本迁移到Python的过程中,我发现在Python中使用slurping文件存在巨大的性能问题.在Ubuntu Server上运行它.

注意:这不是一个X对Y线程,我需要从根本上了解它是如何实现的,或者我是在做一些愚蠢的事情.

我创建了我的测试数据,50,000个10kb文件(这反映了我正在处理的avg文件大小):

mkdir 1
cd 1
for i in {1..50000}; do dd if=/dev/zero of=$i.xml bs=1 count=10000; done
cd ..
cp -r 1 2

尽可能简单地创建了我的2个脚本:

Perl的

foreach my $file (<$ARGV[0]/*.xml>){
    my $fh;
    open($fh, "< $file");
    my $contents = do { local $/; <$fh> };
    close($fh);
}

蟒蛇

import glob, sys
for file in glob.iglob(sys.argv[1] + '/*.xml'):
    with open(file) as x:
        f = x.read()

然后我清除了缓存并运行了我的2个slurp脚本,在每次运行之间我再次使用以下方法清理缓存:

sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'

然后进行监控以确保每次都从磁盘读取所有内容:

sudo iotop -a -u me

我在具有RAID …

我们目前使用Redis作为我们Web应用程序的持久缓存,但由于内存和成本有限,我开始考虑Table存储是否可行.

我们存储的数据是相当基本的json数据,带有明确的2部分密钥,我们将其用于表存储中的分区和行密钥,因此我希望这意味着快速查询.

我很欣赏一个在内存中,一个在外面,所以表存储会慢一点但是随着我们的扩展,我相信只有一个CPU提供来自Redis缓存的数据,而对于Table存储,我们不会有这个问题,因为它会是减少到我们运行的Web服务器的数量.

有没有人有这种方式使用表存储的经验或2之间的比较.

我应该补充一点,我们以极简主义的方式使用Redis来获取/设置,仅此而已,我们逐出我们自己的数据,并且当它耗尽空间时将其驱逐到Redis.

在构建任务的VSTS构建过程中，我设置了以下标志来预编译视图：

/ p：PrecompileBeforePublish = true / p：UseMerge = true

这可以正常工作，我可以看到视图已预先编译，并且网站绝对更快。

但是，我似乎无法弄清楚这两个标记是否都设置了允许该网站可更新的标志，显然我不希望它可更新，但是没有任何谷歌搜索找到合适的答案，我我不确定是否还有其他方法可以检查？

谢谢

我在 Azure DevOps 存储库中有一个 git 存储库，我还设置了一个测试用户故事。

我克隆了 master 分支并在 VSCode 中打开它，然后在提交时我使用扩展自动选择我的用户故事，将 #ID 添加到提交消息，然后将更改推送回 master 分支。

当我在 DevOps 中查看我的用户故事时，没有链接签入。

我是否缺少某种链接，我的 VSCode 已连接到我的 DevOps，并且当我使用添加工作项选项时，它能够在 VSCode 中列出用户故事，没问题，所以不确定是什么问题。假设这不是我必须从用户故事创建分支并在那时链接它的一种方式？