标签: block

Hadoop HDFS:从命令行设置文件块大小?

当我将文件加载到 HDFS 时,我需要将文件的块大小设置为低于集群块大小的某个值。例如,如果 HDFS 使用 64mb 块,我可能希望将一个大文件复制到 32mb 块中。

我之前使用org.apache.hadoop.fs.FileSystem.create()函数在 Hadoop 工作负载中完成了此操作,但是有没有办法从命令行执行此操作?

hadoop hdfs block

6
推荐指数
1
解决办法
1万
查看次数

ZFS 块级重复数据删除如何适应可变块大小?

根据“ZFS 重复数据删除”的第一个 Google 结果

...
删除哪些内容:文件、块或字节?
...
当整个文件被复制时,块级重复数据删除的开销比文件级重复数据删除略高,但与文件级重复数据删除不同,它可以非常好地处理块级数据,例如虚拟机映像。
...
ZFS 提供块级重复数据删除
...

根据维基百科的 ZFS 文章

ZFS 使用最多 128 KB 的可变大小块。当前可用的代码允许管理员调整使用的最大块大小,因为某些工作负载在大块上表现不佳。如果启用数据压缩 (LZJB),则使用可变块大小。如果可以压缩一个块以适应较小的块大小,则在磁盘上使用较小的大小以使用更少的存储并提高 IO 吞吐量(尽管以增加用于压缩和解压缩操作的 CPU 为代价)。

我想确保我正确理解这一点。

假设压缩关闭

如果我随机填充了一个 1GB 的文件,那么我会写另一个相同的文件,除了中途,我更改了一个字节。该文件是否会被删除重复数据(除了已更改的字节块之外的所有内容?)

如果我写一个单字节文件,它会占用整整 128 KB 吗?如果没有,如果文件变长,块会变大吗?

如果一个文件占用两个 64 KB 的块(这会发生吗?),那么在占用一个 128 KB 的块后是否会删除相同的文件

如果一个文件被缩短,那么它的部分块将被忽略,也许数据不会被重置为 0x00 字节。使用了一半的块会被重复数据删除吗?

zfs filesystems deduplication block

6
推荐指数
1
解决办法
6169
查看次数

如何在我的网络上完全阻止 Windows 更新

我知道这不安全,但我需要知道如何防止局域网中的所有计算机下载更新。

我有鱿鱼作为 dansguardian 的代理,我使用 OpenDNS ...

我已经在 dansguardian microsoft.com 上加入了黑名单,但看起来还不够。

windows-update block

5
推荐指数
2
解决办法
2万
查看次数

阻止 EXE 在 XP 域环境中执行

我想知道是否有人可以为我指出如何阻止特定 exe 文件在域环境中的 XP 机器上执行的正确方向。

我有活动目录设置和工作,所以这是一个可能的工具。

我知道如何按名称阻止 exe,但是人们可以更改文件名并再次启动它。

无论用户将文件名更改为什么,有没有办法阻止特定的exe?

谢谢!

windows active-directory domain block

5
推荐指数
1
解决办法
3085
查看次数

如何卸载安装到同一安装点的两个设备之一?

我不小心将两个不同的设备安装在/opt

/dev/xvdf on /opt type ext4 (rw,relatime,seclabel,data=ordered)
/dev/md0 on /opt type ext4 (rw,relatime,seclabel,stripe=256,data=ordered)
Run Code Online (Sandbox Code Playgroud)

umount 会出现问题/dev/md0,并且东西正在使用/opt. /dev/md0应安装在/dev/xvdf. 有什么建议我可以卸载/dev/xvdf吗?

尝试:

[root@redacted ~]# umount /dev/xvdf
umount: /dev/xvdf: umount failed: Invalid argument

[root@redacted ~]# mount --move /dev/xvdf /temp
mount: bad option. Note that moving a mount residing under a shared
       mount is unsupported.
Run Code Online (Sandbox Code Playgroud)

此外,AWS 对卷的支持对我大喊大叫,要求强制分离使用中的卷,所以这不是一个选项。

linux operating-system block

5
推荐指数
2
解决办法
2623
查看次数

如何防止进程在 Mac OSX 10.6 下运行?

基本上,我想阻止一些系统进程运行。如果我强制退出它们,它们只会重新启动。如何防止它们启动/重新启动。

在你说我不应该搞乱系统进程之前:我完全理解可能的后果。

mac-osx process block

4
推荐指数
1
解决办法
9738
查看次数

永久阻塞 iptables 中的域

假设我想永久屏蔽 Facebook。为此,我遵循了以下流程:

#host -ta www.facebook.com

示例输出:

www.facebook.com 的地址为 69.171.224.40

查找 CIDR

#whois 69.171.224.40 | grep CIDR

示例输出:

CIDR:69.171.224.0/19

防止对外访问 www.facebook.com

方法一:

#iptables -I FORWARD -p tcp -d 69.171.224.0/19 -j DROP

方法二:

#iptables -I FORWARD -p tcp -d www.facebook.com -j DROP

两种方法都运行良好。在方法 1 中,IP 地址可能会更改,因此不会永久阻止 Facebook。我不知道方法 2是否会永久阻止 Facebook。如果上述方法不是永久阻止域的正确方法,我该怎么做?

domain iptables block

4
推荐指数
1
解决办法
2万
查看次数

iptables - 删除所有 HTTP(S) 流量,但来自 CloudFlare

我想只允许来自 CloudFlare 的 HTTP(S) 流量。这样攻击者就不能直接攻击服务器。我知道 CloudFlare 主要不是 DDoS 缓解器,但我想尝试两种方法。

我目前只能访问 iptables(仅限 ipv4),但很快就会尝试安装 ip6tables。我只需要尽快解决这个问题。(我们正在收到(D)DoSed atm。)

我在想这样的事情:

iptables -I INPUT -s <CloudFlare IP> --dport 80 -j ACCEPT
iptables -I INPUT -s <CloudFlare IP> --dport 443 -j ACCEPT
iptables -I INPUT -p tcp --dport 80 -j DROP
iptables -I INPUT -p tcp --dport 443 -j DROP
Run Code Online (Sandbox Code Playgroud)

我知道 CloudFlare 有多个 IP,但仅举个例子。

这是正确的方法吗?

http iptables ddos block cloudflare

3
推荐指数
1
解决办法
2719
查看次数

PF:阻止所有,但一个子网防火墙规则?

我正在尝试做一些我认为相对简单的事情:阻止所有到测试服务器的流量,而不是我公司的子网。

我已经尝试了这些方法(111.111.0.0 是我在这个例子中的占位符),但似乎只有块有效:

block in all
pass in from 111.111.0.0
pass in on en0 from 111.111.0.0
pass in all from 111.111.0.0
Run Code Online (Sandbox Code Playgroud)

这些传入的行似乎都不起作用(我知道其中一些可能会引发语法错误,因为我只是抓取了我在测试时注释掉的所有行)。

这比我想象的要简单吗?我错过了一些明显的东西吗?

freebsd pf filter block packet

2
推荐指数
1
解决办法
3072
查看次数

在 CentOS 7 中,有没有办法指定应该使用调度程序(或电梯)调整哪些块设备?

在 CentOS 6 中,有/etc/tune-profiles/my-server/ktune.sysconfig这样的文字(我指的是解释代码正在做什么的注释):

# This is the I/O scheduler ktune will use.  This will *not* override anything
# explicitly set on the kernel command line, nor will it change the scheduler
# for any block device that is using a non-default scheduler when ktune starts.
# You should probably leave this on "deadline", but "as", "cfq", and "noop" are
# also legal values.  Comment this out to prevent ktune from changing I/O
# scheduler settings.
ELEVATOR="deadline"

# …
Run Code Online (Sandbox Code Playgroud)

linux block scheduler grub2 block-device

2
推荐指数
1
解决办法
495
查看次数