小编Ant*_*oun的帖子

我喜欢阅读 ServerFault 有一段时间了，我遇到了很多关于 Hadoop 的主题。从全球的角度来看，我在找出它的作用时遇到了一些麻烦。

所以我的问题很简单：什么是 Hadoop？它有什么作用 ？它是干什么用的 ？为什么会踢屁股？

编辑：如果有人碰巧有使用 Hadoop 的用例的演示/解释，那就太棒了。

我有一个休闲问题：Apache 每个孩子吃很多 ram。

闲置的评论显示：

1. cat /etc/redhat-release -- Fedora 8 (狼人)

2. 免费-m：

             total       used       free     shared    buffers     cached
Mem:          3566       3136        429          0        339       1907
-/+ buffers/cache:        889       2676
Swap:         4322          0       4322

Run Code Online (Sandbox Code Playgroud)

我知道你会说没有什么可担心的，因为交换不使用，但我认为它现在不使用。

3.httpd -v:

服务器版本：Apache/2.2.14 (Unix)

4.httpd -l：

在模块中编译：

核心文件

mod_authn_file.c

mod_authn_default.c

mod_authz_host.c

mod_authz_groupfile.c

mod_authz_user.c

mod_authz_default.c

mod_auth_basic.c

mod_include.c

mod_filter.c

mod_log_config.c

mod_env.c

mod_setenvif.c

mod_version.c

mod_ssl.c

前叉

http_core.c

mod_mime.c

mod_status.c

mod_autoindex.c

mod_asis.c

mod_cgi.c

mod_negotiation.c

mod_dir.c

mod_actions.c

mod_userdir.c

mod_alias.c

mod_rewrite.c

mod_so.c

5.加载的动态模块列表：

LoadModule authz_host_module

模块/mod_authz_host.so LoadModule

include_module 模块/mod_include.so

LoadModule log_config_module

模块/mod_log_config.so LoadModule …

对于这个应用程序，与总吞吐量相比，我不太关心高可用性。我在服务器端有一个 IP 地址，我希望能够从服务器发送超过 1 Gb 的流量。服务器有两个 1 千兆位卡并连接到一对交换机。该应用程序涉及世界各地连接到服务器（即不是本地网络）的数千个远程客户端。

目前，使用模式 5（balance-tlb）设置绑定，但结果是每个端口的吞吐量不会超过 500Mbit/s。我怎样才能突破这个限制？请假设我无法访问交换机，因此我无法实现 802.3ad。

（我希望添加“bonding”标签，但我无法添加新标签，所以是“teaming”。）

设置

设置非常简单明了。它是一对 Debian 服务器，中间有一个千兆链路。MySQL 是稳定的 Debian Lenny 版本，操作系统是 Debian Lenny。

配置

转储已插入两个节点并且复制已激活。

主机上的“SHOW MASTER STATUS”命令提供以下信息：

+------------------+----------+--------------------------------------------------------------------------------------------------------------------------------+------------------+
| File             | Position | Binlog_Do_DB                                                                                                                   | Binlog_Ignore_DB |
+------------------+----------+--------------------------------------------------------------------------------------------------------------------------------+------------------+
| mysql-bin.000025 |       98 | smc, smc_allais, smc_montgenevre, smc_preprod, smc_resto, smc_resto, smc_richermoz, smc_sct, smc_skd, smc_skishop, smc_skiteam |                  | 
+------------------+----------+--------------------------------------------------------------------------------------------------------------------------------+------------------+

从站上的“SHOW SLAVE STATUS”命令提供以下信息：

*************************** 1. row ***************************
             Slave_IO_State: Waiting for master to send event
                Master_Host: 188.165.xxx.xxx
                Master_User: bdd1
                Master_Port: 3306
              Connect_Retry: 10
            Master_Log_File: mysql-bin.000025
        Read_Master_Log_Pos: 98
             Relay_Log_File: mysqld-relay-bin.000003
              Relay_Log_Pos: 235
      Relay_Master_Log_File: mysql-bin.000025
           Slave_IO_Running: Yes
          Slave_SQL_Running: …

我希望 Nagios 在检测到主机关闭或启动时执行 Bash 命令/脚本。这将使我能够在某种程度上对失败的主机做出反应，这将非常有趣。

我该怎么做？

我在谷歌上做了一些阅读，我做的唯一一件事就是让自己感到困惑。有些人说 count() 有很多记录会比较慢，其他人说你可以缓存数字甚至使用序列......

在具有最佳性能和最低 cpu/ram 使用率的表中计算多行的最佳方法是什么？许多我的意思是 >=500,000 行。

如果第 1 个 UPS 出现故障，如何设置 UPS 以提供冗余电源，则系统应在第 2 个 UPS 上工作，如果第 2 个 UPS 出现故障，则系统应与第 1 个 UPS 一起工作，如服务器电源。

我们有许多运行 Debian Squeeze 的 Soekris 机器。它们是通过自动过程安装的，包括使用 deboostrap 并将其复制到 CF 卡。我们使用 puppet 来管理所有这些 box 的配置。

在 Debian Squeeze 之前，他们运行的是 Voyage Linux，它只是 Debian 的“轻量级”版本。由于我们已经切换，我们看到 /lib/udev/net.agent 进程占用了大量的 CPU。到目前为止，我们一直无法找到任何关于这到底做了什么以及为什么它占用了大量 CPU 时间的线索。

在 htop 中，我们看到以下内容：

我们完全没有看到与此进程相关的系统日志消息，所以我们有点迷茫......所以，我正在寻找有关此进程一般做什么以及这种 CPU 使用率的潜在原因可能是什么的指针。

编辑 ：

我的 /etc/network/interfaces 如下：

auto eth0
iface eth0 inet dhcp
       up iptables-restore < /etc/iptables.conf

auto br0
iface br0 inet static
       address 192.168.51.1
       netmask 255.255.255.0
       network 192.168.51.0
       broadcast 192.168.51.255
       bridge_ports eth1 eth3

编辑2：

进行更多调查后，此问题仅在大约 6 天后出现，只需重新启动系统即可解决另外 6 天。现在它更没有意义了。我想避免每隔几天安排一次重启，因为这听起来不是一个不错的解决方案。

编辑3：

这似乎不是经常发生，因为它只是在 3 天后发生。