标签: disaster

我客户的一个网站上周受到了直接闪电袭击（巧合的是在 13 日星期五！）。

我离现场很远，但与现场人员一起工作时，我发现了一种奇怪的损坏模式。两个互联网链接都断开了，大多数服务器都无法访问。大部分损坏发生在MDF 中，但一个光纤连接的IDF也丢失了交换机堆叠成员上 90% 的端口。有足够的备用交换机端口可用于在其他地方重新分配布线和重新编程，但是在我们追踪受影响的设备时出现了停机时间。

这是一个新的建筑/仓储设施，服务器机房的设计进行了大量规划。主服务器机房由一台APC SmartUPS RT 8000VA双转换在线 UPS 运行，并由发电机提供支持。所有连接的设备都有适当的电源分配。异地数据复制和系统备份已经到位。

总之，损害（我知道）是：

• Cisco 4507R-E 机箱交换机上的 48 端口线卡出现故障。
• 4 成员堆栈中的 Cisco 2960 交换机出现故障。（哎呀...松散的堆叠电缆）
• Cisco 2960 交换机上的几个易断端口。
• HP ProLiant DL360 G7 主板和电源。
• Elfiq WAN 链路平衡器。
• 一台 Multitech 传真调制解调器。
• WiMax/固定无线互联网天线和电源注入器。
• 众多 PoE 连接设备（VoIP 电话、Cisco Aironet 接入点、IP 安全摄像头）

大多数问题都与丢失 Cisco 4507R-E 中的整个交换机刀片有关。这包含一些 VMware NFS 网络和站点防火墙的上行链路。VMWare 主机出现故障，但一旦存储网络连接恢复，HA 就会处理 VM。我被迫重新启动/重启许多设备以清除时髦的电源状态。所以恢复的时间很短，但我很好奇应该吸取什么教训......

• 未来应该采取哪些额外的保护措施来保护设备？
• 我应该如何处理保修和更换？思科和惠普正在更换合同项下的物品。昂贵的 Elfiq WAN 链接平衡器在他们的网站上有一个简介，基本上说“太糟糕了，使用网络电涌保护器”。（似乎他们期待这种失败）
• 我在 …

更新： EMC 放弃了我们的保修和支持，因此这将是一个保险案例。戴尔说我们可以找专业的清洁机构来翻新服务器并保持我们的保修。思科说“也许”。惠普仍然保持沉默:(

最终更新： EMC 转过身来并批准了一家认证公司的清洁工作。VNX 今天已运回给我们，并且运行良好。服务器机房的其余部分也正在清理，我们的损失仅限于几个磁带驱动器。保险公司收取几乎所有其他费用的账单。

原问题：

这是故事..

我们租用办公空间的大楼业主决定对外观进行翻新。这涉及到我们服务器机房所在级别的一些非常繁重的工作，包括更换适合混凝土墙的窗户。

当我听说他们要对我们的服务器机房做同样的事情时，我的红色警报响了（是的，我们的服务器机房有一个窗户。我们是一家有 3 个机架的小商店。窗户用钢筋固定。）我明确地告诉承包商，他们需要在我们的架子和原来的墙之间建立一个临时墙 - 并确保临时墙是 100% 空气和水密的。他们答应这样做。

临时墙里面有一扇小门，这样工作人员可以白天进出（通过我们的服务器机房，这是唯一的选择......）。有几次我在晚上/晚上工作时会发现小门半关。我锁上了门，以为他们很快就会明白这一点并把门关上。当我看到他没有正确关闭门时，我什至给了他一口。

至此 - 我敢打赌你们中的大多数人都对发生的事情有所了解。是的，他们可能在混凝土中钻孔时把门打开了。

我向您展示了我们 4 周前的 EMC VNX：

我什至要加点小费，这里是离临时墙更远一个机架的 APC UPS。看到我手指上漂亮的小着陆带了吗？

我该怎么办？唯一想到的是要么打电话给我们所有的供应商（EMC、惠普、戴尔、思科），让他们派技术人员检查服务器机房中的所有设备，要么找某种认证的第三方顾问检查所有这些。你会在这个设备上运行生产系统吗？多久？

我还应该指出，考虑到我们小房间的性质，我们的空调并不完全是企业级的。它只是一个逆变器，在我开始在这里工作之前它已经失败过一次（失败的逆变器通常会导致水滴出来）。

我们最近经历了一场飓风，我们的服务器机房被淹没了。保险万岁。无论如何，我需要从其中一个硬盘驱动器中保存尽可能多的数据。是的，它被淹没了两天的大部分时间。

我是否需要打开驱动器并确保它没有进水？我应该取下底部的板并擦干泡沫吗？我都需要什么。

任何的意见都将会有帮助。

提前致谢！

上周末，我们在弗吉尼亚州发生了严重的风暴，当然日本的危机提醒人们，事情可能会在一瞬间变得糟糕！我问自己一个问题“如果龙卷风袭击了我的数据中心，我准备好了吗？”

我的“机架中”有很棒的备份系统，包括磁带备份。因为数据中心不是很近，所以不可能将磁带移到异地。我想要找到或创建的是一个系统，它可以按计划备份关键项目，如网站、数据库，并远程复制它们，即我家里的服务器。我有 35 mbit 服务的 FIOS，所以我有宽带，我需要的是“系统”来做到这一点。我是一名程序员，所以我可以按计划创建一些 FTP 的停机信息，但我很好奇现在是否有可以满足远程备份需求的东西？我的 SQL Server 备份到存储阵列，我可以关闭这些备份，甚至在这里安排我的 SQL Server 以按计划与生产服务器同步。我使用 Windows Server 2008 R2 和 SQL Server 2008 R2。

在自然灾害摧毁我们的数据中心等危机中，你们对异地战略有何建议？准备好了吗？我希望其他人问自己这个问题，并从我们经常看到的这些自然灾害中吸取教训。

我的一位同事通过运行误删除的/ usr / *数据：rm -rf /usr/*。现在这是一个大问题。我们在那台机器上有很多很好的数据。结果，大多数命令都不起作用。无论如何我可以恢复机器吗？我并不是真正的数据恢复专家。

请帮我指出一个解决方案/程序。以下是有关该机器的一些信息。如果需要更多信息，请告诉我。

-bash-3.00# uname -a
Linux penguin 2.6.9-5.EL #1 Wed Jan 5 19:22:18 EST 2005 i686 i686 i386 GNU/Linux
-bash-3.00# fdisk -l

Disk /dev/hda: 80.0 GB, 80026361856 bytes
255 heads, 63 sectors/track, 9729 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/hda1   *           1          13      104391   83  Linux
/dev/hda2              14        9729    78043770   8e  Linux LVM
-bash-3.00#