在预算紧张的情况下设计具有相当共享的高速互联网访问的分段 LAN

abs*_*ask 6 networking internet network-design vlan pfsense

与业主协会的另一名成员一起,我的任务是为我们的公寓楼设计和设置共享的高速互联网接入。我们的预算很少,希望能够做到这一点,硬件已经在手(意味着不是最先进的)。

我有超过十年的系统管理员经验,但专注于服务器端。虽然对(大部分)术语并不陌生,并且至少在设置较小的网络方面有一些实践经验,但设计这样的设置肯定超出了我的主要能力范围。

我对如何实现这一点有一个想法,但我可能没有考虑到所有因素,当然欢迎第二意见和健全性检查。

虽然这个问题是基于我的具体挑战,但我认为答案将形成一个总体上合理的方法,在预算紧张的情况下建立公平共享、分段、多租户的互联网访问。我希望这对于本网站是可以接受的。

这怎么做最好?

范围

环境

  • 54 套公寓,现有 CAT5e 布线
  • 公寓大约 50/50 分成两个配线间,中间有一根 CAT5e 电缆(以后可能会添加另一个)
  • 基于光纤的互联网连接,最初的上限为 300 Mbps,将在一个配线间终止
  • 没有对互联网路由器的管理访问权限

硬件软件

所有硬件至少已使用 5 年。有些是我们不久前购买的,有些是给我们的,因为它对于该公司的生产用途来说太旧了(昂贵的服务、性能等等)。

  • HP Proliant DL380 G6,双 Xeon CPU,32 GB RAM,4 个千兆网卡
  • 2 x Dell PowerConnect 5324 千兆管理型交换机
  • 2 台 HP ProCurve 2524 管理型 100 Mbit 交换机
  • 由于现有知识和经验,首选 pfSense 作为网关/防火墙
  • 由于可管理性(快照、完整映像备份、硬件抽象)以及无需额外套件即可运行小型网络服务器的可能性,首选在 VMWare ESXi 上运行虚拟防火墙

要求和目标

  • 我们必须共同能够利用我们支付的互联网带宽
  • 我们希望将来能够支持更高的带宽
  • 作为 100 Mbps 交换机,我们需要能够将至少两个上行链路从 HP 中继/组合到戴尔交换机
  • 公寓之间应该没有通道
  • IP 地址必须通过 DHCP 分发给公寓
  • 我们还将运行 Web 服务器和邮件服务器,它们必须可以从内部和外部访问
  • 有什么明显的缺失吗?

粗略的设计理念

物理网络

  • 在每个配线间安装戴尔千兆交换机
  • 通过配线间之间的单根电缆连接两台戴尔交换机
  • 使用链路聚合通过两个上行链路将 HP 100 Mbit 交换机连接到每台戴尔交换机
  • 将所有服务器 NIC 连接到千兆端口,保留一些额外的千兆端口以备将来使用
  • 将尽可能多的公寓连接到可用的千兆端口,其余连接到 100 Mbit 端口

局域网设置

  • 为每个公寓创建一个 VLAN
  • 将未标记的单个 VLAN 分配给每个公寓交换机端口
  • 分配标记在(聚合)上行链路端口上的必要 VLAN
  • 将上行链路上标记的所有公寓 VLAN 分配给“公寓 LAN”的服务器 NIC
  • 将上行链路上未标记的默认 VLAN (ID 0) 分配给“管理 LAN”的服务器 NIC

服务器

  • 一个物理服务器网卡专用于“公寓局域网”,一张专用于“管理局域网”,一张专用于“广域网”,一张专用于“DMZ”
  • 安装 VMWare ESXi,为每个公寓创建虚拟网卡(使用它们的 VLAN ID),链接到“公寓 LAN”物理网卡
  • 将“WAN”服务器网卡连接到互联网路由器
  • 安装并配置 pfSense 以处理路由,添加所有单元 vNIC,

问题

  • 我们的想法是否通过了您的理智检查?设计中是否有任何明显的缺陷或陷阱?
  • 期望从运行虚拟化的 pfSense 获得 300+ Mbps 的路由是否合理?
  • 我们可以/应该使用什么样的链路聚合将两个不同品牌的交换机连接在一起 - 最好同时提供容错和n次 100 Mbps 上行链路
  • 我们能否期望 VLAN 按预期工作,在不同品牌的交换机之间结合标记和未标记,通过链路聚合并传递到 VMWare?
  • 鉴于提议的设计,我不太确定我们将如何处理路由和允许访问,从选定的公寓(管理设置的人)到管理 VLAN,但从大局来看,这是一件小事。

编辑:我们最终得到了什么

很抱歉无线电静默,但我们费了很大劲才按照我们的意愿进行网络设置。结果证明这是一个真正的 PITA,试图为每个交换机端口设置隔离,跨各种交换机。

我们获得的戴尔交换机的特定型号是少数不支持专用 VLAN 的型号之一。相反,我们获得了一个旧的 48 端口 Allied Telesis 交换机,但是虽然“私有”端口无法相互通信,但每个端口都没有与我们要求的管理网络隔离。惠普的“端口隔离”功能如宣传的那样工作,但他们没有足够的端口。

经过一番努力,我们设法获得了 1 x 48 端口和 2 x 24 端口 Cisco Catalyst 2950 - 每个都有 2 个千兆上行链路端口,其余为 100 Mbit。这有什么不同!不再需要让同一功能的不同供应商变体一起工作。

我们运行 pfSense virtual 以及一些低强度虚拟机,并且可以轻松路由 300 Mbps,而无需服务器出汗。

概括地说,这就是我们为实现目标所做的工作,也是我们目前正在运行的工作。希望这可以证明对某人有用。感谢您的输入!

物理网络

  • 48 端口交换机与服务器和互联网在同一个房间 - 一个千兆上行链路到服务器中的租户网卡,另一个到另一个房间的 24 端口交换机
  • 另一个房间的两个 24 端口交换机之间的千兆上行链路
  • 100 Mbit 端口连接到服务器中的管理 NIC
  • 互联网路由器连接到服务器中的 WAN 网卡

交换机配置

  • 用于从同一界面配置所有设备的免费 Cisco Network Assistant 软件。强烈推荐!
  • VLAN 1 被指定为我们的管理网络
  • 每个租户端口上配置的受保护端口(隔离)和端口安全(每个端口限制 MAC 地址)
  • 由于交换机只是以太网链接,而不是堆叠,“受保护端口”在交换机之间没有影响。也就是说,一台交换机中的租户端口可以与其他交换机上的所有租户端口通话。为了解决这个问题,我们为每个交换机创建了一个单独的租户 VLAN(VLAN ID 与交换机 IP 地址的第四个八位字节匹配)
  • 配置有“智能端口”的交换机之间的上行链路端口,以启用中继。本机 VLAN 设置为 1,允许所有其他 VLAN(标记)
  • 在交换机 A 中,租户上行连接到服务器 NIC,配置为运行租户 VLAN A 本机、VLAN B 和 C 标记

pfSense(和一点 VMWare)配置

  • 为 WAN、管理 LAN、租户 LAN 服务器 NIC 设置单独的 vSwitch (VMWare)
  • 租户 vSwitch (VMWare) 从 VLAN ID 0(无)更改为 4095(全部)
  • 在 pfSense 中分配的接口,相应地标记(WAN、管理员、租户)
  • 两个 VLAN 添加到租户 NIC,租户 VLAN B 和 C 的 ID(因为 VLAN A 已经运行未标记) - 现在我们在 pfSense 中有 3 个租户接口
  • 添加了三个租户接口的接口组,以简化防火墙规则的管理

这几乎是与我的问题有关的配置。我们还添加了用于远程管理访问的 OpenVPN、从 Windows PC 自动配置备份、添加了 DMZ 界面并继续微调和改进我们现在超级强大的 6 界面防火墙/路由器!:-)

fuk*_*wi2 5

  • 我们的想法是否通过了您的理智检查?

我会考虑在 pfSense 中处理 VLAN 接口,而不是用 54 个它并不真正需要知道的额外 NIC(个人偏好)来弄乱 ESXi。

您没有提到任何有关您的寻址的信息,但假设您使用的是 RFC1918 私有地址(因此您拥有完全控制权),请确保寻址有意义。就我个人而言,我喜欢确保我的 VLAN 标签与我的子网匹配。在这种情况下,我会做这样的事情:

10.0.0.0/24   => Admin
10.1.101.0/24 => Apartment 1 (VLAN 101)
10.1.102.0/24 => Apartment 2 (VLAN 102)
...
10.1.154.0/24 => Apartment 54 (VLAN 154)
Run Code Online (Sandbox Code Playgroud)

我向 VLAN 添加了 100,因为您不想将 VLAN 1 用于公寓 1。我还将管理和公寓子网保留在单独的 /16 中,以便您可以在如果需要,未来。

当租户希望有跨公寓流量时,您将如何处理?(例如,我和我的邻居真的是好朋友,我想和他/她分享我 NAS 上的视频)。这与其说是技术问题,不如说是政策问题。

  • 设计中是否有任何明显的缺陷或陷阱?

你最终会在 pfSense 中得到很多 NIC,你必须确保不能在它们之间路由。我已经多年没有使用 pfSense,但原则上您需要设置默认的拒绝策略。这将阻止 Apt X 将流量路由到 Apt Y,而无需手动确保策略始终到位。然后创建单独的 ALLOW 策略,只让每个 apt 通过互联网连接退出。

  • 期望从运行虚拟化的 pfSense 获得 300+ Mbps 的路由是否合理?

当您使用千兆网卡时,我不明白为什么不这样做。虚拟化不会增加那么多开销。

  • 我们可以/应该使用什么样的链路聚合将两个不同品牌的交换机连接在一起 - 最好同时提供容错和 n 次 100 Mbps 上行链路

LACP。

  • 我们能否期望 VLAN 按预期工作,在不同品牌的交换机之间结合标记和未标记,通过链路聚合并传递到 VMWare?

802.1q 是一个“标准”......取决于交换机的年龄,如果它们是在 802.1q 仍在最终确定时设计的,它们可能会做一些“奇怪”的事情,但你应该很安全。

  • 鉴于提议的设计,我不太确定我们将如何处理路由和允许访问,从选定的公寓(管理设置的人)到管理 VLAN,但从大局来看,这是一件小事。

默认拒绝策略会阻止这种情况,因此您只需要添加明确的 ALLOW 以允许它。