容器网络的基石

从一个最基本的问题出发

先抛开 Kubernetes, 就看一台 Linux 主机上的两个容器:

容器 A 执行 ip addr, 看到自己有 eth0, IP 是 10.244.0.2.
容器 B 执行 ip addr, 看到自己也有 eth0, IP 是 10.244.0.3.

诡异之处:

1. 两个容器都有自己独立的网卡, IP, 路由表, 防火墙规则
2. 但它们明明跑在同一台主机上, 共用一个内核, 一张物理网卡
3. 它们还能互相 ping 通

这怎么做到的? 容器的"独立网络"是真的独立网卡吗?(不是)

答案藏在 Linux 内核里. 容器的网络隔离, 完全是内核提供的几个机制"拼"出来的假象--而理解这个"拼"的过程, 就是理解容器网络的全部.

原语一: network namespace -- 隔离的网络栈

network namespace(网络命名空间) 是 Linux 内核的隔离机制: 它让一组进程拥有完全独立的一套网络栈--独立的网卡, IP 地址, 路由表, iptables 规则, 端口空间.

默认情况下, 整台主机共享一个(默认)network namespace. 但可以创建新的: 每个新 namespace 都是一张"白纸", 里面只有一个 loopback, 看不到主机的网卡, 也看不到别的 namespace.

# 创建一个名为 ns1 的 network namespace
$ ip netns add ns1

# 在 ns1 里执行命令: 它看到的是一套全新的, 隔离的网络
$ ip netns exec ns1 ip addr
1: lo: <LOOPBACK> ...        # 只有 loopback, 什么网卡都没有, 完全隔离

但隔离带来一个新问题: namespace 是一张白纸, 与世隔绝, 容器怎么和外界通信? 需要一根"线"把它连出来.

原语二: veth pair -- 一根虚拟网线

veth pair(虚拟以太网设备对) 是一对总是成对出现的虚拟网卡, 它俩像一根网线的两端: 从一端进去的数据包, 一定从另一端出来.

把 veth 的一端放进容器的 namespace, 另一端留在主机, 这根"虚拟网线"就把隔离的容器连到了外面:

容器 namespace (ns1)          主机 namespace
  ┌─────────────────┐         ┌──────────────────┐
  │   eth0 ●━━━━━━━━━┿━━veth━━━┿━● vethXXXX        │
  │  (veth 一端)     │  虚拟网线 │   (veth 另一端)    │
  └─────────────────┘         └──────────────────┘
   从 eth0 发出的包, 必从 vethXXXX 出来, 反之亦然

# 创建一对 veth: veth0 和 veth1
$ ip link add veth0 type veth peer name veth1

# 把 veth1 这一端"塞进" ns1 命名空间
$ ip link set veth1 netns ns1
# 现在: veth0 在主机, veth1 在容器里 -- 一根线连通了内外

现在一个容器能连到主机了. 但如果有很多容器, 每个都拉一根 veth 到主机, 它们彼此之间怎么通信? 总不能两两都连一根线. 这就需要第三个原语.

原语三: 网桥 -- 一台虚拟交换机

Linux bridge(网桥) 是内核里的一个虚拟二层交换机. 把多个容器的 veth 主机端都"插"到同一个网桥上, 这些容器就像插在同一台交换机上的电脑, 可以二层互通.

网桥让同主机的多个容器互通(这正是 Docker 默认的 docker0 网桥做的事):

容器A(ns1)        容器B(ns2)        容器C(ns3)
    eth0              eth0              eth0
     │veth             │veth             │veth
     ▼                 ▼                 ▼
  ┌──────────────────────────────────────────┐
  │            网桥 (如 cni0 / docker0)         │  ← 虚拟交换机
  └────────────────────┬─────────────────────┘
                       │
                  主机物理网卡 eth0 ──▶ 外部网络

有了网桥, 同主机容器互通的链路就完整了: 容器A 的包 → 它的 veth → 网桥 → 转发到 容器B 的 veth → 容器B. 这三个原语组合起来, 就是"同节点容器网络"的全部机制. Docker 的默认网络模式 docker0 就是这么实现的.

Pod A (10.244.0.2) 想访问 Pod B (10.244.0.3), 同一节点:
1. Pod A 的进程发包, 目标 10.244.0.3
2. 包从 Pod A 的 eth0(veth 一端)出去
3. 到达主机端的 veth, 被送上网桥 cni0
4. 网桥发现 10.244.0.3 对应 Pod B 的 veth → 直接二层转发
5. 包从 Pod B 的 veth 进入 Pod B 的 eth0 → 到达 Pod B
全程不出主机, 就是"veth → 网桥 → veth"的二层交换

Kubernetes 的网络模型: 四条规则

上面是"机制". Kubernetes 在此之上规定了一套网络模型(策略)--它不关心用什么实现, 但要求任何实现都必须满足四条规则: