网络与服务
排查手册

# Step 1. Service 是否存在,selector 是什么
kubectl get svc <svc-name> -o yaml | grep -A 3 selector

# Step 2. Endpoints 是否有 IP(关键!没 IP 就是 selector 没匹配上)
kubectl get endpoints <svc-name>
# 输出 ENDPOINTS 列为 <none> → selector 和 Pod label 对不上

# Step 3. Pod 的 label 是不是和 selector 一致
kubectl get pod --show-labels | grep <app>

# Step 4. Service 端口和 Pod containerPort 是否匹配
kubectl describe svc <svc>
kubectl describe pod <pod> | grep -i port

# Step 5. 直接测 Service ClusterIP
kubectl run debug --rm -it --image=nicolaka/netshoot -- bash
# 进入后:
curl <service-name>.<namespace>.svc.cluster.local
curl <cluster-ip>:<port>

# 1. 测试 Pod 内 DNS
kubectl run dnsdebug --rm -it --image=nicolaka/netshoot -- bash
# 进入后
nslookup kubernetes.default
nslookup baidu.com
cat /etc/resolv.conf
# 应该看到 nameserver 是 10.96.0.10(默认 CoreDNS Service IP)

# 2. 检查 CoreDNS Pod 状态
kubectl -n kube-system get pod -l k8s-app=kube-dns
kubectl -n kube-system logs -l k8s-app=kube-dns --tail=50

# 3. 检查 CoreDNS Service
kubectl -n kube-system get svc kube-dns

# 4. 检查 CoreDNS 配置(常见问题:forward 上游 DNS 不通)
kubectl -n kube-system get cm coredns -o yaml

# 1. 看 Ingress Controller 日志(最关键)
kubectl -n ingress-nginx logs -l app.kubernetes.io/name=ingress-nginx --tail=100

# 2. Ingress 规则是否正确
kubectl describe ingress <name>

# 3. 后端 Service 的 Endpoints 是否健康
kubectl get endpoints <backend-svc>

# 4. 跳过 Ingress 直接测 Service,定位是 Ingress 还是后端
kubectl port-forward svc/<backend-svc> 8080:80
curl localhost:8080

# 通过 annotation 调整 nginx-ingress 超时
metadata:
  annotations:
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "60"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-body-size: "50m"  # 大文件上传必须调

# 1. 检查所有节点的 CNI Pod
kubectl -n kube-system get pod -o wide | grep -E "calico|flannel"

# 2. Calico 检查节点状态
calicoctl node status
# 应看到所有节点 BGP peer 是 Established

# 3. 节点防火墙(Calico BGP 用 179, Flannel VXLAN 用 8472)
iptables -nL | grep "179\|8472"
firewall-cmd --list-all   # CentOS

# 4. MTU 检查(节点间能通的最大包)
ping -M do -s 1472 <other-node-ip>
# Calico VXLAN 默认 MTU 1450,要小于物理网卡 50 字节

# 5. 路由表是否包含其他节点的 Pod CIDR
ip route | grep tunl
# 应看到类似: 10.244.1.0/24 via 192.168.1.11 dev tunl0

# 1. 看 NodePort 端口
kubectl get svc <svc>
# 输出形如 80:31234/TCP, 31234 就是 NodePort

# 2. 节点上看端口监听
ss -lntp | grep 31234
# 注意: NodePort 不是真的监听端口,iptables/ipvs 转发,可能看不到

# 3. 节点本机测试
curl localhost:31234
curl <node-internal-ip>:31234

# 4. 检查防火墙
iptables -nL -t nat | grep 31234
firewall-cmd --add-port=31234/tcp --permanent
firewall-cmd --reload

# 5. iptables 规则是否生成(kube-proxy 是否正常)
iptables-save | grep <svc-name>

# 1. 查看命名空间下所有 NetworkPolicy
kubectl get networkpolicy -A

# 2. 看具体规则
kubectl describe networkpolicy <name> -n <ns>

# 3. 临时禁用某个策略测试
kubectl delete networkpolicy <name> -n <ns>

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-dns
  namespace: default
spec:
  podSelector: {}            # 应用到 ns 下所有 Pod
  policyTypes:
    - Egress
  egress:
    - to:
        - namespaceSelector:
            matchLabels:
              kubernetes.io/metadata.name: kube-system
          podSelector:
            matchLabels:
              k8s-app: kube-dns
      ports:
        - protocol: UDP
          port: 53
        - protocol: TCP
          port: 53

# 一条命令对比 selector 和 label
kubectl get svc <svc> -o jsonpath='{.spec.selector}'; echo
kubectl get pods --show-labels | grep <app>

# 检查 Pod 是否 Ready(NotReady 不会进 endpoints)
kubectl get pod -o wide
# READY 列必须是 1/1 才会被纳入 endpoints

# readinessProbe 失败的临时绕过(测试用,生产慎用)
kubectl edit deploy <name>
# 临时删掉 readinessProbe 段

# 1. 看 kube-proxy Pod
kubectl -n kube-system get pod -l k8s-app=kube-proxy -o wide

# 2. 看日志
kubectl -n kube-system logs -l k8s-app=kube-proxy --tail=100

# 3. 检查 iptables 规则
iptables-save | grep KUBE-SVC | head
iptables-save | grep KUBE-NODEPORTS | head

# 4. ipvs 模式下检查转发表
ipvsadm -Ln | head

# 5. 重启 kube-proxy(DaemonSet 滚动重启)
kubectl -n kube-system rollout restart daemonset kube-proxy