涛技札记 TAO'S BLOG

DNS 解析慢怎么排查和修复?从 curl、dig 到 Kubernetes 的实战指南

分类
DNS
发布
篇幅
约 6,900 字
阅读
约 20 分钟
Read in English →

摘要DNS 解析慢怎么排查?先别急着清缓存或改 8.8.8.8。本文用 curl 拆分耗时锁定瓶颈,覆盖 Windows/macOS/Linux、浏览器与 VPN、递归与 UDP 截断、IPv6、DNSSEC 及 Kubernetes ndots 与 CoreDNS 的完整排错和修复方案。

目录

浏览器第一次打开网站卡住好几秒,刷新一下又秒开;线上服务调外部 API 隔三差五超时;同一个域名在自己电脑上飞快,放到 Kubernetes Pod 里却慢半拍。

遇到这些现象,很多人第一反应是「清一下 DNS 缓存」或者「把 DNS 改成 8.8.8.8」。运气好能蒙对,但大多数时候只是掩盖了现象,甚至把问题搞大——在公司内网或 VPN 环境下,贸然切到公共 DNS 会直接让内网域名解析失败,还会把内部域名白白暴露给外部解析器。

更麻烦的是,网页卡顿、接口超时未必真的是 DNS 的锅。TCP 建连丢包、IPv6 黑洞、TLS 握手慢,表现出来都很像「DNS 卡住了」。真正高效的排错只有一件事:先拿证据,确认卡在哪一层、请求发给了谁、收到了什么返回,再动手改。

先看一张速查表,按你的现象直接跳到对应章节:

现象优先排查方向对应章节
不确定是不是 DNS 慢用 curl 拆分解析、建连、TLS 与首字节耗时第一步:用 curl 确认
dig 很快,浏览器或某个应用很慢对比系统解析路径、浏览器 DoH 与 VPN 分流规则排查本机解析路径
很多无关域名一起变慢对比当前递归 DNS 与候选解析器、检查路由器转发对比递归 DNS
平时正常,偶发停顿 2–5 秒排查 UDP 丢包、响应截断(TC=1)与 TCP 53 回退丢包与 TCP 回退
双栈网络下打开网站很慢分离 IPv6 DNS 传输故障与 IPv6 网站建连故障分离 IPv6 问题
换了几个 DNS,还是只有这一个域名异常排查父区委派、权威服务器一致性与 DNSSEC权威与 DNSSEC
宿主机正常,只有 Kubernetes Pod 慢检查 ndots 搜索后缀、CoreDNS 上游与 NodeLocalKubernetes Pod 排查
网络查询很快,应用调用解析依然慢排查线程池排队、连接池复用与缓存策略应用层排查

以下命令里的 example.com 和 192.0.2.53 都是占位符,实操时换成你实际出问题的域名和解析器 IP。内网域名请只发给公司授权的解析器,不要拿公共 DNS 去测。

第一步:用 curl 确认慢的到底是不是 DNS

动手查 DNS 之前,先用 curl 把一次完整 HTTPS 请求的各个阶段拆开看。找一个响应体不大、可以重复请求的 URL,直接在出问题的机器和网络环境里跑一轮采样(Windows PowerShell 里请明确执行 curl.exe,避免命中 Invoke-WebRequest 别名):

# 直连、HTTP/1.1、不跟随重定向,连续采样 20 次
url='https://example.com/'
fmt='ip=%{remote_ip} http=%{http_version} new_conn=%{num_connects} code=%{http_code} lookup=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ready=%{time_pretransfer} first_byte=%{time_starttransfer} total=%{time_total}'

curl --version
for ((i=1; i<=20; i++)); do
  printf 'run=%s ' "$i"
  if curl -q --noproxy '*' --http1.1 -sS -o /dev/null \
      --connect-timeout 5 --max-time 15 -w "$fmt" "$url"; then
    rc=0
  else
    rc=$?
  fi
  printf ' curl_rc=%s\n' "$rc"
  sleep 1
done

几个参数的作用:

  • -q 必须放在第一个参数位置,用来忽略本机的 .curlrc,避免隐藏配置干扰结果。
  • --noproxy '*' 强制直连,排除环境变量里的代理。如果业务本身必须走代理,就另外跑一组不带 --noproxy 的样本对比,别把两种路径混在一起算。
  • 每轮起一个新进程,确保不会复用上一轮的 TCP 连接和进程内缓存(注意这不会清掉操作系统或上游递归的缓存)。

看懂 curl 的累计计时

很多人第一次看 curl -w 会把几个时间加起来算,这是错的。curl 官方手册里这几个变量都是从请求开始算起的累计秒数,需要做减法:

阶段计算方式看什么
名称解析time_namelookup占比高,说明确实卡在 DNS 或本机解析
TCP 建连time_connect - time_namelookup占比高,查丢包、路由或 IPv6 建连,别再折腾 DNS
TLS 握手time_appconnect - time_connect占比高,查证书链、丢包或服务端握手
请求发送与服务端等待time_starttransfer - time_pretransfer占比高,通常是请求发送、网络 RTT 或后端处理慢(time_starttransfer 本身对应完整 TTFB)

读数据时注意三个细节:

  1. 先看退出码(curl_rc)再看耗时:6 是目标域名解析失败,5 是代理域名解析失败,28 是超时(超时可能卡在解析、建连或握手任意一步)。失败请求里未完成的阶段通常会打印成 0.000,别把 0 当成「解析极快」。
  2. HTTP/3 和重定向会打乱时间线:HTTP/3 跑在 QUIC 上,不适用「先 TCP 后 TLS」的拆分;想单独测 HTTP/3 需要用 --http3-only。加了 -L 跟随重定向会把多跳主机的耗时叠在一起,先不加 -L 看第一跳。
  3. 代理会改变解析地点:普通 socks5 在本地解析域名,socks5h 交给代理解析,此时 time_connect 测到的也可能是到代理的连接时间。

用 --resolve 做固定 IP 对照

如果怀疑是 DNS 慢,可以用 curl --resolve 直接指定 IP 做 A/B 对照。它的好处是不改 /etc/hosts,URL 里依然保留域名,HTTP Host 头、TLS SNI 和证书域名校验全都正常走,不需要加 -k。

host='example.com'
url="https://$host/"
base=(-q --noproxy '*' --http1.1 --ipv4 -sS -o /dev/null
      --connect-timeout 5 --max-time 15)
fmt='ip=%{remote_ip} lookup=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total}'

if ! ip=$(curl "${base[@]}" -w '%{remote_ip}' "$url"); then
  printf '基准请求失败,无法获取固定 IP\n' >&2
  exit 1
fi
: "${ip:?未取得远端 IP}"

for ((i=1; i<=10; i++)); do
  modes=(normal pinned)
  if ((i % 2 == 0)); then modes=(pinned normal); fi
  for mode in "${modes[@]}"; do
    extra=()
    if [[ "$mode" == pinned ]]; then extra=(--resolve "$host:443:$ip"); fi
    printf 'run=%s mode=%s ' "$i" "$mode"
    if curl "${base[@]}" "${extra[@]}" -w "$fmt" "$url"; then
      rc=0
    else
      rc=$?
    fi
    printf ' curl_rc=%s\n' "$rc"
  done
  sleep 1
done

如果 pinned 组非常稳定,normal 组反复在 lookup 阶段卡顿,那基本就坐实是解析路径的问题了。对比时记得核对两组的 remote_ip——如果正常组每次分到不同的 CDN 节点,端到端耗时差异里会混入节点本身的响应速度。另外,--resolve 只用来排查,千万别拿固定 CDN IP 当长期方案,CDN 节点随时可能下线或调度。

dig 很快但应用很慢?排查本机解析路径差异

这是排错中最容易让人困惑的场景:终端里敲一下 dig example.com,10 毫秒就回来了,但浏览器或者业务程序依然卡顿。

原因在于,dig 走的只是纯 DNS 报文路径,而应用程序走的是完整解析链路。应用通常会依次经过:进程内缓存 → hosts 文件 → 操作系统解析服务(如 Linux 的 NSS / systemd-resolved、Windows DNS Client、macOS mDNSResponder)→ 最后才发给递归解析器。

  • 在 Linux 上,dig 默认读 /etc/resolv.conf,即使指向 127.0.0.53,也没有走完 glibc 的 NSS(/etc/nsswitch.conf)逻辑;直接 @8.8.8.8 更是绕过了本地服务。
  • 在 Windows 上,微软官方文档明确指出 nslookup 不走系统 DNS 缓存。所以经常出现 nslookup 已经拿到新 IP,业务程序却还卡在旧的负缓存里。
  • 浏览器(如 Chrome/Chromium)还有自己的 HostCache、内置 DNS 客户端甚至独立的 DoH 设置。

先测系统 getaddrinfo(),再对照 dig

用 Python 调一下操作系统的 getaddrinfo(),最接近普通应用的真实解析路径:

python3 - example.com <<'PY'
import socket
import sys
import time

host = sys.argv[1]
for i in range(1, 11):
    started = time.perf_counter()
    try:
        rows = socket.getaddrinfo(host, 443, type=socket.SOCK_STREAM)
        elapsed = time.perf_counter() - started
        addresses = sorted({row[4][0] for row in rows})
        print(i, "OK", f"{elapsed:.6f}s", ",".join(addresses))
    except socket.gaierror as error:
        elapsed = time.perf_counter() - started
        print(i, "ERROR", f"{elapsed:.6f}s", repr(error))
    time.sleep(1)
PY

对比一下就能快速分叉:

  • getaddrinfo() 慢、dig 快:重点查系统本地解析服务、搜索后缀(search domain)和按域路由。
  • getaddrinfo() 快、只有浏览器慢:重点查浏览器的安全 DNS(DoH)和企业策略。

Windows:网卡上的 DNS 不是全部真相

在 PowerShell 里先把实际生效的解析配置看全:

ipconfig /all
Get-DnsClientServerAddress
Get-DnsClientNrptPolicy -Effective
nslookup example.com.
ipconfig /displaydns

连着 VPN 时,除了网卡上的 DNS 地址和后缀,一定要看 Get-DnsClientNrptPolicy -Effective。NRPT(名称解析策略表)会按域名后缀把请求分流到指定服务器,网卡里排第一的 DNS 未必就是最终处理该域名的服务器。

macOS:别只看第一个 nameserver

scutil --dns

macOS 除了默认 resolver,还支持按域名匹配的 scoped / supplemental 配置。VPN 接入的内网域名通常走 supplemental 规则,公网域名正常不代表内网分流配对了。

Linux:分清 systemd-resolved、glibc 和 dig

如果系统跑着 systemd-resolved,一次性核对这几项:

systemctl is-active systemd-resolved
resolvectl status
resolvectl statistics
ls -l /etc/resolv.conf
readlink -f /etc/resolv.conf
grep '^hosts:' /etc/nsswitch.conf

resolvectl query example.com
getent ahosts example.com
dig example.com. A

/etc/resolv.conf 里看到 127.0.0.53 时,它只是本地 stub 入口,真正的上游和每张网卡的分流规则都在 resolvectl status 里。把 resolvectl query(resolved 路径)、getent ahosts(glibc NSS 路径)和 dig(纯 DNS 报文路径)的耗时与返回放一起比,往往一眼就能看出卡在哪个环节。

千万别为了图省事手动覆盖 /etc/resolv.conf 或 chattr +i 锁死它。它通常由 NetworkManager、systemd-networkd 或 VPN 客户端动态接管,强行改文件会破坏每接口分流策略,应该回到对应的网络管理器里改配置。

浏览器与 VPN:确认域名到底交给了谁

Chromium 的 DNS 架构支持在系统 getaddrinfo() 和内置异步 DNS 客户端之间切换,并维护独立的 HostCache。如果你开启了浏览器的「安全 DNS(DoH)」并手动指定了外部服务商,浏览器的查询就会绕开系统 DNS 和公司内网解析器。关于 DoH 的加密边界和隐私取舍,可以参考 DNS 查询为什么要加密。

VPN 排错时要分清两个概念:split tunneling 是按目标 IP 决定流量走不走隧道,split DNS 是按域名决定 DNS 查询发给谁。在 systemd-resolved 里,带波浪号的 ~corp.example 是路由域(只分流、不补全短名),不带波浪号的才是 search domain(能把 wiki 补成 wiki.corp.example),~. 则是兜底路由。

实测时,把完整内网域名(FQDN)和短名分开测:完整域名正常、短名很慢,八成是搜索后缀拖了后腿;系统命令正常、只有浏览器打不开,优先查浏览器的 DoH 提供商和企业策略。

多域名普遍变慢:对比递归 DNS(别盲目切 8.8.8.8)

如果一堆毫无关系的网站都在解析阶段变慢,问题大概率出在本地路由器转发、运营商递归 DNS,或者出口网络上。如果多个解析器只对同一个域名失败或超时,那通常是那个域名自己的权威或委派坏了,换本地 DNS 没用。

不用改系统配置,直接用 dig 轮询对比当前 DNS 和公共解析器(比如 1.1.1.1、8.8.8.8)。也可以顺手用本站的 在线 DNS 查询工具 核对公共解析器的返回结果。

# Linux / Bash 4+,需要 BIND dig 和 GNU shuf;先将 CURRENT 换成你当前实际使用的 DNS IP
CURRENT='192.0.2.53'
NAME='example.com.'
logdir=$(mktemp -d)
TIMEFORMAT='process_wall_s=%3R'
printf 'round\tserver\ttype\tdig_rc\tfile\n' > "$logdir/attempts.tsv"
dig -v > "$logdir/dig-version.txt"

for ((round=1; round<=10; round++)); do
  mapfile -t order < <(printf '%s\n' "$CURRENT" 1.1.1.1 8.8.8.8 | shuf)
  types=(A AAAA)
  if ((round % 2 == 0)); then types=(AAAA A); fi
  for server in "${order[@]}"; do
    for type in "${types[@]}"; do
      file="$logdir/${round}-${server}-${type}.txt"
      if { time dig -r "@$server" -q "$NAME" -t "$type" \
          +nosearch +timeout=2 +tries=1; } > "$file" 2>&1; then
        rc=0
      else
        rc=$?
      fi
      printf '%s\t%s\t%s\t%s\t%s\n' \
        "$round" "$server" "$type" "$rc" "$file" >> "$logdir/attempts.tsv"
    done
  done
  sleep 1
done
printf '日志目录:%s\n' "$logdir"

分析结果时别掉进这四个坑

  1. Query time 不等于真实等待时间:BIND dig 在 TCP 模式下是等 TCP 建连完成后才开始计时的,所以 dig +tcp 的 Query time 里不含建连耗时;重试之前的超时等待也不一定体现在最后一条统计里。上面脚本同时记了 process_wall_s(进程墙钟时间),两者对照着看才靠谱。
  2. 先按状态码分类,别把失败样本剔掉算平均数:
状态 / 现象含义与判断
无响应 / dig_rc != 0网络超时或工具报错,保留退出码和 stderr,不代表域名不存在
SERVFAIL解析失败(上游超时、委派错误或 DNSSEC 校验失败),重点排查
NXDOMAIN域名不存在。dig 退出码依然是 0,别把它当成成功拿到 IP
NOERROR 但 Answer 为空常见于只配了 IPv4 的域名查 AAAA,属于正常 NODATA
  1. 第一轮不等于「公共 DNS 冷缓存」:清掉本机缓存不会清空公共递归的共享缓存,别人刚查过的域名它早就缓存好了。拿随机子域名去测冷缓存也不准确,因为随机子域名走的是 NXDOMAIN 或泛解析路径。
  2. DNS 快不代表网站打开快:公共 DNS 通过 Anycast 路由,并不保证一定连到地理上最近的节点。更重要的是,很多 CDN 会根据递归 DNS 的出口 IP 调度节点——Google Public DNS 支持 EDNS Client Subnet(ECS),会把你的部分网段透传给权威;Cloudflare 默认不传 ECS。如果换了 DNS 导致分配到绕路的 CDN 节点,DNS 省下 10 毫秒,网页加载反而多花 200 毫秒。详细对比可以看这篇 Cloudflare DNS vs Google Public DNS 选型指南。

另外,网卡里填一主一备两个 DNS,系统并不会每次并发竞速,通常是主 DNS 超时后才切备用。不要把公司内网 DNS 和 8.8.8.8 混写成主备——一旦主 DNS 抖动,查询落到 8.8.8.8 会直接拿回 NXDOMAIN。

偶发停顿几秒:排查丢包、UDP 截断与 TCP 回退

如果平时解析只要十几毫秒,但隔一会儿就突然卡住 2 到 5 秒,这往往不是解析器本身慢,而是丢包重试或者 UDP 截断后回退 TCP 失败。

很多人以为 DNS 只用 UDP 53 端口,TCP 53 只是用来做区域传送的。其实 RFC 7766 早就明确要求通用 DNS 同时支持 UDP 和 TCP。当响应太大、UDP 装不下时,服务器会返回一个带 TC=1(Truncated)标志的包,客户端收到后再改用 TCP 53 重查。如果防火墙只放行了 UDP 53 而拦了 TCP 53,小查询一切正常,大响应就会反复超时。

注意:UDP 根本没回包(丢包)时,没有 TC=1 标志,客户端会先走自身的超时重试策略,而不是立刻切 TCP。

用下面三条 dig 命令交叉验证(把 R 换成你的实际解析器 IP):

R='192.0.2.53'
Q='example.com.'

# 1. 纯 UDP 测试:+ignore 禁止收到 TC 后自动切 TCP
dig -r "@$R" "$Q" A +notcp +ignore +bufsize=1232 +timeout=2 +tries=1

# 2. 纯 TCP 测试
dig -r "@$R" "$Q" A +tcp +timeout=2 +tries=1

# 3. 允许正常截断回退
dig -r "@$R" "$Q" A +notcp +noignore +bufsize=1232 +timeout=2 +tries=1

这里有个细节:只写 +notcp 并不会禁止截断后回退 TCP,必须配上 +ignore。

  • UDP 没回包、TCP 正常:排查 UDP 路径丢包、NAT 超时或大包被丢弃。
  • UDP 返回 tc 标志、TCP 建连失败:十有八九是防火墙拦了 TCP 53。
  • TCP 建连成功但没有 DNS 响应:问题在服务端处理或上游,不只是端口不通。

EDNS 大响应与 IP 分片丢包

开启 DNSSEC 的域名,响应里带上签名和 DNSKEY 后很容易超过传统大小。如果客户端通过 EDNS 声明了过大的 UDP 缓冲(比如 4096),中间链路一旦发生 IP 分片,而防火墙或路由器丢弃了分片包,就会出现「普通域名飞快、某些大响应域名频繁超时」。

1232 是行业常用的保守诊断值(IPv6 最小 MTU 1280 减去 40 字节 IPv6 头和 8 字节 UDP 头),RFC 9715 则建议最大负载 1400 字节并允许更小值。怀疑大包分片时,找目标区域里启用了 DNSSEC 的 DNSKEY 记录对比测试:

Z='example.com.'

dig -r "@$R" "$Z" DNSKEY +dnssec +notcp +ignore +bufsize=4096 +timeout=2 +tries=1
dig -r "@$R" "$Z" DNSKEY +dnssec +notcp +ignore +bufsize=1232 +timeout=2 +tries=1
dig -r "@$R" "$Z" DNSKEY +dnssec +tcp +timeout=2 +tries=1

如果 4096 超时、1232 收到 tc、+tcp 秒回,基本就是大 UDP 包在链路上被丢了。进一步定位可以在 Linux 上抓包看时间线(别只过滤 udp port 53,否则会漏掉没有 UDP 头的后续分片包和 ICMP 提示):

sudo tcpdump -ni any -s 0 -vv -c 200 \
  'host 192.0.2.53 or icmp or icmp6'

确认是防火墙阻断 TCP 53、路径 MTU 问题还是分片过滤后,修复对应网络策略并用同一域名回归验证 UDP 与 TCP。

分清 IPv6 DNS 传输慢还是 IPv6 网站连不上

双栈网络下,人们常常把「IPv6 DNS 慢」和「网站 IPv6 连不上」混为一谈,甚至一刀切把系统 IPv6 关了。其实这是两码事:

  • 查询的记录类型:A 查 IPv4 地址,AAAA 查 IPv6 地址(记录类型细节可看 DNS 记录类型详解)。
  • DNS 传输的地址族:你完全可以通过 IPv4 向解析器查 AAAA,也可以通过 IPv6 查 A。

先用 dig -4 和 dig -6 固定传输族,排查解析器本身的 IPv6 链路:

R4='192.0.2.53'
R6='2001:db8::53'
Q='example.com.'

dig -r -4 "@$R4" "$Q" A +timeout=2 +tries=1
dig -r -6 "@$R6" "$Q" A +timeout=2 +tries=1

# 经 IPv4 传输,请求 IPv6 服务地址
dig -r -4 "@$R4" "$Q" AAAA +timeout=2 +tries=1

再用 curl -4 和 curl -6 对比业务连接阶段:

URL='https://example.com/'
FMT='ip=%{remote_ip} lookup=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} total=%{time_total}\n'

curl -q --noproxy '*' -4 --http1.1 --max-time 15 -sS -o /dev/null -w "$FMT" "$URL"
curl -q --noproxy '*' -6 --http1.1 --max-time 15 -sS -o /dev/null -w "$FMT" "$URL"
  • 如果 dig -6 超时、dig -4 正常:修到解析器的 IPv6 路由或防火墙。
  • 如果 A 和 AAAA 都很快,但 curl -6 卡在 connect 或 tls:DNS 没问题,去查目标站点的 IPv6 连通性或路径 MTU。

现代浏览器和客户端大多实现了 Happy Eyeballs(RFC 8305),会异步并发解析并交错尝试 IPv6/IPv4 建连,能兜住一部分 IPv6 建连失败,但兜不住「建连成功、发大数据包时遇到 MTU 黑洞」的场景。靠 -4/-6 定位根因,不要把全局禁用 IPv6 当常规解法。

只有单个域名异常:查权威服务器、委派与 DNSSEC

如果换成 1.1.1.1、8.8.8.8 和运营商 DNS,全都在同一个域名上超时或报 SERVFAIL,说明问题在域名自身(父区委派、权威服务器或 DNSSEC),改客户端配置毫无意义。

排查时别加 +short,保留完整输出。现代解析器经常会在返回里附带 EDE(Extended DNS Error),直接告诉你「权威不可达」「DNSSEC 签名过期」或者「返回了过期缓存」。

# 查看公开委派链路(注意:+trace 是本机直连各级权威做迭代查询,不是在看递归日志)
Q='www.example.com.'
dig -r +trace "$Q" A +timeout=2 +tries=1

# 找到所有权威 IP 后,逐台直查确认一致性
ZONE='example.com.'
AUTH_IP='192.0.2.54'

dig -r "@$AUTH_IP" "$ZONE" SOA +norecurse +timeout=2 +tries=1
dig -r "@$AUTH_IP" "$Q" A +norecurse +timeout=2 +tries=1
dig -r "@$AUTH_IP" "$Q" A +norecurse +tcp +timeout=2 +tries=1

逐台权威重点核对三件事:

  1. 响应里有没有 aa(权威应答)标志,各台权威的 SOA serial 是否一致。
  2. UDP 53 和 TCP 53 是否都通,有没有针对公共递归出口 IP 的限速或 ACL 误拦截。
  3. 如果刚迁过 DNS 服务商,确认注册商父区的 NS 记录和 Glue 记录是否已经同步更新,只改子区 NS 是不够的。

用 +cdflag 快速判断是不是 DNSSEC 坏了

DNS 迁移后,如果注册商那里还留着旧的 DS 记录,或者签名过期,验证解析器就会返回 SERVFAIL。拿同一台支持 DNSSEC 校验的解析器对比这两条命令:

R='192.0.2.53'
Q='www.example.com.'

dig -r "@$R" "$Q" A +dnssec +timeout=2 +tries=1
dig -r "@$R" "$Q" A +dnssec +cdflag +timeout=2 +tries=1

+cdflag(Checking Disabled)只对这一次查询跳过签名校验。如果普通查询报 SERVFAIL,加上 +cdflag 却立刻拿到了记录,几乎可以锁定是 DNSSEC 信任链断了。接着去核对父区 DS 与子区 DNSKEY 是否匹配,或者用 DNSViz 可视化检查整条验证链。修复验证链,而不是为了「提速」长期关闭 DNSSEC。

记录明明改好了,为什么还是旧值或报错?

三个常见机制会导致「改完不生效」:

  • TTL 还没过期:故障发生后再把 TTL 改小,无法强迫上游已经缓存的记录提前过期。计划迁移前要提前把 TTL 降下来,等旧 TTL 过期后再切换。
  • 负缓存(Negative Caching):查询了一个还不存在的域名拿到 NXDOMAIN(或缺少某类型记录拿到 NODATA),根据 RFC 2308,递归解析器会按 min(SOA TTL, SOA.MINIMUM) 缓存这个否定结果。你在权威加上记录后,清本机缓存也没法清掉上游的负缓存,只能等它到期。
  • Serve-Stale(过期兜底):按 RFC 8767,权威失联时部分解析器会返回过期的旧记录并赋予一个正数 TTL,所以看到 TTL > 0 也不代表数据一定新鲜。

另外顺手检查一下 CNAME 链:层层跳转跨多个权威区会增加未命中时的开销,清理掉多余跳转和失效目标,但别把 CDN 厂商要求的 CNAME 强行改成某个当前 IP。

Kubernetes Pod 解析慢:ndots、CoreDNS 与 NodeLocal DNSCache

宿主机解析飞快,一进 Kubernetes Pod 就慢,八成和 ndots 搜索放大、节点 conntrack 竞争或 CoreDNS 上游有关。

默认 dnsPolicy: ClusterFirst 下,Linux Pod 的 /etc/resolv.conf 通常长这样:

nameserver 10.32.0.10
search payments.svc.cluster.local svc.cluster.local cluster.local
options ndots:5

按 glibc 的规则,域名里包含的 . 数量少于 ndots(默认 5) 时,会先拼接 search 列表里的每一个后缀去查,全都失败后再查域名本身。所以当 Pod 访问 api.example.com(只有 2 个点)时,可能会依次尝试:

api.example.com.payments.svc.cluster.local.
api.example.com.svc.cluster.local.
api.example.com.cluster.local.
api.example.com.

再加上 glibc 常并行发 A 和 AAAA,一次外部域名请求很容易放大成多次内部查询,带来额外的延迟和 CoreDNS 压力。

在出问题的 Pod 里现场取证

NS='payments'
POD='your-pod-name'
CONTAINER='your-container-name'

kubectl -n "$NS" get pod "$POD" -o wide
kubectl -n "$NS" exec "$POD" -c "$CONTAINER" -- cat /etc/resolv.conf

kubectl -n kube-system get pods -l k8s-app=kube-dns -o wide
kubectl -n kube-system get endpointslice -l kubernetes.io/service-name=kube-dns -o wide
kubectl -n kube-system get configmap coredns -o yaml
kubectl -n kube-system logs -l k8s-app=kube-dns --since=10m --tail=200

如果容器里有 dig,可以对比绝对域名(末尾加点)和带 +search 的解析过程:

DNS_IP='10.32.0.10' # 换成上面 Pod 里看到的 nameserver
TARGET='www.kubernetes.io'

# 绝对域名直查
kubectl -n "$NS" exec "$POD" -c "$CONTAINER" -- \
  dig -r "@$DNS_IP" "$TARGET." A +timeout=2 +tries=1

# 模拟 ndots:5 与 ndots:2 的搜索过程
kubectl -n "$NS" exec "$POD" -c "$CONTAINER" -- \
  dig -r "@$DNS_IP" "$TARGET" A +search +showsearch +ndots=5 +timeout=2 +tries=1
kubectl -n "$NS" exec "$POD" -c "$CONTAINER" -- \
  dig -r "@$DNS_IP" "$TARGET" A +search +showsearch +ndots=2 +timeout=2 +tries=1

提示:不要为了省去 search 后缀而批量给业务里的 HTTPS URL 主机名加末尾点(如 https://api.example.com./),这容易触发 TLS SNI、HTTP Host 路由、Cookie 作用域和服务端重定向的兼容性问题。

谨慎灰度 ndots:2

如果确认业务大量访问外部多级域名(至少带 2 个点,如 api.example.com),可以在单个工作负载上灰度尝试 ndots:2:

spec:
  template:
    spec:
      dnsPolicy: ClusterFirst
      dnsConfig:
        options:
          - name: ndots
            value: "2"

注意三个常见误区:

  • example.com 只有 1 个点,改成 ndots:2 后它依然会先走搜索后缀。
  • 别顺手把 dnsPolicy 改成 Default——在 Kubernetes 里 Default 的意思是继承宿主机节点的 DNS 配置,会直接丢失集群内部 Service 解析。
  • 使用 hostNetwork: true 的 Linux Pod 如果想保留集群 DNS,需要显式设置 ClusterFirstWithHostNet(Windows Pod 不支持该模式)。

看 CoreDNS 指标与节点层瓶颈

CoreDNS 服务端处理很快,不代表 Pod 没在等——请求在到达 CoreDNS 之前可能已经经历过丢包或 conntrack 竞争。如果你部署了 Prometheus,重点看这三组指标(把 job="coredns" 换成你的实际标签):

# CoreDNS 内部处理 p95
histogram_quantile(
  0.95,
  sum by (le, type) (
    rate(coredns_dns_request_duration_seconds_bucket{job="coredns"}[5m])
  )
)

# forward 到上游的处理 p95(旧指标 coredns_forward_request_duration_seconds 已弃用)
histogram_quantile(
  0.95,
  sum by (le, to) (
    rate(coredns_proxy_request_duration_seconds_bucket{
      job="coredns", proxy_name="forward"
    }[5m])
  )
)

# 按返回码统计响应速率
sum by (rcode) (
  rate(coredns_dns_responses_total{job="coredns"}[5m])
)

几个排查重点:

  • coredns_forward_max_concurrent_rejects_total 上涨:说明 CoreDNS 的上游并发数打满了,正在直接返回 REFUSED。
  • cache 30 不是固定缓存 30 秒:它只是 TTL 上限。排查旧缓存问题时,同时检查最小 TTL 和 serve_stale 配置。
  • NodeLocal DNSCache:能大幅减少跨节点访问和 conntrack 冲突,并支持到 CoreDNS 的 TCP 链路。但它本身也是节点上的故障点——如果只有某一台宿主机上的 Pod 慢,先检查该节点的 NodeLocal Pod 有没有 OOMKilled 或重启,比盲目扩容中央 CoreDNS 有效得多。
  • 转发循环与老旧镜像:把宿主机 systemd-resolved 的 stub 文件(127.0.0.53)误当成 CoreDNS 上游容易引发转发死循环;此外 Kubernetes 官方排错文档 特别提醒,Alpine 3.17 及更早版本的基础镜像在 DNS TCP 回退上存在缺陷,遇到大响应容易超时。

应用层卡顿:线程池、连接池与缓存陷阱

如果抓包和 dig 都很快,业务代码里的 DNS 解析耗时依然很高,就要往应用运行时里查:

  • Node.js 的 dns.lookup() 线程池排队:dns.lookup() 走系统解析,跑在 libuv 线程池里。如果同一进程里有大量文件 I/O 或加密任务占满了线程池,DNS 解析就会跟着排队。dns.resolve4() / dns.resolve6() 直接发 DNS 报文且支持 { ttl: true },但会绕开 /etc/hosts 和系统分流配置,替换前要先评估私网和集群域名行为。
  • 应用层缓存要设上限和 TTL:如果要自己加 DNS 缓存,必须有容量上限、尊重记录 TTL、给失败结果设置更短的负缓存时间,并对并发的同一域名请求做去重合并(singleflight)。千万不要设成永久缓存,也不要把 CDN IP 写死进 /etc/hosts,否则下次服务商切 IP 直接酿成线上故障。
  • 连接池复用与 DNS 切换:HTTP Keep-Alive 和连接池能省去重复解析,但也意味着 DNS 记录更新后,老连接依然连着旧 IP。依赖 DNS 做故障切换的服务,要给连接池配置合理的最大存活时间(max lifetime)。
  • DoH / DoT 的冷启动:基于 TLS/HTTPS 的加密 DNS 首次建连有握手开销,复用后才会摊薄。不要拿新进程的单次冷查询耗时,直接等同于浏览器长连接复用下的日常延迟。

什么时候该清 DNS 缓存,怎么确认修好了

清缓存只能用来纠正「本地拿着旧答案/负缓存、上游已经恢复」的状态问题,修不好网络延迟、丢包、VPN 分流错误或权威故障。

比如在 Windows 上,你已经看到 nslookup 返回了新 IP,但 ipconfig /displaydns 里依然缓存着旧的「记录不存在」,这时清一次缓存才真正有用:

# Windows
ipconfig /flushdns

使用 systemd-resolved 的 Linux 主机:

# 只清本地 stub 缓存,不影响浏览器和上游递归
sudo resolvectl flush-caches

注意 resolvectl reset-server-features 是重置服务器能力探测(如 EDNS/TCP 降级状态),和清记录缓存是两件事,不要把它们和重启服务打包成定时清理脚本——定时清缓存反而会制造大量冷查询,让响应更慢。

怎么算真正修好了? 回到最初出问题的业务和网络环境重跑采样,而不是只看终端里一条 dig 变快:

  1. curl 连续采样中,原先的 lookup 长尾和超时是否彻底消失。
  2. 对比 remote_ip 和端到端总耗时,确认没有因为换解析器导致 CDN 绕路。
  3. 如果涉及 VPN 或 Kubernetes,回归测试内网完整域名、短名和集群 Service,确保没有引入副作用。

常见问题

把 DNS 改成 1.1.1.1 或 8.8.8.8 能彻底解决 DNS 慢吗?

不一定。如果慢是因为运营商递归节点差或路由器转发卡顿,切到公共 DNS 确实可能立竿见影;但如果根因是本机 VPN 分流、UDP 丢包、IPv6 路由黑洞或目标域名自身的权威故障,换公共 DNS 毫无帮助,甚至可能让 CDN 调度变差或导致公司内网域名无法访问。

为什么 dig 很快,浏览器打开网页还是很卡?

两条路径不一样。dig 直接发 DNS 报文,不走浏览器的 HostCache、内置 DNS 客户端或安全 DNS(DoH),也没有经历 TCP 建连、TLS 握手和页面渲染。先用 curl -w 确认耗时确实在 time_namelookup,再对照系统的 getaddrinfo() 与浏览器 DoH 设置就能定位差异。

Kubernetes 里把 ndots 改成 2 有什么副作用?

改成 ndots:2 后,带 2 个及以上点号的外部域名(如 api.example.com)会先尝试按绝对域名解析,减少无谓的搜索后缀查询。但如果你的应用依赖「带 2 个点号的相对名 + 集群搜索后缀」去拼出内部服务名(例如用 my-svc.my-ns.svc 期望自动拼成 my-svc.my-ns.svc.cluster.local),就会先走一次外网查询拿到 NXDOMAIN 再回退。建议按单个 Deployment 灰度,回归所有内部与外部域名后再推广。

为什么改完域名解析记录,过很久还是旧 IP 或报错?

主要有三个原因:旧记录的 TTL 还没到期;之前查过不存在的域名触发了上游负缓存(由权威的 SOA TTL 与 SOA.MINIMUM 较小值决定);或者权威短暂失联触发了递归的 serve-stale 兜底机制。本地清缓存只能清本机,无法强制上游递归刷新。

参考资料

相关文章

评论