美国服务器跨洋迁移:1Gbps 跑出 47Mbps,rsync 与内核有 8 个默认值在拖你后腿

上个月给一家做海外 SaaS 的客户做机房搬迁,源端在洛杉矶、目标在国内,物理链路 1Gbps 独享。运维给的方案是教科书式的:

rsync -avz --progress -e ssh /data/ root@dst:/data/

跑了 6 小时,--progress 上的速率稳定在 5.8 MB/s,也就是 47Mbps。客户以为是"国际出口就这速度",准备接受 3 天的迁移窗口。我上去看了一眼 ss -ti,10 分钟把速率干到 940Mbps。这篇文章就是把那 10 分钟里改掉的东西,一条条摊开讲。

一、先别动参数,先把瓶颈钉死在哪一层

跨境迁移的速率受限于四层,从上到下依次是:应用层协议(rsync 算法本身)→ 传输层(TCP 拥塞控制与窗口)→ 加解密层(SSH/CPU)→ 磁盘层(IO 排序)。乱调参数的最大问题是你在第三层使劲,瓶颈其实在第一层。

钉死瓶颈用的三条命令,别用 iftop 那种看不细的:

# 1. 看单条 TCP 流的真实状态:cwnd、rtt、retrans、delivery_rate
ss -tinm 'dport = :873 or dport = :22'

# 输出里重点关注:
#   cwnd:10            ← 卡在初始窗口,说明在反复慢启动或持续丢包
#   rtt:182/0.4        ← 单程 182ms
#   retrans:0/1287     ← 重传率 = 1287/总段数,>0.1% 就该换 BBR 了
#   delivery_rate 5.6Mbps
#   bytes_acked / bytes_sent 比值

# 2. 看内核统计的重传与丢包类型
nstat -az TcpRetransSegs TcpExtTCPLostRetransmit TcpExtTCPTimeouts TcpInSegs

# 3. 看磁盘是不是其实是瓶颈(很多人跳过这步)
iostat -xdm 2 5 | awk 'NR==1 || $NF>50'

当时现场数据是:cwnd:10、retrans:0/893(约 0.11%)、delivery_rate 全程贴着 6Mbps 不动,而 iostat 的 %util 只有 12%。结论很明确——不是磁盘慢,是 TCP 根本不敢把窗口打开。

二、第一刀:把 SSH 从传输路径上摘掉

rsync -e ssh 有两个隐形成本:

  • OpenSSH 默认 cipher 协商顺序里 chacha20-poly1305 未必排在 aes128-gcm 前面,而 AES-GCM 在有 AES-NI 的机器上吞吐是前者的 3~5 倍;
  • 更致命的是 ssh 的 channel window。openssh 的 ChannelWindowSize 在 8.x 之后是动态调整的,但在高 RTT 下它跟 TCP 的 socket buffer 是两级缓冲,rsync 写满 ssh 的 buffer 就阻塞,TCP 的 sk_rcvbuf 自动调优的 tcp_moderate_rcvbuf 逻辑永远涨不上去——因为应用层读得太慢。

顺手能做的最小改动是塞 ssh 参数,能挽回一些:

rsync -av --progress \
  -e "ssh -T -x -c aes128-gcm@openssh.com -o Compression=no -o IPQoS=throughput" \
  /data/ root@dst:/data/

但真正解决问题的是换成 rsync daemon 模式,让 rsync 直接拿裸 TCP,绕开 sshd 的转发层和加密。而且这一步是后面所有内核调优生效的前提——SSH 的 userspace 转发会让 socket buffer 调优的效果打折。

# 源端 /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 64
pid file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log
transfer logging = yes
# 关键:能让内核直接把数据从 page cache 推出去,别在 userspace 攒
write big files = yes

[migrate]
    path = /data
    read only = yes
    # 二进制/媒体文件一律不压,CPU 省下来干别的
    dont compress = *.gz *.xz *.zst *.bz2 *.mp4 *.iso *.tar *.jpg *.png
# 启动
rsync --daemon --config=/etc/rsyncd.conf

# 客户端直接连 daemon,走 873 端口
rsync -a --progress rsync://src.lax:/migrate/ /data/

三、第二刀:内核——BBR 是必需品,但 tcp_notsent_lowat 是毒药

这一点必须展开说,因为它是最容易被"抄错"的地方。云厂商和 CDN 厂商的性能调优文档里十篇有九篇带着这么一段:

net.ipv4.tcp_notsent_lowat = 16384

这个参数的作用是限制 socket 发送队列里"已入队但未发出"的字节数。在 Web 短连接场景下,它是降 TTFT 的良药,能把内核攒包导致的排队延迟压下去。

但放到批量迁移场景,它的效果是:16384 bytes / 0.182s = 88 KB/s。你的 1Gbps NIC 会瞬间变成一根 0.7Mbps 的管子。我第一次踩这个坑是在新加坡到法兰克福的链路上,调完参数跑 iperf3 直接掉到 300Kbps,找了半小时才发现是这行。

迁移场景下正确的 sysctl 组合:

cat >> /etc/sysctl.d/99-xfer.conf <<'EOF'
# --- 窗口:按 BDP 算,别拍脑袋 ---
# 1Gbps * 0.182s = 22.75MB,max 给 32MB 留余量
net.core.rmem_max = 33554432
net.core.wmem_max = 33554432

# 关键在中值!rsync 算 checksum 时接收端不读 socket,
# 自动调优只涨不缩但前提是应用读得快。给 1MB 起步防止回落到 87KB
net.ipv4.tcp_rmem = 4096 1048576 33554432
net.ipv4.tcp_wmem = 4096 1048576 33554432

# --- 拥塞控制:跨境 0.1% 丢包 cubic 就废了 ---
net.ipv4.tcp_congestion_control = bbr
net.core.default_qdisc = fq

# --- 这一行是 Web 场景的良药、迁移场景的毒药,显式关掉 ---
net.ipv4.tcp_notsent_lowat = -1

# --- rsync 算 checksum 会有 >RTO 的停顿,空闲后别回落到 cwnd=10 ---
net.ipv4.tcp_slow_start_after_idle = 0

# --- 跨境路径 MTU 变化多,PMTUD 黑洞会表现为"小文件通、大包丢" ---
net.ipv4.tcp_mtu_probing = 1

# --- 简化 TIME_WAIT 回收,短连接高 churn 下有用 ---
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_tw_buckets = 262144
EOF

sysctl --system

# 验证 qdisc 和 CCA 真的生效了
tc qdisc show dev eth0          # 必须是 fq,不是 fq_codel 之外的东西
sysctl net.ipv4.tcp_congestion_control

验证方式:ss -ti 里必须能看到 bbr,以及 delivery_rate 接近链路带宽。如果 delivery_rate 上不去但 cwnd 已经很大,多半是接收端 tcp_rmem 没调。

顺手说一句,那边客户源端用的是轻云互联的美国服务器,回国链路本身做了优化,重传率比走普通国际出口低一个量级——这点在 nstat 的 TcpExtTCPTimeouts 计数上非常直观,调完 BBR 之后基本是 0 增长。链路质量好,参数调优才有意义;链路本身就是 3% 丢包的,BBR 也救不回来。

四、第三刀:rsync 的 delta 算法在 200ms RTT 下是负优化

这是最反直觉的一条。rsync 之所以快,是因为它的滚动校验算法只传差异块。但那个算法是给"目标端已有近似版本、边传边比较"设计的。

整库迁移、目标端为空、文件是大文件的情况,delta 算法的开销是纯浪费:

  • 发送端要读整个源文件算弱校验(rolling checksum),200ms RTT 下每个 block 的协商都要一个往返;
  • -B/--block-size 默认是 700 字节。一个 4GB 的镜像文件 = 600 万个 block,协商开销能把带宽吃到只剩零头。

正确做法:

rsync -a --progress \
  --whole-file \
  --inplace \
  --block-size=262144 \
  --compress-choice=zstd --compress-level=1 \
  --skip-compress=gz/xz/zst/bz2/mp4/iso/tar/jpg/png \
  --partial-dir=.rsync-partial \
  rsync://src.lax:/migrate/ /data/

逐条说明:

  • --whole-file:远端默认关闭,显式打开,跳过 delta 计算;
  • --inplace:直接写目标文件,不搞 .tmp + rename。省一次 fsync 和一次元数据事务,在 XFS 上大文件能省 15% 的 IO 时间。代价是中断后文件残缺——所以配 --partial-dir 而不是留半截文件在正式路径里;
  • --block-size=262144:如果确实需要 delta(比如二次增量同步),把块调大会显著减少协商次数;
  • --compress-choice=zstd:rsync 3.2+ 才支持。-z 走的 zlib 是单线程,10G NIC 上想跑满需要 1.2GB/s 的压缩吞吐,单核 zlib 只有 200~300MB/s——压缩本身成了瓶颈。zstd level 1 是唯一能在多核上跑满的选择;
  • 已经压过的二进制一律 --skip-compress,别浪费时间。

五、第五刀:mtime、--append 与 xattr 三个静默损坏源

1. --append 会静默拼出损坏文件

--append 的判断逻辑只有一条:目标文件大小 < 源文件大小,就从断点追加。如果源文件在两次同步之间被改写(日志、数据库数据文件、被覆盖发布的应用包),拼出来的就是一个 mtime 更新的、看起来正常的、内容完全损坏的文件。后续 --checksum 也救不回来,因为 mtime 和大小都对得上。

断点续传必须用 --append-verify——它会对已存在的目标部分做校验。代价是要把目标文件已传部分完整读一遍算哈希,在 TB 级文件上是笔真实开销,但比数据损坏便宜。

2. mtime 精度截断导致"永远的增量同步"

源端 ext4 的 mtime 带纳秒,落到 NFSv3 挂载、SMB 共享、或者某些 S3 网关时会被截断到秒(甚至 2 秒粒度)。rsync 默认按秒比较,看着没问题。但一旦你用 --checksum 做最终校验,或者中间隔了一层把 mtime 精度抹掉的中间存储,就会出现每次同步都判定"文件不同"、全量重传的现象,而且 --stats 里 Total transferred file size 会等于总大小,肉眼很难第一时间发现。

检测与规避:

# 全量比对 dry-run,看有多少文件会被重传(0 才是收敛了)
rsync -rlptgoDHAX --numeric-ids --dry-run --itemize-changes \
  rsync://src.lax:/migrate/ /data/ | wc -l

# 源端和目标端随机抽 200 个文件,比对 mtime 精度
find /data -type f -printf '%T@ %p\n' | shuf -n 200 > /tmp/mtime.src
sort -k2 /tmp/mtime.src | awk '{print $2}' | xargs -I{} stat -c '%n %.9Y' {} | head

# 如果发现纳秒被抹平,用 modify-window 兜底(只在迁移窗口内用)
rsync -a --modify-window=1 ...

3. -X 会把上游的 SELinux context 拉过来

-AX 看似完整,但 security.selinux 这个 xattr 是绑定发行版策略的。从 CentOS 7 迁到 Ubuntu 22.04,把 system_u:object_r:httpd_sys_content_t:s0 带过去,落地后 restorecon 又会因为 -X 下次同步再拉回来,形成死循环,表现为"某些目录 Web 服务永远 403"。

策略:迁移用 -A(ACL,跨发行版语义一致),不用 -X;如果业务真依赖 xattr,限定命名空间:--xattrs-include='user.*' --xattrs-include='trusted.*'。

六、第六刀:--files-from 必须按 inode 排序,别让 HDD 替你随机读

rsync 的目录遍历顺序取决于 readdir() 返回的顺序。ext4/XFS 开了 dir_index 之后,返回的是文件名哈希顺序,和物理位置毫无关系。几十万个 4KB 小文件这么传,HDD 的寻道能把 IOPS 打穿,这时的现象是 %util 100% 但吞吐只有 20MB/s——和你调的 TCP 参数一毛钱关系没有。

# 按 inode 号排序 ≈ 按物理位置排序(ext4/XFS 上成立)
find /data -type f -printf '%i\t%p\n' \
  | sort -n -k1 \
  | cut -f2- \
  > /data/filelist.txt

# 用清单驱动,关掉递归
rsync -a --no-recursive --files-from=/data/filelist.txt \
  --whole-file --inplace --block-size=262144 \
  /data/ rsync://dst.pek:/migrate/

注意别用 ls -U——它给的是目录项的顺序,不是 inode 顺序,在 dir_index 下反而更乱。

另外分发的时候按目录切成 N 份,每份跑一个独立的 rsync 进程和独立 TCP 流。单流再怎么调也是受单条连接的 cwnd 限制,8 条并发流在 BBR 下能轻松吃满 1Gbps。

七、最终命令模板与收尾

整库首轮灌数据(要快、不要精确):

for i in 0 1 2 3 4 5 6 7; do
  rsync -a --no-recursive \
    --files-from=/data/list.part$i \
    --whole-file --inplace --block-size=262144 \
    --partial-dir=.rsync-partial \
    --bwlimit=0 \
    --timeout=600 --contimeout=30 \
    rsync://dst.pek:/migrate/ /data/ &
done
wait

切换窗口前的收敛(要准、接受慢):

rsync -aHAX --numeric-ids \
  --delete-delay \
  --checksum-choice=xxh128 \
  --itemize-changes --stats \
  rsync://dst.pek:/migrate/ /data/ \
  | tee /var/log/final-sync.log

--checksum-choice=xxh128 是 rsync 3.2 的新东西,比 md5 快 4~6 倍,在最后一遍全量比对时这一项就能把校验时间从 3 小时压到 40 分钟。

最后提醒一句:--delete-delay 比 --delete-before 安全,比 --delete-after 快(它不占额外空间计算),但它会在传输结束后才删——如果你在迁移窗口里反复跑,记得第一次跑不要带 --delete,先让目标端把文件补齐,第二次再带。

这六刀砍完,那条 47Mbps 的链路跑到 940Mbps,全量 42TB 从预估 3 天缩到 6 小时,剩下的时间全花在最后的校验收敛上。跨境迁移的瓶颈从来不是你买的带宽不够,是应用层协议和内核默认值一起在背后踩刹车。