行业新闻
-
对象存储"合规删除"失效现场:一条 s3:Get* 通配把历史版本全放了出来,ListBucket 只挡住了三分之一的入口
上个月接了个合规审计的活儿。客户是做消费金融的,监管要求"客户注销后 30 个工作日内物理删除全部影像件与身份证明扫描件"。他们跑完注销脚本的第 41 天,审计方在对象存储上执行了一条命令,拉回了一份 2021 年的身份证正反面扫描件,字节级完整,SSE 解密后照样能看。 客户运维第一反应是"不可能,我们桶策略 Deny 了匿名读"。第二反应是...
-
香港 CN2 服务器上 Docker 网络的三个真实损耗:netns 不吃你的 sysctl、MASQUERADE 换掉了 GIA 出口 IP、veth 把 10G 压成单核
上个月一台港机上的跨境 API 网关从裸机构架迁进 Docker,CPU、内存、镜像完全一致,跨境点查 P99 从 42ms 涨到 190ms。宿主上 bbr 开着、 tcp_rmem 拉到 32MB、 ip_local_port_range 扩到 6 万端口,进容器一看——全是内核默认值。下面这三处损耗全部不报错,全都不在 docker lo...
-
美国服务器上 Nginx 的 sendfile 其实一直没生效:TLS、HTTP/2、content filter、O_DIRECT 四道静默降级,strace 里那 30% 的 sys 时间就是这么来的
现象:口跑满 6Gbps,sendfile 计数却是 0 一台美国洛杉矶节点的静态分发机,10G 口,跑视频切片和固件包下载。业务侧反馈"带宽够、延迟正常,但 CPU 不对劲": top 里 8 个 nginx worker 的 %sys 加起来常年 30% 以上, %us 反而很低。按常理,纯静态分发在 Linux 上走 sendf...
-
云数据库前挂 Nginx stream 网关的四个静默坑:主备切换 IP 漂移、proxy_timeout 跟 SLB 会话老化对不上、半关闭缺席顶高 aborted_clients
为什么要在云数据库前面塞一层 Nginx stream 真实场景长这样:云数据库(RDS/PolarDB 那类托管实例)只给了一个内网地址,白名单最多加 200 条。业务侧一边是 VPC 里的 40 台应用机,一边是自建机房几台老服务,还有一堆临时排障用的跳板机。全往白名单里塞,三个月就乱了;主备切换、加只读实例,还得改一圈连接串。 所以...
-
高防CDN回源尖峰把 PHP-FPM 池打穿,`max_execution_time` 却一声不吭:`setitimer(ITIMER_PROF)` 量的是 CPU 钟,不是墙钟
现象:清洗完成后回注的那 30 秒,502 和 active processes 一起飙 凌晨两点,攻击停了,CDN 控制台的"已清洗"绿灯亮起,回注流量在 30 秒内从 4000 QPS 冲到 3.2 万 QPS。源站 Nginx 的 error.log 在这个窗口里刷出两类错误,必须分开看: upstream timed out (...
-
大带宽服务器自建DDoS第一道闸:XDP吞掉800万pps的SYN,`ip -s link`却报零丢包
上个月帮一个做游戏登录网关的团队看一台25G独服,被8Mpps的SYN加UDP小包混着打。业务表现是:CPU总利用率只有18%, top 看不到任何进程飙升,机器能ping通,但玩家就是连不上, ss -lnt 看到80端口的Recv-Q常年贴着4096。 他们第一反应是上 iptables -m hashlimit 。我让他们先别写规则——8...
-
对象存储迁移三种“假绿”:分片 ETag 不是 MD5、归档层 GET 静默 403、sync 重猜 MIME 把 .gz 改坏
先把结论摆在最前面 做了这么多年迁移,最怕的不是迁移报错,而是 迁移脚本退出码 0、校验报告全绿、三天后业务反馈“附件打不开 / 图片变成下载 / 首页白屏” 。对象存储迁移的坑,九成集中在“校验”这一环——你以为你在校验,其实你什么都没校验。 下面这三条,是踩过之后才会记一辈子的。 坑一:把 ETag 当 MD5 用,multipar...
-
大带宽服务器数据迁移跑不到线速的底层账:tcp_wmem 把 BDP 焊死,rsync 的滚动校验又让零拷贝成了摆设
现象:iperf3 能到 23Gbps,rsync 单进程只有 9.8Gbps 两台 25G 双口 bond 的大带宽服务器,NVMe RAID 顺序写 fio 能到 2.9GB/s, iperf3 -P 8 跑到 23.1Gbps, ip -s link 和 ethtool -S 全是零丢包、零 discard。但 rsync -a ...
-
HAProxy 探云数据库全部 DOWN:`option mysql-check` 撞上 `require_secure_transport`,以及只读副本靠 agent-check 才拦得住写流量
上周三晚上,一套读写分离的 MySQL 云数据库前面那层 HAProxy 突然在 stat 页上全部变红, show stat 里所有 backend 的 check_status 都是 L4CON/L7STS,但运维拿 mysql -h 10.20.1.11 -u app -p 秒连,业务侧也看不出问题——因为应用连的是 rw 端。真正出...
-
高防CDN 的“无状态防护”是假象:SYN 洪水下内核 request_sock 的真实内存账,以及状态被推到 cookie / eBPF / 回注三处的代价
先看一个真实场景 某游戏业务,边缘节点 25G 网卡,SYN 洪水峰值 280 万 PPS 。现象很怪: 带宽只占 18%,网卡无丢包, ethtool -S 全绿 CPU 55%,没打满 但健康检查开始飘,业务侧 5xx 涨,控制台一直显示“攻击已清洗,回注 4.2Gbps” 抓包看内核计数器: nsta...