70 lines
2.4 KiB
Markdown
70 lines
2.4 KiB
Markdown
# 故障注入矩阵
|
||
|
||
## 执行规则
|
||
|
||
- 先在隔离环境建立 15 分钟稳定基线，再注入单一故障。
|
||
- 每次只改变一个变量，记录开始/恢复时间与所有指标。
|
||
- 任何数据库写故障后都核对 Proxy 状态、审计和 outbox，而非只看 HTTP 状态码。
|
||
- 故障恢复后至少观察两个健康检查周期和一个 Snapshot 完整发布周期。
|
||
|
||
## 场景
|
||
|
||
### Provider
|
||
|
||
- DNS NXDOMAIN、连接超时、TLS 失败、401、429、500。
|
||
- 响应超过 `maxResponseBytes`、模板超过 `templateTimeout`、非法 Proxy。
|
||
- 合法空列表、全部重复、部分重复加部分新增。
|
||
|
||
预期：只有合法空列表增加 Empty；429 尊重 Retry-After；其余 Error 退避；
|
||
duplicate-only 不触发 Sequential 切换。
|
||
|
||
### PostgreSQL
|
||
|
||
- 断开 60 秒、连接池耗尽、锁等待、事务提交失败、只读切换。
|
||
|
||
预期：Gateway 继续使用最后 Snapshot；Extract 不返回未提交记录；恢复后 outbox
|
||
补发且不重复应用。
|
||
|
||
### Redis
|
||
|
||
- 断开、延迟 2 秒、Leader key 丢失、主从切换。
|
||
|
||
预期：Gateway 无影响；Provider Fetch 不出现多个有效 Leader；全局限流明确降级；
|
||
恢复后 epoch 单调。
|
||
|
||
### Controller
|
||
|
||
- 杀死 Leader、滚动重启全部副本、阻断 Worker 控制流。
|
||
|
||
预期：`maxStaleAge` 内 Gateway 继续，之后停止新流量；Leader 切换不重复计费
|
||
Fetch；Delta 缺口触发完整 Snapshot。
|
||
|
||
### Gateway
|
||
|
||
- 杀死一个 Pod、驱逐一个节点、丢失一个可用区、耗尽 FD。
|
||
|
||
预期：LoadBalancer 摘除 NotReady Pod；ownership 租约过期前不分给新 Worker；
|
||
剩余容量满足已验证故障域目标。
|
||
|
||
### Checker
|
||
|
||
- 慢目标、DNS 延迟、队列积压、杀死一半 Pod。
|
||
|
||
预期：优先新 Proxy 和 SUSPECT；稳定 Proxy 降频；队列有界；Observation 重投
|
||
不导致非法状态回退。
|
||
|
||
### Distribution
|
||
|
||
- 100 个并发请求争用相同 Proxy；数据库在事务提交时断开；Gateway 同时满载。
|
||
|
||
预期：每个 Proxy 最多返回一次；提交失败不返回代理；allOrNothing 整批回滚；
|
||
池中始终剩余 `reserveForGateway`；没有 Release 恢复路径。
|
||
|
||
### 配置与 Secret
|
||
|
||
- 未知字段、错误正则、缺失 Upstream、公开监听无保护、凭据轮换失败。
|
||
|
||
预期：新 Revision 整体拒绝，旧不可变 Snapshot 继续；认证错误计 Error 而不是
|
||
Empty；日志不出现 Secret。
|
||
|