网络正常时，任何系统都很容易宣称可靠。真正的生产级 MQTT 系统必须在报文重复、证书过期、消费者变慢，或大量设备同时重连时证明自己。
下面的演练把常见 MQTT 故障转化为可重复测试。每次都应记录预期行为、注入故障、客观证据、恢复时间、丢失或重复的工作，以及生产环境中负责处置同类问题的人。
演练 1：制造一条 QoS 1 重复消息
高频遥测通常可以使用 QoS 0：下一次读数会替代上一次，偶发丢失不会改变业务结果。每个事件都应送达、且消费者能够去重时使用 QoS 1。只有少数确实需要其语义、并能承担额外状态和网络交互的流程才使用 QoS 2。
QoS 只描述客户端与 Broker 之间的投递，不能让数据库写入、外部 API 或设备动作自动变成“恰好一次”。使用稳定的 eventId 连续发布两次同一业务事件，验证消费者只产生一次业务结果。报文流程和可复现实验见 MQTT QoS 实验。
演练 2：让两个客户端使用同一 Client ID
Client ID 代表一个活动 MQTT 会话。多台设备复用同一 ID 会互相挤掉连接。应为每台设备或服务实例生成稳定、唯一的 ID，不要把可修改的显示名称当作协议身份。
在预发布环境中主动连接第二个相同 ID 的客户端，确认断开事件可见、能够定位受影响设备，而且客户端不会进入无上限重连循环。
演练 3：发布和订阅权限之外的主题
使用稳定标识符，并分离遥测、状态、事件、指令和指令结果。一种实用层级是：
prod/{tenant}/{site}/{deviceId}/{channel}
尝试冒充另一台设备发布、订阅同级租户，并用 + 或 # 扩大允许的过滤器。所有尝试都应失败，并留下能够识别主体和请求主题、但不会泄露凭据的证据。主题设计清单解释了这些反向测试背后的权限模型。
演练 4：让凭据过期或被吊销
生产 MQTT 连接应使用 TLS 并校验服务端证书。1883 明文端口只适合经过明确隔离的环境。
每个身份只获得必要的发布和订阅过滤器。传感器通常发布自身遥测、订阅自身指令，不应订阅整个租户或冒充其他设备发布。还需要轮换密钥、限制认证失败速率，并在硬件退役时删除凭据。
吊销一台试点设备，确认只有该身份失去访问能力。然后让客户端遇到已过期或不受信任的服务端证书，验证它会安全失败，而不是静默关闭证书校验。MQTT 安全指南将 TLS、身份认证、主题授权和凭据存储放在同一威胁模型中说明。
演练 5：用即将过期的工作填满队列
设置最大载荷并在入口校验 Schema。必要时包含 Schema 版本、观测时间、稳定设备 ID 和单位。
断开持久会话客户端，排入有时效要求的指令，并在业务截止时间后重新连接。过期工作不应执行。测试还要证明队列达到上限时会发生什么，以及运维人员如何区分主动丢弃的陈旧工作和异常消息丢失。
演练 6：让一批设备同时重连
使用带抖动的指数退避，不要让所有客户端按固定周期重连。同步发生的重连风暴本身就可能成为故障。
应有意识地选择会话过期时间。持久会话可以让间歇连接的客户端接收排队 QoS 消息，但也会消耗 Broker 资源并可能送达过时任务。断开一批有代表性的设备并同时恢复网络，持续测量连接成功率、认证延迟、订阅恢复、队列年龄和下游积压，直到恢复完成。
演练 7：让新消费者读到陈旧 Retained 状态
Retained Message 适合最新配置或状态快照，不是事件历史。故意保留一个过期值，再让新消费者订阅，验证版本或新鲜度检查能够阻止它被当作指令或当前事实。需要清除状态时发布空的 Retained 载荷，并限制谁能覆盖该状态。
演练 8：减慢或停止下游消费者
Broker 在线不代表产品可用。至少监控：
- 连接成功与失败；
- 重连速率和连接持续时间；
- 按有限主题组统计的发布与送达速率；
- 授权拒绝；
- 载荷大小和处理延迟；
- 队列深度、过期消息和消费者延迟；
- 设备心跳新鲜度。
指标维度应使用环境、套餐、区域、设备类型等低基数属性。原始 Client ID 或无边界主题字符串会让指标昂贵且难以使用。演练中需要确认队列年龄和端到端延迟会在内存或存储耗尽前触发告警。
衡量恢复结果，而不只是系统是否存活
压测应包含慢消费者、重复交付、丢包、证书过期、无效凭据、Broker 重启、下游中断和大批设备同时重连。
每项测试开始前先定义预期结果。“系统恢复了”不够，需要测量恢复时间、丢失或重复工作、最大队列年龄，以及运维人员能否在客户发现问题前收到可执行的告警。
维护简短的生产契约
为每类主题记录负责人、允许的发布者和订阅者、QoS、Retain 行为、载荷 Schema、最大大小、过期策略和消费者幂等方案。契约应靠近固件与后端代码，并在任一侧变化时共同评审。
故障演练退出清单
接入真实设备或客户数据前，团队应逐项确认已经拿到以下证据：
- 每个客户端都有唯一身份和可撤销凭据；
- 除隔离开发环境外，均已启用 TLS 证书校验；
- 发布与订阅权限包含拒绝场景测试；
- 主题、载荷、QoS、Retain 与过期契约已有文档；
- 消费者可以处理重复投递并拒绝过期指令；
- 已压测重连退避、队列边界和 Broker 容量；
- 仪表盘与告警同时覆盖客户端、Broker 和下游消费者；
- 备份、恢复、升级与事故响应都有明确负责人。
如果最后两项意味着团队需要新建平台能力，可以通过托管与自建 MQTT 指南比较长期责任。规划大规模设备群时，还应参考企业 MQTT 扩展指南，在上线前验证连接、订阅与集中重连的容量边界。
可以先用合成数据在仅供测试的免费公共 MQTT Broker验证客户端基础行为，跟随完整的 MQTT 教程，或在需要隔离环境和生产控制时比较托管 MQTT 套餐。