AI 工程实践

OpenTelemetry 只读队列实验:旧数据没坏,Collector 为什么仍启动失败

Jaeger 停止后,三个稳定 span 均获 HTTP 200 并进入 bbolt queue。挂载同一 volume 为只读的 replacement Collector 以 exit code 1 退出,health 与第 4 批均为 ECONNREFUSED;失败前后 65,536-byte 数据库 SHA-256 一致。恢复读写后 loaded=3、sent=3,只重放第 4 批,Jaeger 最终 4 unique、0 duplicate、0 missing。

发布 2026/07/16更新 2026/07/16

AI 工程实践

OpenTelemetry 运行期 EIO 实验:health 还是 200,为什么已经拒绝数据

64 MiB ext4 队列在 linear target 下接受三批;在线切换 device-mapper error 后,独立 block read 返回 EIO,但 Collector health 仍为 200,第 4 批收到 EROFS 503,metrics 为 accepted/refused 3/1、queue 4/20。恢复 linear 后 fsck clean、数据库哈希不变,replacement 恢复三批,只重放第 4 批后 Jaeger 4 unique、0 missing。

发布 2026/07/16更新 2026/07/16

AI 工程实践

OpenTelemetry 真满盘实验:5 个 200 之后,为什么必须异卷恢复

Collector queue capacity 仍是 20,file_storage 不设置 max_size,底层 64 KiB tmpfs 被真实写满。前五批 HTTP 200、第六批 503;accepted/refused 为 5/1,但 queue gauge 显示 6。停机后把 131,072-byte 稀疏 bbolt 文件按字节复制到 256 KiB tmpfs,源/目标 SHA-256 一致;replacement 恢复五批,只重放第六批后 Jaeger 6 unique、0 missing。

发布 2026/07/15更新 2026/07/15