AI 工程实践

OpenTelemetry 存储上限实验:Queue 显示 6/20,重启为什么只恢复 4 批

queue capacity 为 20,但 bbolt max_size 只有 65,536 bytes。前四个请求 HTTP 200,第五、第六个收到 storage available-space 503;metrics 为 accepted 4 / refused 2 / enqueue failed 2,却显示 queue 6/20。保留 volume、提高上限并重建 Collector 后只加载 4 items;定向重放被拒绝 IDs 后 Jaeger 最终 6 unique、0 missing。

发布 2026/07/15更新 2026/07/15

AI 工程实践

OpenTelemetry 持久队列排空实验:12 批积压清空后,磁盘为什么没有缩小

下游不可达时,12 个单-span 请求全部从应用获得 HTTP 200,并形成 queue 12/20;bbolt 逻辑大小从 32,768 增至 262,144 bytes。单 consumer 在每次后端成功后固定等待 250 ms,用 3,129.727 ms 排空,观测 3.8342 spans/s;queue 归零后文件仍为 262,144 bytes,Jaeger 最终 12 unique、0 missing。

发布 2026/07/15更新 2026/07/15

AI 工程实践

OpenTelemetry 真满盘实验:5 个 200 之后,为什么必须异卷恢复

Collector queue capacity 仍是 20,file_storage 不设置 max_size,底层 64 KiB tmpfs 被真实写满。前五批 HTTP 200、第六批 503;accepted/refused 为 5/1,但 queue gauge 显示 6。停机后把 131,072-byte 稀疏 bbolt 文件按字节复制到 256 KiB tmpfs,源/目标 SHA-256 一致;replacement 恢复五批,只重放第六批后 Jaeger 6 unique、0 missing。

发布 2026/07/15更新 2026/07/15