Error Tracking & Distributed Tracing

从一次报错，
找到真正的原因。

错误、日志、调用链和版本变化放在同一条时间线上， 让排查从「到处搜索」变成「沿着路径查看」。

查看交互演示 开始免费使用
交互演示 · 订单确认耗时异常
INC-2481 ● 正在排查
问题编号
INC-2481
首次出现
14:32:18
影响请求
126 次
最近版本
v2.4.1 · 14:18
当前负责人
陈晨 / 支付组
请求列表 126 条
REQ-001 4,215ms
POST /api/orders/confirm
14:32:18 · #81923
REQ-002 3,920ms
POST /api/orders/confirm
14:32:21 · #74281
REQ-003 4,102ms
POST /api/orders/confirm
14:32:24 · #62047
REQ-004 2,819ms
POST /api/orders/confirm
14:32:31 · #55103
REQ-005 5,130ms
POST /api/orders/confirm
14:32:38 · #90812
+ 121 条相似请求
调用时间线
总耗时 4,215ms
网关接收请求
api-gateway
42ms
订单服务处理
order-service
186ms
库存查询
inventory-service
94ms
支付确认 异常
payment-service
3,800ms
数据库写入
postgresql
68ms
响应返回
api-gateway
25ms
异常详情 payment-service
异常位置
PaymentConfirmService.java
line 247 · confirmPayment()
TimeoutException: upstream 3800ms
最近版本变化
v2.4.1 发布于 14:18 · 8 分钟前
修改了支付超时配置
相同问题
126
过去 30 分钟
首次
14:32:18
最后
14:47:03
建议检查方向
— 检查超时配置（原为 500ms）
— v2.4.1 变更日志中的超时参数
— 外部确认接口响应监控
实时日志 payment-service
实时
14:32:18.000[INFO ]Received order confirmation request ord-88291
14:32:18.228[INFO ]Inventory check passed: items available
14:32:18.322[DEBUG]Calling payment gateway: POST /v2/confirm
14:32:22.122[ERROR]TimeoutException: payment gateway no response within 3800ms
14:32:22.123[WARN ]Initiating retry attempt 1/3
14:32:26.001[ERROR]Retry 1 failed: TimeoutException
14:32:29.889[ERROR]Max retries exceeded. Order confirmation failed.
01 /

沿着一次请求，
找到变慢的位置。

INC-2481 · 订单确认耗时异常
● 正在发生
点击节点查看详情
网关接收请求 api-gateway
42ms
订单服务处理 order-service
186ms
库存查询 inventory-service
94ms
支付确认 payment-service 异常
3,800ms
数据库写入 postgresql
68ms
响应返回 api-gateway
25ms
节点详情
14:32:18.000[INFO ]payment-service: Received request for ord-88291
14:32:18.003[DEBUG]payment-service: Loading payment config v2.4.1
14:32:18.318[DEBUG]payment-service: Calling POST https://pay-api.ext/v2/confirm
14:32:22.118[ERROR]payment-service: TimeoutException — no response after 3800ms
14:32:22.119[WARN ]payment-service: Retry 1 of 3 after 500ms backoff
14:32:26.119[ERROR]payment-service: Retry 1 failed: TimeoutException
14:32:26.620[WARN ]payment-service: Retry 2 of 3 after 1000ms backoff
14:32:30.620[ERROR]payment-service: Retry 2 failed: TimeoutException
14:32:30.621[ERROR]payment-service: Max retries exceeded. Payment FAILED for ord-88291
14:00
v2.3.9 稳定运行
14:18
v2.4.1 发布
修改支付超时配置、优化重试逻辑
14:26
异常首次出现 影响范围快速扩大
14:32
影响数量上升 126 次 / 30 分钟
14:45
执行版本回退 v2.4.1 → v2.3.9
14:51
错误率恢复 支付成功率恢复正常
02 /

一百条报错，
也可能只是一个问题。

自动归并相似异常，按调用堆栈、错误类型和服务分组，让团队聚焦在真正需要处理的问题上。

相似错误自动归并
TimeoutException: payment gateway did not respond
TimeoutException: payment gateway did not respond
TimeoutException: payment gateway did not respond
TimeoutException: payment gateway did not respond
TimeoutException: payment gateway did not respond
订单确认耗时异常 126 次
INC-2481 · payment-service · 陈晨
同类合并率 94.5%
问题名称
首次 / 最近
次数
来源服务
状态
03 /

不只看这一行，
还要看到它发生之前。

选中异常日志后，自动展示完整上下文事件链，包括触发前的请求、服务调用和状态变化。

TimeoutException
payment-service
上下文事件
请求进入
14:32:18.000
用户身份确认
14:32:18.012
订单读取
14:32:18.042
库存检查
14:32:18.228
支付请求
14:32:18.322
异常出现
14:32:22.118
自动重试
14:32:22.119
最终失败
14:32:30.621
14:32:17.995[DEBUG]api-gateway: Routing POST /api/orders/confirm → order-service
14:32:18.000[INFO ]order-service: Request received ord-88291 user-81923
14:32:18.012[INFO ]auth-service: Token valid userId=81923 role=customer
14:32:18.042[DEBUG]order-service: Fetching order ord-88291 from DB
14:32:18.228[INFO ]inventory-service: Stock available: productId=42 qty=5
14:32:18.322[DEBUG]payment-service: POST https://pay-api.ext/v2/confirm orderId=88291
14:32:22.118[ERROR]payment-service: TimeoutException — no response after 3800ms
14:32:22.119[WARN ]payment-service: Retry 1/3 backoff=500ms
14:32:26.119[ERROR]payment-service: Retry 1 failed: TimeoutException
14:32:26.620[WARN ]payment-service: Retry 2/3 backoff=1000ms
14:32:30.620[ERROR]payment-service: Retry 2 failed: TimeoutException
14:32:30.621[ERROR]payment-service: Max retries exceeded — payment FAILED for ord-88291
04 /

问题从哪个版本开始？

版本发布与错误趋势对齐，点击时间线节点即可查看该时刻的错误分布与响应时间变化。

错误次数与平均耗时 · 过去 2 小时
错误次数 平均耗时
v2.4.1
回退
14:00
稳定
14:18
v2.4.1
14:26
首次异常
14:32
影响上升
14:45
版本回退
14:51
恢复
发布前 · v2.3.9
错误率 0.02%
平均耗时 248ms
P99 耗时 380ms
支付成功率 99.8%
发布后 · v2.4.1
错误率 18.4%
平均耗时 3,800ms
P99 耗时 5,200ms
支付成功率 81.6%
05 /

排查记录，
不应该只留在聊天窗口里。

问题从产生到解决的完整处理记录，归档在问题本身。

处理记录 · INC-2481
14:33:05
系统自动创建问题
触发条件：超时次数 > 5 / 分钟
14:35:21
指派给支付服务负责人
操作人：李明 → 陈晨
14:39:47
添加版本变化排查记录
「v2.4.1 修改了支付超时，需确认是否配置丢失」
14:44:12
决定执行版本回退
v2.4.1 → v2.3.9
14:51:09
系统确认错误率恢复
错误率降至 0.03%
15:03:44
添加问题总结
「超时配置未同步至生产环境，已在 v2.4.2 修复」
问题操作
指派负责人
陈晨 / 支付组
添加内部备注
解决总结
超时配置未同步至生产环境。v2.4.1 在开发环境测试通过，但生产环境的超时参数被覆盖为空值，导致支付请求长时间等待。已在 v2.4.2 中通过配置管理修复。
陈晨 · 15:03:44
06 /

只在真正需要行动时，
提醒团队。

基于实际数据配置告警规则，避免噪音疲劳，让每一条通知都值得响应。

告警规则配置
错误次数 50 次
5200
影响用户数量 20 人
1500
持续时间 5 分钟
1 分30 分
规则预览

当同一问题在 5 分钟内出现超过 50 次，并影响超过 20 位用户时，通知值班负责人。

通知渠道
企业微信
邮件
过去 24 小时预计触发
3
次告警
触发记录
14:32 订单确认耗时异常
触发
09:14 用户登录失败率上升
触发
02:51 数据库连接超时
触发
说明
基于当前规则配置与历史数据估算，实际触发次数取决于线上流量与错误分布。

从小团队开始，
问题变多以后再升级。

开发者版
适合个人与小型项目
免费
基础错误追踪
7 天数据保留
1 位成员
每月 1 万次事件
开始使用
团队版
最常选择
适合持续迭代的研发团队
¥499 / 月
按月计费
错误追踪 + 日志分析
调用链可视化
版本对比与影响分析
30 天数据保留
10 位成员
告警规则与通知
免费试用 14 天
企业版
适合多团队与复杂系统
联系销售
团队版全部功能
长期数据保留（自定义）
权限管理与审计日志
私有化部署支持
专属技术支持
SLA 保障
联系我们

下一次问题出现时，
不必再从头搜索。

无需填写付款信息。
演示数据可随时重置。

开始免费使用 查看交互演示
INC-2481 · 正在排查 ● 实时
网关接收请求 42ms
订单服务处理 186ms
支付确认 3,800ms
响应返回 25ms
14:32:22.118 · [ERROR]
TimeoutException: payment gateway did not respond within 3800ms