订单跟踪系统BUG35
订单跟踪严重 Bug 完整因果链分析
本文档汇总当前系统订单跟踪存在的严重 bug,按「输入 → 状态变化 → 调用路径 → 出错点 → 根因」建立完整因果链。
架构与数据流概览
flowchart LR
subgraph input [输入源]
WS_Order[orderUpdates WS]
WS_Fill[userFills WS]
end
subgraph pub [发布端]
EWM[EnhancedWebSocketManager]
EB_WS[EventBus_WS]
end
subgraph sub [订阅端]
EB_Exec[EventBus_Exec]
WOM[WebSocketOrderManager]
Exec[Executor]
end
WS_Order --> EWM
WS_Fill --> EWM
EWM --> EB_WS
EB_WS -.->|"无连接"| EB_Exec
EB_Exec --> WOM
EB_Exec --> Exec
- 发布端:交易 WS 在
src/utils/websocket/enhanced_ws_manager.py内创建自己的self._event_bus = EventBus()(L315),在_cache_latest_data中根据channel调用_publish_order_status_events/_publish_fill_events,向该实例发布事件。 - 订阅端:Executor 在
src/trading/executor.pyL89 创建self._event_bus = EventBus(),L146 将该实例传给WebSocketOrderManager(executor=self, event_bus=self._event_bus),L98-99 在 WebSocketOrderManager 内订阅OrderStatusEvent/OrderFilledEvent。 - 创建交易 WS 时:
src/services/realtime_kline_service_base.pyL358-375 调用EnhancedWebSocketManager(...)时未传入任何 event_bus,因此交易 WS 使用内部新建的 EventBus,与 Executor 的 EventBus 不是同一实例。
Bug 1(P0):双 EventBus 隔离 —— 订单/成交事件从未被消费
因果链
| 阶段 | 说明 |
|---|---|
| 输入 | 交易所通过交易 WebSocket 推送 orderUpdates、userFills 原始消息。 |
| 状态变化 | 交易 WS 的 _on_message → _cache_latest_data(enhanced_ws_manager.py L391-426)根据 channel 调用 _publish_order_status_events(data) 或 _publish_fill_events(data),向 ws_trading_manager 内部的 self._event_bus 发布 OrderStatusEvent / OrderFilledEvent。 |
| 调用路径 | ws_trading_manager._on_message → _cache_latest_data → _publish_order_status_events / _publish_fill_events → self._event_bus.publish(...)(发布到 EventBus_A)。消费端: WebSocketOrderManager 订阅的是 Executor 的 executor._event_bus(EventBus_B)。 |
| 出错点 | 发布与订阅使用两条不同的 EventBus 实例,事件只在 EventBus_A 上广播,EventBus_B 上无任何订单/成交事件。 |
| 根因 | 1)enhanced_ws_manager.py 构造函数无 event_bus 参数,内部写死 self._event_bus = EventBus()(L315)。2) realtime_kline_service_base.py 创建交易 WS 时未注入 Executor 的 event_bus,导致发布端与订阅端使用不同总线。 |
实际行为与影响
- WebSocketOrderManager 从未收到任何
OrderStatusEvent/OrderFilledEvent,因此:_ws_status不会更新,宽限期/填单逻辑不触发;_accumulate_fill不执行,has_fill_price始终为 False,成交价依赖 2s 早期 HTTP 或超时后 HTTP 兜底。
- 等价于「WS 订单追踪静默失效」,仅靠 HTTP 路径工作。
- 同源影响:同一交易 WS 发布的
WebSocketReconnectedEvent、PositionUpdatedEvent、BalanceChangedEvent等若仅由 Executor 通过executor._event_bus订阅,同样收不到(重连后补查依赖的WebSocketReconnectedEvent也不会到达 Executor)。
Bug 2(P1):空 fill_id 导致去重失效、少计成交
因果链
| 阶段 | 说明 |
|---|---|
| 输入 | 某条 OrderFilledEvent 的 fill_id == ""(当前 userFills 发布端用 fill_id=f"tid:{tid}" 故正常情况非空;若未来其他来源或测试/回放未设 fill_id 则会出现)。 |
| 状态变化 | WebSocketOrderManager._on_order_filled_event(websocket_order_manager.py L370-408)中先判断 event.fill_id in tracking._fill_ids,再 tracking._fill_ids.add(event.fill_id)。 |
| 调用路径 | EventBus 派发 OrderFilledEvent → _on_order_filled_event → 锁内 if event.fill_id in tracking._fill_ids: return → tracking._fill_ids.add(event.fill_id) → _accumulate_fill。 |
| 出错点 | 多条 fill_id=="" 的事件共享同一 key,第一条加入后,后续所有空 fill_id 事件在 if event.fill_id in tracking._fill_ids 时被误判为重复而 return,不再累计。 |
| 根因 | 去重完全依赖 fill_id,未对空 fill_id 做备用 key 或拒绝处理,导致重复 fill 被误去重,少算成交量、均价偏差。 |
当前发布端情况
enhanced_ws_manager.py的_publish_fill_events仅在tid is not None时发布,且fill_id=f"tid:{tid}",故当前从 userFills 来的事件不会出现空 fill_id;问题会在其他来源或未设 fill_id 时暴露。
Bug 3(P2):重连后仅「PENDING 且 _ws_status is None」才被 HTTP 补查
因果链
| 阶段 | 说明 |
|---|---|
| 输入 | 交易 WS 重连,发布 WebSocketReconnectedEvent(在修复 Bug1 前该事件也到不了 Executor;修复后才会触发补查)。 |
| 状态变化 | Executor 的 _on_websocket_reconnected(executor.py L1789-1829)在 source=="trading" 时启动线程,调用 verify_pending_orders() 两次(中间间隔 WS_RECONNECT_VERIFY_DELAY)。 |
| 调用路径 | verify_pending_orders(websocket_order_manager.py L132-170)中 pending 列表为:t.status == PENDING and t._ws_status is None(L139-142)。 |
| 出错点 | 若某单在断线前已通过 orderUpdates 收到 "filled"(_ws_status = FILLED),但尚未收到 userFills,则处于宽限期,不满足 _ws_status is None,不会被选入补查列表,只能等 5s 宽限期结束后用 fallback 价解析。 |
| 根因 | 补查条件过窄,只针对「完全未收到 WS 终态」的订单;已收 orderUpdates 未收 userFills 的订单被排除,在「断线期间已完全成交」场景下会多等最多 5s 才用兜底价结算。 |
与历史文档的对应关系
- BUG-1(userFills 解析):设计上已改为 EventBus 路径,直连
handle_message/_on_user_fill已删;发布端_publish_fill_events使用data.get("fills", [])和order_id=str(oid)、fill_id=f"tid:{tid}"已正确。当前真正的问题是事件送不到 WebSocketOrderManager(Bug1 双 EventBus)。 - BUG-2(orderUpdates 拒绝状态):当前
_on_order_status_event已用"rejected" in status_str覆盖minTradeNtlRejected等,已修复。 - BUG-3(order_id 类型):发布端已统一
order_id=str(oid),已修复。 - BUG-5(fill_id):发布端有一等字段
fill_id=f"tid:{tid}";消费端需防空 fill_id(即本分析中的 Bug2)。
修复优先级与要点
| 优先级 | 问题 | 根因摘要 | 修复要点 |
|---|---|---|---|
| P0 | 双 EventBus 隔离 | 交易 WS 与 Executor 各用一条 EventBus,事件不互通 | EnhancedWebSocketManager 支持可选 event_bus 注入;创建交易 WS 时传入 executor 的 _event_bus(需在 realtime 服务/orchestrator 中拿到 executor 并传入) |
| P1 | 空 fill_id 去重 | 空 fill_id 导致多条 fill 共用一个 key,少计 | _on_order_filled_event 中对空 fill_id 使用备用 key(如 f"oid:{oid}:px:{event.filled_price}:sz:{event.filled_qty}" 或带时间戳)或拒绝并打日志 |
| P2 | 重连补查范围 | 仅 PENDING 且 _ws_status is None 才补查,宽限期内的单不补查 | 可选:扩展条件为「PENDING 且尚未 resolve」或缩短宽限期;在修好 P0 后此类情况会减少 |
建议先做 P0:在 realtime 服务创建交易 WS 时注入 executor 的 _event_bus,并让 EnhancedWebSocketManager 支持可选 event_bus 参数;再在 WebSocketOrderManager 侧对空 fill_id 做防护(P1)。