双WebSocket架构设计16

双 WebSocket 架构设计

1. 问题与方案

问题TRADING_NETWORK=testnet 时订单通过测试网 HTTP 提交,但 WebSocket 推送仍来自主网,导致收不到测试网的 orderUpdates/userFills,持仓/余额与测试网不一致。

方案:拆为两条独立 WebSocket 连接——

连接 URL source 订阅
Market WS 主网固定 "market" candle, l2Book
Trading WS TRADING_NETWORK "trading" orderUpdates, userFills, user

实现原则

  • 老代码彻底删除,不打补丁;实现后单 WS 逻辑零残留
  • 两处创建 EnhancedWebSocketManager 必须显式传入 ws_urlsource_name,无默认值
  • 事件 source 合法取值仅 "market""trading",全局禁止 "websocket"
  • TRADING_NETWORK 默认 "mainnet",防止忘记配置时静默连测试网
  • 无全局可变状态:依赖通过构造函数或 setter 注入,不通过模块级全局变量传递

2. 架构与数据流

flowchart LR
  subgraph config [Config]
    WS_MARKET_URL["WS_MARKET_URL (主网固定)"]
    WS_TRADING_URL["WS_TRADING_URL (随 TRADING_NETWORK)"]
  end

  subgraph market [Market WS]
    Mgr1["EnhancedWebSocketManager\nsource='market'"]
    Mgr1 -->|订阅| Sub1[candle / l2Book]
    Mgr1 -->|WS_MARKET_URL| HL_M[Hyperliquid Mainnet]
  end

  subgraph trading [Trading WS]
    Mgr2["EnhancedWebSocketManager\nsource='trading'"]
    Mgr2 -->|订阅| Sub2[orderUpdates / userFills / user]
    Mgr2 -->|WS_TRADING_URL| HL_T[Hyperliquid Testnet/Mainnet]
  end

  config --> Mgr1
  config --> Mgr2

  EB[EventBus]
  Mgr1 -->|_cache_latest_data| EB
  Mgr1 -->|on_message| KlineProc[K 线解析 → kline_buffer → 分析入队]

  Mgr2 -->|_cache_latest_data| EB

  EB -->|CandleUpdatedEvent\nOrderBookUpdatedEvent| Kline[K 线 + L2 处理]
  EB -->|OrderStatusEvent\nOrderFilledEvent| OrderMgr[WebSocketOrderManager]
  EB -->|source=trading 过滤| Exec[Executor]

  Mgr1 -.->|set_market_ws_manager| Orch[Orchestrator] -.-> Exec

事件全景

频道 事件类型 source 消费者 互斥说明
candle CandleUpdatedEvent market K 线处理
l2Book OrderBookUpdatedEvent market L2 缓存
orderUpdates OrderStatusEvent trading WebSocketOrderManager
userFills OrderFilledEvent trading WebSocketOrderManager(oid 去重) 与下行消费者互斥
user.fills OrderFilledEvent trading Executor(刷新持仓/余额缓存) 与上行消费者互斥
user.assetPositions PositionUpdatedEvent trading Executor
user.marginSummary BalanceChangedEvent trading Executor
_on_open 首连 WebSocketConnectedEvent 各自 日志
_on_open 重连 WebSocketReconnectedEvent 各自 Executor(仅 trading)
_on_close WebSocketDisconnectedEvent 各自 日志

行情数据流(Market WS)

主网 WS → _wrapped_callback()
  1. _cache_latest_data() → CandleUpdatedEvent / OrderBookUpdatedEvent (source="market") → EventBus
  2. on_message() → K 线解析 → kline_buffer → 分析入队

交易数据流(Trading WS)

交易网 WS → _wrapped_callback() → _cache_latest_data():
  - orderUpdates → OrderStatusEvent(source="trading")  → EventBus → WebSocketOrderManager
  - userFills   → OrderFilledEvent(source="trading")   → EventBus → WebSocketOrderManager
  - user        → Position/Balance/Fill Event(source="trading") → EventBus → Executor

Trading WS 不注册 message 回调,仅依赖 _cache_latest_data 发布事件。

两条 WS 独立连接、独立重连。_on_open 中自动重发各自的 subscriptions,无需外部干预。Executor 仅响应 source="trading" 的重连事件触发 verify_pending_orders

TRADING_NETWORK=mainnet 时两 URL 相同,仍维持两条独立连接——代码路径统一,行情/交易隔离,代价仅多一条长连接。

初始化顺序保证_init_trading_module()(Executor/WebSocketOrderManager 完成 EventBus 订阅)→ _init_service_threads()(创建 manager + 注入行情 WS 引用)→ start()(启动 WS),订阅必然先于首条消息。


3. 实现规格

以方法名与契约为准,行号仅作参考。

3.1 src/config.py

import os, logging

_trading_network = os.getenv("TRADING_NETWORK", "mainnet").lower()
if _trading_network not in ("mainnet", "testnet"):
    logging.getLogger(__name__).warning(
        "TRADING_NETWORK=%s 非法,回退为 mainnet", os.getenv("TRADING_NETWORK")
    )
    _trading_network = "mainnet"

TRADING_NETWORK = _trading_network

_WS_URLS = {
    "mainnet": "wss://api.hyperliquid.xyz/ws",
    "testnet": "wss://api.hyperliquid-testnet.xyz/ws",
}
WS_MARKET_URL = _WS_URLS["mainnet"]
WS_TRADING_URL = _WS_URLS[TRADING_NETWORK]

删除 WS_URL。引用网络标识统一使用 config.TRADING_NETWORK,禁止在 config.py 之外 os.getenv("TRADING_NETWORK")

src/trading/config.py 中已有的 network_str = os.getenv("TRADING_NETWORK", "testnet") 必须迁移:删除该处定义,改为 from src.config import TRADING_NETWORK。注意旧处默认值为 "testnet",与本设计的 "mainnet" 默认值冲突——以 src/config.py 为唯一真相源。

3.2 src/utils/websocket/enhanced_ws_manager.py

构造函数ws_urlsource_name 为必选参数,位于可选参数之前。source_name 类型标注为 Literal["market", "trading"],构造函数 ValueError 保留作运行时防御。

from typing import Literal

def __init__(
    self,
    subscriptions: List[Dict],
    ws_url: str,
    source_name: Literal["market", "trading"],
    on_state_change: Optional[Callable] = None,
    timeout: int = WS_TIMEOUT,
    skip_disconnects: bool = False,
    alert_callback: Optional[Callable] = None,
    max_retries: int | None = WS_MAX_RETRIES,
    alert_threshold: int = WS_ALERT_THRESHOLD,
):
    if source_name not in ("market", "trading"):
        raise ValueError(
            f"source_name 非法: {source_name!r},仅允许 'market' 或 'trading'"
        )
    self.ws_url = ws_url
    self._source_name = source_name

所有 _event_bus.publish(..., source=...) 改为 source=self._source_name。涉及位置:_on_open(两处)、_on_close/_on_error_publish_candle_event_publish_orderbook_event_publish_price_event_publish_user_events_publish_order_status_events_publish_fill_events

删除WS_URL 的 import 和 self.ws_url = WS_URL 赋值,其余 WS_TIMEOUT/WS_MAX_RETRIES/WS_ALERT_THRESHOLD 保留。

3.3 src/services/realtime_kline_service_base.py

导入

from src.config import WS_MARKET_URL, WS_TRADING_URL, TRADING_NETWORK

删除 from src.config import WS_URL(如存在)。

属性(__init__

self.ws_trading_manager: Optional[EnhancedWebSocketManager] = None
self._trading_ws_thread: Optional[threading.Thread] = None
self.subscriptions = self._build_market_subscriptions()
self.trading_subscriptions = self._build_trading_subscriptions()

_build_market_subscriptions():仅返回 candle + l2Book,不含交易订阅,不访问 _executor/_wallet

def _build_market_subscriptions(self) -> List[Dict]:
    """构建行情 WS 订阅列表(candle + l2Book)。"""
    subscriptions = []
    for symbol in self._get_all_symbols():
        coin = symbol.split('/')[0]
        for interval in ['5m', '1h', '4h']:
            subscriptions.append({"type": "candle", "coin": coin, "interval": interval})
        subscriptions.append({"type": "l2Book", "coin": coin})
    if self.base_symbol:
        base_coin = self.base_symbol.split('/')[0]
        if not any(s.get("type") == "l2Book" and s.get("coin") == base_coin
                   for s in subscriptions):
            subscriptions.append({"type": "l2Book", "coin": base_coin})
    return subscriptions

审计修正:移除 hasattr(self, 'base_symbol') 防御检查。base_symbol__init__ 中声明的属性,对象形状是确定的;若值为 Noneif self.base_symbol: 已足够。hasattr 掩盖的是类结构不确定性,不应存在。

_build_trading_subscriptions()

def _build_trading_subscriptions(self) -> List[Dict]:
    """构建交易 WS 订阅列表(orderUpdates + userFills + user)。"""
    if not self._trading_orchestrator:
        return []  # 交易模块未启用,正常路径
    user_address = self._trading_orchestrator.get_trading_ws_user_address()
    if not user_address:
        raise ValueError(
            "交易模块已启用但无法获取 user address,检查钱包配置"
        )
    return [
        {"type": "orderUpdates", "user": user_address},
        {"type": "userFills",    "user": user_address},
        {"type": "user",         "user": user_address},
    ]

审计修正_trading_orchestrator 存在但 user_address 为空是配置错误,抛 ValueError 而非静默返回空列表。区分"未启用"(正常)与"已启用但配置错误"(必须暴露)。

_init_service_threads()

_on_trading_state_change_send_trading_alert 不再作为独立方法,改为 _init_service_threads 内联 lambda,消除仅加前缀的包装方法。

def _init_service_threads(self):
    # --- 行情 WS(主网固定) ---
    self.ws_manager = EnhancedWebSocketManager(
        subscriptions=self.subscriptions,
        ws_url=WS_MARKET_URL,
        source_name="market",
        on_state_change=self.on_state_change,
        timeout=WS_TIMEOUT,
        alert_callback=self._send_system_alert,
        max_retries=WS_MAX_RETRIES,
        alert_threshold=WS_ALERT_THRESHOLD,
    )
    self.ws_manager.add_message_callback(self.on_message)

    # 注入行情 WS 引用(替代全局变量)
    if self._trading_orchestrator:
        self._trading_orchestrator.set_market_ws_manager(self.ws_manager)

    # --- 交易 WS(随配置) ---
    if self.trading_subscriptions:
        self.ws_trading_manager = EnhancedWebSocketManager(
            subscriptions=self.trading_subscriptions,
            ws_url=WS_TRADING_URL,
            source_name="trading",
            on_state_change=lambda state, info=None: self.logger.info(
                f"[交易WS] {state}" + (f" | {info}" if info else "")
            ),
            timeout=WS_TIMEOUT,
            alert_callback=lambda title, content: self._send_system_alert(
                f"[交易WS] {title}", content
            ),
            max_retries=WS_MAX_RETRIES,
            alert_threshold=WS_ALERT_THRESHOLD,
        )
        # Trading WS 不注册 message 回调
        self.logger.info(
            f"WS | 行情: {WS_MARKET_URL} | 交易: {WS_TRADING_URL} ({TRADING_NETWORK})"
        )
    else:
        self.logger.info("交易订阅为空,仅启动行情 WS")

审计修正:删除 _set_market_ws_manager(self.ws_manager) 全局调用,改为 self._trading_orchestrator.set_market_ws_manager(self.ws_manager) 直接注入。消除模块级全局变量 + 锁 + getter/setter 四件套。

on_message():仅处理 K 线(去重 → 解析 → 入队),不含 orderUpdates/userFills/user 分支。

def on_message(self, msg: Dict):
    if self._message_dedup.is_duplicate(msg):
        return
    kline = self._parse_kline(msg)
    if not kline:
        return
    self.kline_buffer.put_nowait(kline)

生命周期

def start(self):
    # ... 工作线程启动 ...
    if self.ws_trading_manager is not None:
        self._trading_ws_thread = threading.Thread(
            target=self.ws_trading_manager.start, daemon=True, name="trading-ws"
        )
        self._trading_ws_thread.start()
    self.ws_manager.start()  # 阻塞主线程

def stop(self):
    if self._trading_orchestrator:
        self._trading_orchestrator.stop()
    if self.ws_trading_manager is not None:
        self.ws_trading_manager.stop()
        if self._trading_ws_thread and self._trading_ws_thread.is_alive():
            self._trading_ws_thread.join(timeout=5)
            if self._trading_ws_thread.is_alive():
                self.logger.warning("交易 WS 线程在 5s 内未退出")
    self.ws_manager.stop()

动态订阅add_subscriptions 仅对 self.ws_manager(Market WS)调用,用于运行时新增 candle/l2Book 订阅。不涉及交易 WS(见第 5 节设计取舍说明)。

3.4 src/trading/orchestrator.py

def get_trading_ws_user_address(self) -> Optional[str]:
    """返回交易 WS 订阅所需的 user 地址。"""
    if self._executor is None:
        return None
    return self._executor._wallet.address

def set_market_ws_manager(self, manager: "EnhancedWebSocketManager"):
    """注入行情 WS 引用,供 Executor 读取缓存行情数据。"""
    if self._executor is not None:
        self._executor.set_market_ws_manager(manager)

RealtimeKlineServiceBase 不得直接访问 _executor_wallet,仅通过 orchestrator 接口交互。

3.5 src/trading/executor.py

行情 WS 引用注入(替代全局 get_global_ws_manager()):

def set_market_ws_manager(self, manager: "EnhancedWebSocketManager"):
    """注入行情 WS 引用。由 Orchestrator 在 _init_service_threads 阶段调用。"""
    self._market_ws_manager = manager

删除 from ... import get_global_ws_manager,所有原先调用 get_global_ws_manager() 的地方改为 self._market_ws_manager

三个 handler 增加 source 过滤

def _on_position_updated(self, event: PositionUpdatedEvent):
    if event.source != "trading":
        return
    with self._cache_lock:
        self._cached_positions = event.positions
    self.logger.debug(f"持仓缓存已更新: {len(event.positions)} 个仓位")

def _on_balance_changed(self, event: BalanceChangedEvent):
    if event.source != "trading":
        return
    with self._cache_lock:
        self._cached_available_balance = event.available_balance
    self.logger.debug(f"余额缓存已更新: {event.available_balance}")

def _on_websocket_reconnected(self, event: WebSocketReconnectedEvent):
    if event.source != "trading":
        return
    self.logger.warning(
        f"交易WS重连 | 断连={event.downtime_seconds:.1f}s"
    )
    self._verify_pending_orders()

审计修正:handler 体内逻辑完整写出,不使用 # ... 原有逻辑 ... 省略。guard 后的代码即为完整实现——在"彻底重写"的文档中不应有模糊引用。

关于三处 guard 的说明:三处 if event.source != "trading": return 保留为最简形式(三行独立 guard),不引入装饰器或 EventBus 过滤层等新抽象。其中仅 WebSocketReconnectedEvent 的 guard 是必要的——因为两条 WS 都会发出重连事件,Executor 必须区分来源。PositionUpdatedEventBalanceChangedEvent 的 guard 是防御性编程——当前架构下只有 Trading WS 发布这两类事件,但 guard 可防止未来新增 source 时引发误处理。

3.6 src/events/base.py

source 字段类型标注为 Literal["market", "trading"],提供编译期约束。

from typing import Literal

@dataclass
class Event:
    timestamp: datetime
    source: Literal["market", "trading"]
    priority: EventPriority = field(default=EventPriority.NORMAL)
    metadata: Dict[str, Any] = field(default_factory=dict)
    event_id: str = field(default="", init=False, repr=False)

运行时防御由 EnhancedWebSocketManager.__init__ValueError 承担(3.2 节),Event 本身不重复校验。


4. 删除清单

逐文件列出必须删除的旧产物。与第 6 节禁止符号表互补——禁止符号表验证"不该存在的",删除清单指导"必须移除的"。

4.1 src/config.py

删除项 说明
WS_URL = "wss://api.hyperliquid.xyz/ws" WS_MARKET_URL / WS_TRADING_URL 替代

4.2 src/trading/config.py

删除项 说明
network_str = os.getenv("TRADING_NETWORK", ...) 及相关分支 迁移到 src/config.py,改为 from src.config import TRADING_NETWORK

4.3 src/utils/websocket/enhanced_ws_manager.py

删除项 说明
from src.config import WS_URL 不再导入旧变量
self.ws_url = WS_URL(构造函数内硬编码) 由参数 ws_url 替代
所有 source="websocket" 字符串(约 9 处) source=self._source_name 替代

4.4 src/services/realtime_kline_service_base.py

删除项 说明
_global_ws_manager 模块级变量 由依赖注入替代
_global_ws_manager_lock 线程锁 随全局变量一并删除
get_global_ws_manager() 函数 executor.set_market_ws_manager() 替代
_set_global_ws_manager() 函数(或等效内联赋值) 同上
_build_subscriptions() 方法 _build_market_subscriptions() + _build_trading_subscriptions() 替代
_on_trading_state_change() 方法 内联为 _init_service_threads 中的 lambda
_send_trading_alert() 方法 内联为 _init_service_threads 中的 lambda
on_message 中 orderUpdates/userFills/user 分支 交易事件由 _cache_latest_data → EventBus 处理
_build_subscriptions_executor._wallet.address 直接访问 get_trading_ws_user_address() 替代

4.5 src/trading/executor.py

删除项 说明
from ... import get_global_ws_manager self._market_ws_manager 替代
所有 get_global_ws_manager() 调用 改为 self._market_ws_manager

5. 设计取舍

本节记录三个有意识的设计决策,避免被误判为遗漏。

5.1 _cache_latest_data 共享类中的非活跃分支

EnhancedWebSocketManager._cache_latest_data() 包含 candle/l2Book/orderUpdates/userFills/user 全部频道的 if/elif 分支。双 WS 架构下,Market 实例永远不会触发交易分支,Trading 实例永远不会触发行情分支——每个实例约 50% 的分支不会被执行。

决策:保留共享实现,不拆分。

理由:哪些分支被触发由 subscriptions(服务器推什么)决定,而非代码控制。未命中的分支不会被执行、不影响正确性、不消耗运行时资源。拆分方案(子类/策略模式/handler map)均引入新抽象层,增加间接性但不增加正确性。

5.2 Executor source guard 保留理由

三处 if event.source != "trading": return 是有意保留的最简形式。不引入 @source_filter 装饰器或 EventBus 层过滤——三行 guard 的认知成本低于理解新抽象的成本。详见 3.5 节说明。

5.3 add_subscriptions 仅用于 Market WS

add_subscriptions 方法用于运行时动态新增 candle/l2Book 订阅(如新币种上线),仅对 self.ws_manager(Market WS)调用。代码层面不加 source_name 守卫——该方法在 EnhancedWebSocketManager 中是通用的,限制来自调用方约定而非被调用方检查。交易订阅在初始化时一次性确定,无动态变更需求。


6. 禁止符号表

实现后以下 grep 结果必须为零:

grep 模式 范围 说明
\bWS_URL\b src/ 已由 WS_MARKET_URL / WS_TRADING_URL 替代,\b 词边界排除新变量名
source=.*websocket src/ source 仅 "market" / "trading"
get_global_ws_manager|_set_global_ws_manager|_global_ws_manager src/ 已删除,由依赖注入替代
_executor.*_wallet src/services/ 仅通过 get_trading_ws_user_address()
assert source_name src/ 使用 ValueError
os.getenv.*TRADING_NETWORK src/(config.py 除外) 统一用 config.TRADING_NETWORK
orderUpdates|userFills on_message / _build_market_subscriptions 仅允许出现在 _build_trading_subscriptions_cache_latest_data
get_market_ws_manager|_market_ws_manager src/services/ 全局 getter/setter 已删除,该模块内不应有残留
_build_subscriptions src/services/ 已拆分为 _build_market_subscriptions + _build_trading_subscriptions
_on_trading_state_change|_send_trading_alert src/services/ 已内联为 lambda

7. 验收测试

# 场景 预期
1 TRADING_NETWORK=testnet 行情 WS 连主网,交易 WS 连测试网
2 测试网下单 通过交易 WS 收到 orderUpdates/userFills
3 交易 WS 重连 自动重订阅 + Executor 触发 _verify_pending_orders
4 行情 WS 重连 自动重订阅 + Executor 触发订单补查
5 TRADING_ENABLED=false 仅行情 WS,无交易 WS
6 TRADING_NETWORK=mainnet 两 WS 连同一地址,功能正常
7 TRADING_NETWORK=invalid 回退 mainnet + warning 日志
8 交易模块已启用但钱包地址为空 _build_trading_subscriptionsValueError,进程启动失败
9 Trading WS trading_subscriptions 非空但构造异常 异常上抛,进程启动失败(fail-fast)
10 两 WS 同时高频推送 EventBus 无竞态、无死锁
11 全局 grep 禁止符号表(第 6 节) 全部为零
12 全局 grep 删除清单(第 4 节) 旧产物零残留

Read more

跑步的技巧(滚动落地)

“滚动落地(rolling contact / rolling foot strike)”不是一种教条式的“脚法”,而是一种 让冲击沿着整只脚、整条后链逐级传递的落地机制。 它的核心不是“你先用哪儿着地”,而是: 你的脚落地之后,冲击是不是像轮子一样滚过去,而不是像锤子一样砸下去。 这就是滚动落地的本质。 一、什么叫“滚动落地”? 你可以把它理解成两种完全不同的落地方式: 1. 砸地(撞击式) 脚像锤子一样拍到地上: * 要么后跟先砸 * 要么前掌先戳 * 冲击集中在一个点 * 一个结构瞬间吃掉大部分载荷 结果就是: * 后跟砸 → 膝盖难受 * 前掌戳 → 前脚掌磨烂 * 都不是长跑友好模式 这叫 撞击式着地(impact strike)。 2. 滚地(滚动式) 脚像轮胎一样“滚”过地面: * 不是某一点硬砸 * 而是外侧中足先轻触 * 再向前滚到前掌 * 最后从大脚趾蹬离

By SHI XIAOLONG

AMI的优越性

世界模型(World Models)的具体例子 如下,我按类型分类,便于理解。每类都附带实际实现、演示效果和应用场景。 1. Yann LeCun / Meta 的 JEPA 系列(最直接对应“世界模型”概念) 这些是 LeCun 主张的非生成式抽象预测世界模型代表。 * I-JEPA(Image JEPA,2023) 输入一张图像,模型把不同区域(context 和 target)编码成抽象表示,然后预测 target 的表示(不在像素级别重建)。 例子:给定一张遮挡了部分物体的图片,模型能预测“被遮挡物体的大致位置和属性”,构建对物体持久性和空间关系的理解。 这是一个“原始世界模型”,能学习物理常识(如物体不会凭空消失)。 * V-JEPA / V-JEPA 2(Video JEPA,

By SHI XIAOLONG

什么是:“世界模型(World Models)”

世界模型(World Models) 是人工智能领域的一个核心概念,尤其在 Yann LeCun 等研究者推动的下一代 AI 架构中占据中心位置。它指的是 AI 系统在内部构建的对现实世界的抽象模拟或内部表示,让机器能够像人类或动物一样“理解”物理世界、预测未来、规划行动。 简单比喻 想象你闭上眼睛也能“看到”房间里的物体会如何移动、碰撞或掉落——这就是你大脑里的世界模型。AI 的世界模型就是类似的“数字孪生”(digital twin)或“内部模拟器”:它不是简单记住数据,而是学习世界的动态、因果关系和物理直觉(如重力、物体持久性、遮挡、因果等)。 为什么需要世界模型? 当前主流的大型语言模型(LLM) 擅长处理文本(统计模式预测),但存在根本局限: * 缺乏对物理世界的真正理解 → 容易“幻觉”、无法可靠规划。 * 样本效率低 → 人类/

By SHI XIAOLONG

K线周期可配置化设计方案

K线周期可配置化设计方案 1. 背景与目标 当前 Beta 套利策略的 K 线周期硬编码为 "1h",分散在多个文件中。需要: 1. 将 K 线周期从 1h 改为 2h 2. 提取为环境变量 BETA_ARB_KLINE_INTERVAL,使其可在 .env 中配置 2. 影响范围分析 2.1 需要修改的文件(共 6 个) 文件 硬编码位置 修改内容 src/trading/config.py BetaArbConfig dataclass 新增 kline_interval 字段,

By SHI XIAOLONG