双WebSocket架构设计14

双 WebSocket 架构设计

1. 问题与方案

问题TRADING_NETWORK=testnet 时订单通过测试网 HTTP 提交,但 WebSocket 推送仍来自主网,导致收不到测试网的 orderUpdates/userFills,持仓/余额与测试网不一致。

方案:拆为两条独立 WebSocket 连接——

连接 URL source 订阅
Market WS 主网固定 "market" candle, l2Book
Trading WS TRADING_NETWORK "trading" orderUpdates, userFills, user

实现原则

  • 老代码重写,不打补丁;实现后单 WS 逻辑零残留
  • 两处创建 EnhancedWebSocketManager 必须显式传入 ws_urlsource_name,无默认值
  • 事件 source 合法取值仅 "market""trading",全局禁止 "websocket"
  • TRADING_NETWORK 默认 "mainnet",防止忘记配置时静默连测试网

2. 架构与数据流

flowchart LR
  subgraph config [Config]
    WS_MARKET_URL["WS_MARKET_URL (主网固定)"]
    WS_TRADING_URL["WS_TRADING_URL (随 TRADING_NETWORK)"]
  end

  subgraph market [Market WS]
    Mgr1["EnhancedWebSocketManager\nsource='market'"]
    Mgr1 -->|订阅| Sub1[candle / l2Book]
    Mgr1 -->|WS_MARKET_URL| HL_M[Hyperliquid Mainnet]
  end

  subgraph trading [Trading WS]
    Mgr2["EnhancedWebSocketManager\nsource='trading'"]
    Mgr2 -->|订阅| Sub2[orderUpdates / userFills / user]
    Mgr2 -->|WS_TRADING_URL| HL_T[Hyperliquid Testnet/Mainnet]
  end

  config --> Mgr1
  config --> Mgr2

  Mgr1 -->|on_message| Kline[K 线 + L2 处理]
  Mgr2 -->|_cache_latest_data| EB[EventBus]
  EB -->|OrderStatusEvent / OrderFilledEvent| OrderMgr[WebSocketOrderManager]
  EB -->|过滤 source=trading| Exec[Executor]

事件全景

频道 事件类型 source 消费者 互斥说明
candle CandleUpdatedEvent market K 线处理
l2Book OrderBookUpdatedEvent market L2 缓存
orderUpdates OrderStatusEvent trading WebSocketOrderManager
userFills OrderFilledEvent trading WebSocketOrderManager(oid 去重) 与下行消费者互斥
user.fills OrderFilledEvent trading Executor(刷新持仓/余额缓存) 与上行消费者互斥
user.assetPositions PositionUpdatedEvent trading Executor
user.marginSummary BalanceChangedEvent trading Executor
_on_open 首连 WebSocketConnectedEvent 各自 日志
_on_open 重连 WebSocketReconnectedEvent 各自 Executor(仅 trading)
_on_close WebSocketDisconnectedEvent 各自 日志

行情数据流(Market WS)

主网 WS → _wrapped_callback()
  1. _cache_latest_data() → CandleUpdatedEvent / OrderBookUpdatedEvent (source="market") → EventBus
  2. on_message() → K 线解析 → kline_buffer → 分析入队

交易数据流(Trading WS)

交易网 WS → _wrapped_callback() → _cache_latest_data():
  - orderUpdates → OrderStatusEvent(source="trading")  → EventBus → WebSocketOrderManager
  - userFills   → OrderFilledEvent(source="trading")   → EventBus → WebSocketOrderManager
  - user        → Position/Balance/Fill Event(source="trading") → EventBus → Executor

Trading WS 不注册 message 回调,仅依赖 _cache_latest_data 发布事件。

两条 WS 独立连接、独立重连。_on_open 中自动重发各自的 subscriptions,无需外部干预。Executor 仅响应 source="trading" 的重连事件触发 verify_pending_orders

TRADING_NETWORK=mainnet 时两 URL 相同,仍维持两条独立连接——代码路径统一,行情/交易隔离,代价仅多一条长连接。

初始化顺序保证_init_trading_module()(Executor/WebSocketOrderManager 完成 EventBus 订阅)→ _init_service_threads()(仅创建 manager)→ start()(启动 WS),订阅必然先于首条消息。


3. 实现规格

以方法名与契约为准,行号仅作参考。

3.1 src/config.py

import os, logging

_trading_network = os.getenv("TRADING_NETWORK", "mainnet").lower()
if _trading_network not in ("mainnet", "testnet"):
    logging.getLogger(__name__).warning(
        "TRADING_NETWORK=%s 非法,回退为 mainnet", os.getenv("TRADING_NETWORK")
    )
    _trading_network = "mainnet"

TRADING_NETWORK = _trading_network

_WS_URLS = {
    "mainnet": "wss://api.hyperliquid.xyz/ws",
    "testnet": "wss://api.hyperliquid-testnet.xyz/ws",
}
WS_MARKET_URL = _WS_URLS["mainnet"]
WS_TRADING_URL = _WS_URLS[TRADING_NETWORK]

删除 WS_URL。引用网络标识统一使用 config.TRADING_NETWORK,禁止在 config.py 之外 os.getenv("TRADING_NETWORK")

3.2 src/utils/websocket/enhanced_ws_manager.py

构造函数ws_urlsource_name 为必选参数,位于可选参数之前。

def __init__(
    self,
    subscriptions: List[Dict],
    ws_url: str,
    source_name: str,
    on_state_change: Optional[Callable] = None,
    timeout: int = WS_TIMEOUT,
    skip_disconnects: bool = False,
    alert_callback: Optional[Callable] = None,
    max_retries: int | None = WS_MAX_RETRIES,
    alert_threshold: int = WS_ALERT_THRESHOLD,
):
    if source_name not in ("market", "trading"):
        raise ValueError(
            f"source_name 非法: {source_name!r},仅允许 'market' 或 'trading'"
        )
    self.ws_url = ws_url
    self._source_name = source_name

所有 _event_bus.publish(..., source=...) 改为 source=self._source_name。涉及位置:_on_open(两处)、_on_close/_on_error_publish_candle_event_publish_orderbook_event_publish_price_event_publish_user_events_publish_order_status_events_publish_fill_events

删除对 WS_URL 的 import,其余 WS_TIMEOUT/WS_MAX_RETRIES/WS_ALERT_THRESHOLD 保留。

3.3 src/services/realtime_kline_service_base.py

导入

from src.config import WS_MARKET_URL, WS_TRADING_URL, TRADING_NETWORK

属性(__init__

self.ws_trading_manager: Optional[EnhancedWebSocketManager] = None
self._trading_ws_thread: Optional[threading.Thread] = None
self.subscriptions = self._build_subscriptions()
self.trading_subscriptions = self._build_trading_subscriptions()

_build_subscriptions():仅返回 candle + l2Book,不含交易订阅,不访问 _executor/_wallet

_build_trading_subscriptions()

def _build_trading_subscriptions(self) -> List[Dict]:
    if not self._trading_orchestrator:
        return []
    user_address = self._trading_orchestrator.get_trading_ws_user_address()
    if not user_address:
        return []
    return [
        {"type": "orderUpdates", "user": user_address},
        {"type": "userFills",    "user": user_address},
        {"type": "user",         "user": user_address},
    ]

_init_service_threads()

def _init_service_threads(self):
    # --- 行情 WS(主网固定) ---
    self.ws_manager = EnhancedWebSocketManager(
        subscriptions=self.subscriptions,
        ws_url=WS_MARKET_URL,
        source_name="market",
        on_state_change=self.on_state_change,
        timeout=WS_TIMEOUT,
        alert_callback=self._send_system_alert,
        max_retries=WS_MAX_RETRIES,
        alert_threshold=WS_ALERT_THRESHOLD,
    )
    self.ws_manager.add_message_callback(self.on_message)
    _set_market_ws_manager(self.ws_manager)

    # --- 交易 WS(随配置) ---
    if self.trading_subscriptions:
        try:
            self.ws_trading_manager = EnhancedWebSocketManager(
                subscriptions=self.trading_subscriptions,
                ws_url=WS_TRADING_URL,
                source_name="trading",
                on_state_change=self._on_trading_state_change,
                timeout=WS_TIMEOUT,
                alert_callback=self._send_trading_alert,
                max_retries=WS_MAX_RETRIES,
                alert_threshold=WS_ALERT_THRESHOLD,
            )
            # Trading WS 不注册 message 回调
            self.logger.info(
                f"WS | 行情: {WS_MARKET_URL} | 交易: {WS_TRADING_URL} ({TRADING_NETWORK})"
            )
        except Exception as e:
            self.logger.error(f"交易 WS 创建失败,降级为仅行情: {e}")
            self.ws_trading_manager = None
            self._send_system_alert("[交易WS] 创建失败", f"{e},订单推送依赖 HTTP 兜底")
    else:
        self.logger.info("交易订阅为空,仅启动行情 WS")

def _on_trading_state_change(self, state: str, info: Optional[str] = None):
    self.logger.info(f"[交易WS] {state}" + (f" | {info}" if info else ""))

def _send_trading_alert(self, title: str, content: str):
    self._send_system_alert(f"[交易WS] {title}", content)

on_message():仅处理 K 线(去重 → 解析 → 入队),不含 orderUpdates/userFills/user 分支。

def on_message(self, msg: Dict):
    if self._message_dedup.is_duplicate(msg):
        return
    kline = self._parse_kline(msg)
    if not kline:
        return
    self.kline_buffer.put_nowait(kline)
    # 后续仅 K 线入队、分析入队

生命周期

def start(self):
    # ... 工作线程启动 ...
    if self.ws_trading_manager is not None:
        self._trading_ws_thread = threading.Thread(
            target=self.ws_trading_manager.start, daemon=True, name="trading-ws"
        )
        self._trading_ws_thread.start()
    self.ws_manager.start()  # 阻塞主线程

def stop(self):
    if self._trading_orchestrator:
        self._trading_orchestrator.stop()
    if self.ws_trading_manager is not None:
        self.ws_trading_manager.stop()
        if self._trading_ws_thread and self._trading_ws_thread.is_alive():
            self._trading_ws_thread.join(timeout=5)
            if self._trading_ws_thread.is_alive():
                self.logger.warning("交易 WS 线程在 5s 内未退出")
    self.ws_manager.stop()

动态订阅add_subscriptions 仅对 self.ws_manager 调用(candle/l2Book),不涉及交易 WS。

3.4 src/trading/orchestrator.py

def get_trading_ws_user_address(self) -> Optional[str]:
    """返回交易 WS 订阅所需的 user 地址。"""
    if self._executor is None:
        return None
    return self._executor._wallet.address

RealtimeKlineServiceBase 不得直接访问 _executor_wallet,仅通过此接口获取地址。

3.5 src/trading/executor.py

三个 handler 增加 source 过滤:

def _on_position_updated(self, event: PositionUpdatedEvent):
    if event.source != "trading":
        return
    # ... 原有逻辑 ...

def _on_balance_changed(self, event: BalanceChangedEvent):
    if event.source != "trading":
        return
    # ... 原有逻辑 ...

def _on_websocket_reconnected(self, event: WebSocketReconnectedEvent):
    if event.source != "trading":
        return
    # ... 原有逻辑 ...

3.6 src/events/base.py

Event 的 source 字段 docstring 改为:仅允许 "market"(行情 WS)或 "trading"(交易 WS)。

3.7 全局 WS 获取重命名

旧名 新名
get_global_ws_manager get_market_ws_manager
_set_global_ws_manager _set_market_ws_manager
_global_ws_manager _market_ws_manager

调用处仅一处:src/trading/executor.py。语义为行情 WS(主网),禁止用于交易逻辑。


4. 禁止符号表

实现后以下 grep 结果必须为零:

grep 模式 范围 说明
WS_URL[^_] src/ 已由 WS_MARKET_URL / WS_TRADING_URL 替代
source=.*websocket src/ source 仅 "market" / "trading"
get_global_ws_manager|_set_global_ws_manager|_global_ws_manager src/ 已重命名为 market 前缀
_executor.*_wallet src/services/ 仅通过 get_trading_ws_user_address()
assert source_name src/ 使用 ValueError
os.getenv.*TRADING_NETWORK src/(config.py 除外) 统一用 config.TRADING_NETWORK
orderUpdates|userFills on_message / _build_subscriptions 仅允许出现在 _build_trading_subscriptions_cache_latest_data

5. 验收测试

# 场景 预期
1 TRADING_NETWORK=testnet 行情 WS 连主网,交易 WS 连测试网
2 测试网下单 通过交易 WS 收到 orderUpdates/userFills
3 交易 WS 重连 自动重订阅 + Executor 触发 verify_pending_orders
4 行情 WS 重连 自动重订阅 + Executor 触发订单补查
5 TRADING_ENABLED=false 仅行情 WS,无交易 WS
6 TRADING_NETWORK=mainnet 两 WS 连同一地址,功能正常
7 TRADING_NETWORK=invalid 回退 mainnet + warning 日志
8 Trading WS 构造异常 Market WS 正常启动,飞书告警
9 两 WS 同时高频推送 EventBus 无竞态、无死锁
10 全局 grep 禁止符号表 全部为零

Read more

跑步的技巧(滚动落地)

“滚动落地(rolling contact / rolling foot strike)”不是一种教条式的“脚法”,而是一种 让冲击沿着整只脚、整条后链逐级传递的落地机制。 它的核心不是“你先用哪儿着地”,而是: 你的脚落地之后,冲击是不是像轮子一样滚过去,而不是像锤子一样砸下去。 这就是滚动落地的本质。 一、什么叫“滚动落地”? 你可以把它理解成两种完全不同的落地方式: 1. 砸地(撞击式) 脚像锤子一样拍到地上: * 要么后跟先砸 * 要么前掌先戳 * 冲击集中在一个点 * 一个结构瞬间吃掉大部分载荷 结果就是: * 后跟砸 → 膝盖难受 * 前掌戳 → 前脚掌磨烂 * 都不是长跑友好模式 这叫 撞击式着地(impact strike)。 2. 滚地(滚动式) 脚像轮胎一样“滚”过地面: * 不是某一点硬砸 * 而是外侧中足先轻触 * 再向前滚到前掌 * 最后从大脚趾蹬离

By SHI XIAOLONG

AMI的优越性

世界模型(World Models)的具体例子 如下,我按类型分类,便于理解。每类都附带实际实现、演示效果和应用场景。 1. Yann LeCun / Meta 的 JEPA 系列(最直接对应“世界模型”概念) 这些是 LeCun 主张的非生成式抽象预测世界模型代表。 * I-JEPA(Image JEPA,2023) 输入一张图像,模型把不同区域(context 和 target)编码成抽象表示,然后预测 target 的表示(不在像素级别重建)。 例子:给定一张遮挡了部分物体的图片,模型能预测“被遮挡物体的大致位置和属性”,构建对物体持久性和空间关系的理解。 这是一个“原始世界模型”,能学习物理常识(如物体不会凭空消失)。 * V-JEPA / V-JEPA 2(Video JEPA,

By SHI XIAOLONG

什么是:“世界模型(World Models)”

世界模型(World Models) 是人工智能领域的一个核心概念,尤其在 Yann LeCun 等研究者推动的下一代 AI 架构中占据中心位置。它指的是 AI 系统在内部构建的对现实世界的抽象模拟或内部表示,让机器能够像人类或动物一样“理解”物理世界、预测未来、规划行动。 简单比喻 想象你闭上眼睛也能“看到”房间里的物体会如何移动、碰撞或掉落——这就是你大脑里的世界模型。AI 的世界模型就是类似的“数字孪生”(digital twin)或“内部模拟器”:它不是简单记住数据,而是学习世界的动态、因果关系和物理直觉(如重力、物体持久性、遮挡、因果等)。 为什么需要世界模型? 当前主流的大型语言模型(LLM) 擅长处理文本(统计模式预测),但存在根本局限: * 缺乏对物理世界的真正理解 → 容易“幻觉”、无法可靠规划。 * 样本效率低 → 人类/

By SHI XIAOLONG

K线周期可配置化设计方案

K线周期可配置化设计方案 1. 背景与目标 当前 Beta 套利策略的 K 线周期硬编码为 "1h",分散在多个文件中。需要: 1. 将 K 线周期从 1h 改为 2h 2. 提取为环境变量 BETA_ARB_KLINE_INTERVAL,使其可在 .env 中配置 2. 影响范围分析 2.1 需要修改的文件(共 6 个) 文件 硬编码位置 修改内容 src/trading/config.py BetaArbConfig dataclass 新增 kline_interval 字段,

By SHI XIAOLONG