全系统key配对升级 bug20

配对维度优化后系统缺陷与不足分析

在全系统 Key 已改为 (symbol, base_symbol) 配对维度的前提下,对当前实现做一致性检查,识别仍存在的缺陷与不足,并给出可落地的改进建议。

一、当前配对维度改造已到位的部分(简要)

  • 核心状态与存储:策略 (strategy.py)、仓位 (position_manager.py)、编排 (orchestrator.py)、交易仓库 (trade_repository.py) 均按 PairKey = (symbol, base_symbol) 维度存储与查询。
  • 数据库:迁移 20260219_fix_pairkey_indexes.sql 已将 trading_signalspair_positionsanalysis_results 的索引与压缩分段统一为 (symbol, base_symbol);黑名单表与协整表本身即为配对维度。
  • 配置与黑名单TradingConfig.is_symbol_allowed / is_close_disabled 支持配对级(如 PURR|HYPE)与币种级;黑名单缓存与 DB 均为 (symbol, base_symbol)
  • 启动与数据流:orchestrator 从 DB 按 (symbol, base_symbol) 灌 z4h 缓冲区;策略 prime_buffer、仓位恢复、交易所同步均按配对维度处理。

二、仍存在的缺陷与不足

1. analysis_results 去重键与业务唯一性不一致(中)

  • 现状:写入前去重键为 (analysis_time.replace(microsecond=0), symbol, base_symbol)realtime_kline_service_base.py 约 790–792 行)。即“同一秒、同一配对”只保留一条,未包含 kline_time
  • 问题:业务上期望的是“每个配对、每个 K 线时间点一条记录”,即唯一性应为 (symbol, base_symbol, kline_time)。当前逻辑下,同一 kline_time 若被不同批次的 analysis_time 写入,会插入多条,导致:
    • 存储冗余;
    • 依赖下游用 PARTITION BY symbol, base_symbol, kline_time ORDER BY analysis_time DESC 取“最新一条”才能得到正确语义(orchestrator 已这样用,但属隐式约定)。
  • 建议
    • 应用层去重键改为 (symbol, base_symbol, kline_time),同一配对同一 kline_time 只保留一条(例如保留 analysis_time 最新的一条);
    • 若希望从根上约束,可在 DB 增加唯一约束或唯一索引(需考虑 analysis_results 为 Hypertable、分区键为 analysis_time 的现状,可能要做唯一索引时包含 analysis_time 或改用 kline_time 分区,评估迁移成本后再定)。

2. 历史压缩 Chunk 仍为旧分段方式(已知遗留,低)

  • 现状:迁移脚本已说明:“已压缩的历史 chunk 仍使用旧分段方式;新写入数据将使用 (symbol, base_symbol) 分段压缩。”(20260219_fix_pairkey_indexes.sql 约 56–58 行)
  • 影响:旧 chunk 按 symbol 分段,按 (symbol, base_symbol) 查询时压缩效果与扫描范围非最优,但不影响正确性。
  • 建议:若需统一压缩与查询性能,可对历史 chunk 执行 decompress_chunk + recompress(需在低峰期、评估 I/O 与锁)。

3. daily_trading_stats 未按配对维度统计(设计取舍,低)

  • 现状:表已增加 symbolbase_symbol 列(20260220_bugfix_batch.sql),但 trade_repository.update_daily_stats 仍按 (stat_date, network) 主键做全局累加,未写入也未使用 symbol/base_symbol(代码注释已说明为预留、当前未使用)。
  • 影响:无法按配对维度做日报、回测或风控分析;多配对运行时无法区分各配对的信号数、开平仓数、盈亏。
  • 建议:若后续需要按配对统计,需将主键改为 (stat_date, network, symbol, base_symbol) 或增加配对维度聚合表,并修改 update_daily_stats 的调用处传入 (symbol, base_symbol) 并在 INSERT/UPDATE 中使用。

4. get_positions_by_symbols 仅按 symbol 过滤(设计合理,需文档化)

  • 现状TradeRepository.get_positions_by_symbols 使用 WHERE symbol = ANY(%s),即按“目标币种(alt)”列表查所有开放中的仓位,不按 base_symbol 过滤。
  • 使用处:仅 position_manager 在恢复/收纳时传入“候选 alt 列表”,再在内存中按 (symbol, base_symbol) 处理,语义正确。
  • 建议:在方法 docstring 中明确“按 alt symbol 列表查询,返回所有匹配的 (symbol, base_symbol) 仓位”,避免后续被误用为“按配对 key 查询”。

5. cointegrated_pairs 与系统命名不一致(可读性,低)

  • 现状:表与仓库使用 (base_symbol, alt_symbol),代码与其它表普遍使用 (symbol, base_symbol) 表示 (alt, base)。
  • 影响:仅命名/可读性,易与“symbol”混淆;逻辑上 alt_symbol ≡ symbol、base_symbol 一致。
  • 建议:在 CoIntegratedPairsRepository 或表注释中明确“alt_symbol = 目标币种 = 其它模块的 symbol;base_symbol = 基准币种”,必要时在仓库方法参数名上保持 symbol/base_symbol 以与全系统统一。

6. 策略参数与配置的配对粒度(已支持,无缺陷)

  • 现状get_strategy_params(symbol, base_symbol)、黑名单/禁止平仓的配对级格式均支持;环境变量中 TRADING_SYMBOL_BLACKLISTTRADING_CLOSE_DISABLED_SYMBOLS 支持 PURR|HYPE 与单币种。
  • 结论:配置层与配对维度一致,无缺陷。

7. 脚本与工具脚本的配对维度(小缺口,低)

  • 现状:如 check_buffer_continuity.pyquery_startup_buffer 已支持 base_symbol 参数且默认与 orchestrator 语义一致;main() 使用默认 BASE_SYMBOL,未传时即单配对检查,可接受。
  • 建议:若有多配对运维需求,可为脚本增加 --base-symbol 或从 cointegrated_pairs 自动枚举配对,便于按配对做缓冲区/连续性检查。

三、架构与数据流核对(无问题)

  • 分析节流:按 (symbol, timeframe) 节流,单 K 线一次分析、内部再按多个 base 循环,配对维度在分析内部体现,设计合理。
  • 黑名单恢复:get_active(base_symbol=None) 拉全量,缓存 key 为 (symbol, base_symbol),正确。
  • 数据自愈:按 (symbol, base_symbol) 从 analysis_results 取有数据的配对并与 pair_cache 交集,逻辑正确。

四、总结与优先级建议

类别 严重程度 建议优先级
数据一致性/语义 analysis_results 去重键不含 kline_time,导致同一 (pair, kline_time) 可多行 高:改应用层去重键为 (symbol, base_symbol, kline_time);可选 DB 唯一约束
存储/性能 历史压缩 chunk 仍为旧分段 低:按需 decompress + recompress
统计/运营 daily_trading_stats 未按配对统计 中:若要做按配对报表再改主键与写入逻辑
可维护性 get_positions_by_symbols 文档化 低:补充 docstring
可维护性 cointegrated_pairs 命名与注释统一 低:注释或参数命名统一

整体上,全系统 Key 改为配对维度后,核心交易与仓位路径已一致且正确;主要改进点集中在 analysis_results 写入去重语义 与可选的数据/统计增强(历史压缩、按配对日报、脚本可配置配对)。

Read more

跑步的技巧(滚动落地)

“滚动落地(rolling contact / rolling foot strike)”不是一种教条式的“脚法”,而是一种 让冲击沿着整只脚、整条后链逐级传递的落地机制。 它的核心不是“你先用哪儿着地”,而是: 你的脚落地之后,冲击是不是像轮子一样滚过去,而不是像锤子一样砸下去。 这就是滚动落地的本质。 一、什么叫“滚动落地”? 你可以把它理解成两种完全不同的落地方式: 1. 砸地(撞击式) 脚像锤子一样拍到地上: * 要么后跟先砸 * 要么前掌先戳 * 冲击集中在一个点 * 一个结构瞬间吃掉大部分载荷 结果就是: * 后跟砸 → 膝盖难受 * 前掌戳 → 前脚掌磨烂 * 都不是长跑友好模式 这叫 撞击式着地(impact strike)。 2. 滚地(滚动式) 脚像轮胎一样“滚”过地面: * 不是某一点硬砸 * 而是外侧中足先轻触 * 再向前滚到前掌 * 最后从大脚趾蹬离

By SHI XIAOLONG

AMI的优越性

世界模型(World Models)的具体例子 如下,我按类型分类,便于理解。每类都附带实际实现、演示效果和应用场景。 1. Yann LeCun / Meta 的 JEPA 系列(最直接对应“世界模型”概念) 这些是 LeCun 主张的非生成式抽象预测世界模型代表。 * I-JEPA(Image JEPA,2023) 输入一张图像,模型把不同区域(context 和 target)编码成抽象表示,然后预测 target 的表示(不在像素级别重建)。 例子:给定一张遮挡了部分物体的图片,模型能预测“被遮挡物体的大致位置和属性”,构建对物体持久性和空间关系的理解。 这是一个“原始世界模型”,能学习物理常识(如物体不会凭空消失)。 * V-JEPA / V-JEPA 2(Video JEPA,

By SHI XIAOLONG

什么是:“世界模型(World Models)”

世界模型(World Models) 是人工智能领域的一个核心概念,尤其在 Yann LeCun 等研究者推动的下一代 AI 架构中占据中心位置。它指的是 AI 系统在内部构建的对现实世界的抽象模拟或内部表示,让机器能够像人类或动物一样“理解”物理世界、预测未来、规划行动。 简单比喻 想象你闭上眼睛也能“看到”房间里的物体会如何移动、碰撞或掉落——这就是你大脑里的世界模型。AI 的世界模型就是类似的“数字孪生”(digital twin)或“内部模拟器”:它不是简单记住数据,而是学习世界的动态、因果关系和物理直觉(如重力、物体持久性、遮挡、因果等)。 为什么需要世界模型? 当前主流的大型语言模型(LLM) 擅长处理文本(统计模式预测),但存在根本局限: * 缺乏对物理世界的真正理解 → 容易“幻觉”、无法可靠规划。 * 样本效率低 → 人类/

By SHI XIAOLONG

K线周期可配置化设计方案

K线周期可配置化设计方案 1. 背景与目标 当前 Beta 套利策略的 K 线周期硬编码为 "1h",分散在多个文件中。需要: 1. 将 K 线周期从 1h 改为 2h 2. 提取为环境变量 BETA_ARB_KLINE_INTERVAL,使其可在 .env 中配置 2. 影响范围分析 2.1 需要修改的文件(共 6 个) 文件 硬编码位置 修改内容 src/trading/config.py BetaArbConfig dataclass 新增 kline_interval 字段,

By SHI XIAOLONG