启动数据自愈系统BUG分析1


name: 数据自愈系统 BUG 修复
overview: 数据自愈系统存在严重配置不一致:ContinuityChecker 和 time 生成逻辑使用 5 分钟间隔(EXPECTED_INTERVAL_MINUTES=5),但实际修复和加载的是 zscore_4h 数据(4 小时=240 分钟间隔),导致连续性检查误判、生成大量虚假缺失点,进而触发无效或错误的修复。
todos: []
isProject: false

数据自愈系统严重 BUG 分析报告

完整因果链

flowchart TB
    subgraph input [输入]
        I1["程序启动"]
        I2["heal_symbols: 有 zscore_4h 的活跃 symbol 列表"]
        I3["required_count=144"]
    end

    subgraph state [状态变化]
        S1["_load_zscore_history 加载 zscore_4h"]
        S2["数据为 4h 间隔 kline_time"]
        S3["ContinuityChecker 期望 5min 间隔"]
    end

    subgraph path [调用路径]
        P1["RealtimeKlineServiceBase.__init__"]
        P2["_run_data_healing"]
        P3["DataHealingOrchestrator.heal_and_prepare"]
        P4["_load_zscore_history → records"]
        P5["checker.check_continuity"]
        P6["_generate_expected_times / _generate_missing_before_records"]
        P7["executor.repair"]
    end

    subgraph error [出错点]
        E1["continuity_checker: actual_interval 240min > expected 6min"]
        E2["误判每对相邻记录间有 ~47 个缺口"]
        E3["生成 5min 对齐的 missing_times"]
        E4["repair 用 4h K 线修补 5min 时间点"]
    end

    subgraph root [根因]
        R1["EXPECTED_INTERVAL_MINUTES=5 硬编码"]
        R2["repair_timeframe=4h 未传入连续性检查"]
    end

    I1 --> P1
    I2 --> P2
    I3 --> P3
    P3 --> P4
    P4 --> S1
    S1 --> S2
    S2 --> P5
    P5 --> S3
    S3 --> E1
    E1 --> E2
    E2 --> E3
    E3 --> P6
    P6 --> P7
    P7 --> E4
    E1 --> R1
    E1 --> R2

1. 输入

输入项 来源
触发时机 realtime_kline_service_base.py:187 服务初始化时 __init__ 第 9.5 步
自愈 symbol _run_data_healing symbols ∩ symbols_with_data,排除 base_symbol
目标数量 orchestrator.py:128 required_count=144

2. 状态变化

  1. 数据来源_load_zscore_history 查询 zscore_4h IS NOT NULL,得到 4h 周期 zscore 记录
  2. kline_time 语义:来自 4h K 线收盘时间,相邻记录间隔 240 分钟
  3. 期望语义config.py:10-11EXPECTED_INTERVAL_MINUTES=5, TIME_TOLERANCE_MINUTES=1

3. 调用路径

RealtimeKlineServiceBase.__init__()
  └─ _run_data_healing()
       └─ DataHealingOrchestrator(db_client, kline_repo, symbol, base_symbol, repair_timeframe='4h')
            └─ heal_and_prepare(required_count=144)
                 ├─ _load_zscore_history(144)        → 返回 4h 间隔 records
                 ├─ checker.check_continuity()      → 使用 EXPECTED_INTERVAL=5min
                 ├─ _generate_expected_times()      → 使用 5min 间隔生成时间(无数据时)
                 ├─ _generate_missing_before_records() → 使用 5min 间隔扩展(数据不足时)
                 └─ executor.repair(missing_times)  → 用 4h K 线修复

4. 出错点

4.1 连续性检查误判 (continuity_checker.py:82-98)

# actual_interval = 240 min (4h 自然间隔)
# expected_interval + tolerance = 5 + 1 = 6 min
if actual_interval > self.expected_interval + self.tolerance:  # 240 > 6 → True!
    # 误判存在缺口,生成 47 个“缺失”时间点(每对相邻 4h 记录之间)
    current = gap_start
    while current < gap_end:
        missing_times.append(current)
        current += self.expected_interval  # 5min 步长
  • 144 条 4h 记录 → 相邻对 143 个 → 约 47 × 143 ≈ 6721 个虚假 missing_times
  • 这些时间点为 5 分钟对齐,与 4h 周期不一致

4.2 时间生成错误 (orchestrator.py:306-355)

  • _generate_expected_times:无历史数据时用 EXPECTED_INTERVAL_MINUTES(5min)生成 144 个时间点
  • _generate_missing_before_records:数据不足时用 5min 步长向前扩展

对 4h 数据:

  • 正确应为:now - i * 240min,得到 4h 对齐时间
  • 实际为:now - i * 5min,得到 5min 对齐时间

4.3 修复语义错位 (repair_executor.py)

  • repair 使用 timeframe='4h' 拉 4h K 线并计算 zscore
  • 5min 对齐的 missing_times 大多不对应 4h K 线收盘时间
  • 结果:大量冗余或错误的修复,以及无效的迭代

5. 根因

根因 说明
间隔配置错误 EXPECTED_INTERVAL_MINUTES=5data_healing/config.py:10 中写死
未传递 repair_timeframe orchestrator.pyrepair_timeframe='4h' 未传入 ContinuityChecker_generate_expected_times_generate_missing_before_records
设计假定 5m 数据 test_basic.py 使用 5min 间隔构造测试数据,与实际 4h zscore 场景不一致

6. 修复方案

6.1 核心修改:按 repair_timeframe 使用正确间隔

  1. ContinuityChecker:增加 expected_interval_minutes 参数,由 orchestrator 根据 repair_timeframe 传入(4h→240,1h→60)
  2. orchestrator:在 _generate_expected_times_generate_missing_before_records 中,使用 repair_timeframe 对应的分钟数(如 _interval_minutes(repair_timeframe))替代硬编码 5
  3. config.py:保留 5 作为兼容或默认值,但不再在 4h 流程中单独使用

6.2 时间范围调整(可选优化)

  • orchestrator.py:374time_ranges = [12, 24, 48] 为 12/24/48 小时
  • 144 条 4h 数据需 24 天 ≈ 576 小时
  • 建议:当 repair_timeframe='4h' 时,使用 [576, 720, 864] 等以“天”为单位的时间范围

6.3 测试修正

  • test_basic.py 中改为使用 4h(或当前 repair_timeframe)间隔构造数据,与生产场景一致

7. 涉及文件

Read more

跑步的技巧(滚动落地)

“滚动落地(rolling contact / rolling foot strike)”不是一种教条式的“脚法”,而是一种 让冲击沿着整只脚、整条后链逐级传递的落地机制。 它的核心不是“你先用哪儿着地”,而是: 你的脚落地之后,冲击是不是像轮子一样滚过去,而不是像锤子一样砸下去。 这就是滚动落地的本质。 一、什么叫“滚动落地”? 你可以把它理解成两种完全不同的落地方式: 1. 砸地(撞击式) 脚像锤子一样拍到地上: * 要么后跟先砸 * 要么前掌先戳 * 冲击集中在一个点 * 一个结构瞬间吃掉大部分载荷 结果就是: * 后跟砸 → 膝盖难受 * 前掌戳 → 前脚掌磨烂 * 都不是长跑友好模式 这叫 撞击式着地(impact strike)。 2. 滚地(滚动式) 脚像轮胎一样“滚”过地面: * 不是某一点硬砸 * 而是外侧中足先轻触 * 再向前滚到前掌 * 最后从大脚趾蹬离

By SHI XIAOLONG

AMI的优越性

世界模型(World Models)的具体例子 如下,我按类型分类,便于理解。每类都附带实际实现、演示效果和应用场景。 1. Yann LeCun / Meta 的 JEPA 系列(最直接对应“世界模型”概念) 这些是 LeCun 主张的非生成式抽象预测世界模型代表。 * I-JEPA(Image JEPA,2023) 输入一张图像,模型把不同区域(context 和 target)编码成抽象表示,然后预测 target 的表示(不在像素级别重建)。 例子:给定一张遮挡了部分物体的图片,模型能预测“被遮挡物体的大致位置和属性”,构建对物体持久性和空间关系的理解。 这是一个“原始世界模型”,能学习物理常识(如物体不会凭空消失)。 * V-JEPA / V-JEPA 2(Video JEPA,

By SHI XIAOLONG

什么是:“世界模型(World Models)”

世界模型(World Models) 是人工智能领域的一个核心概念,尤其在 Yann LeCun 等研究者推动的下一代 AI 架构中占据中心位置。它指的是 AI 系统在内部构建的对现实世界的抽象模拟或内部表示,让机器能够像人类或动物一样“理解”物理世界、预测未来、规划行动。 简单比喻 想象你闭上眼睛也能“看到”房间里的物体会如何移动、碰撞或掉落——这就是你大脑里的世界模型。AI 的世界模型就是类似的“数字孪生”(digital twin)或“内部模拟器”:它不是简单记住数据,而是学习世界的动态、因果关系和物理直觉(如重力、物体持久性、遮挡、因果等)。 为什么需要世界模型? 当前主流的大型语言模型(LLM) 擅长处理文本(统计模式预测),但存在根本局限: * 缺乏对物理世界的真正理解 → 容易“幻觉”、无法可靠规划。 * 样本效率低 → 人类/

By SHI XIAOLONG

K线周期可配置化设计方案

K线周期可配置化设计方案 1. 背景与目标 当前 Beta 套利策略的 K 线周期硬编码为 "1h",分散在多个文件中。需要: 1. 将 K 线周期从 1h 改为 2h 2. 提取为环境变量 BETA_ARB_KLINE_INTERVAL,使其可在 .env 中配置 2. 影响范围分析 2.1 需要修改的文件(共 6 个) 文件 硬编码位置 修改内容 src/trading/config.py BetaArbConfig dataclass 新增 kline_interval 字段,

By SHI XIAOLONG