Data Horizon 第一阶段差距分析与需求映射表
0. 文档定位
本文比较：
本文只形成差距、需求和 work-package candidates，不定义 schema、API、页面、技术栈或排期。
治理与事实状态： 本文已随 L2 重基线获批；确定性工程状态按工程 origin/main
data-horizon@65fde06d登记（2026-08-27）。accepted 未整合 checkpoint29dfe4e2与 controller 本地 WIP 单独登记，均未部署；生产精确代码 SHA 本轮未确认，不得由功能读回反推 deployment revision。第一阶段已于 2026-08-31 按 Phase 1 Closure 口径收束完成（收束判定 PASS）；本文自此作为第一阶段差距历史记录保留：四轴历史状态与各项差距不改写、不删除，未了结事项的处置去向统一登记在 第二阶段实施计划的遗留处置清单，不改名为第二阶段 backlog。
1. 差距分类
| 类别 | 回答什么 | 不能被什么替代 |
|---|---|---|
| Governance Gap | 正式定义、边界和决策是否完成 | 代码存在 |
| Implementation Gap | 当前工程是否实现候选能力 | 文档批准 |
| Production Evidence Gap | 已部署、配置和真实数据是否可验证 | 本地测试通过 |
| Acceptance Gap | 用户/消费者/运营闭环是否按有界标准验收 | 有流量或非空数据 |
所有 Roadmap 项必须分别记录这四类状态。
2. 第一阶段总差距
当前最大的缺口不是“没有系统”，而是：
已有大量实现，却没有用统一身份、权利、质量、生命周期和独立用户任务把它们收束成可验收的信息产品。
2.1 独立闭环
- 内部运营控制面广，但尚无一条以用户任务定义并验收的完整 IH workflow；
- 内部机器消费存在，但 current Interfaces 被 TM、FinBayes 和一个外部 B workload 不同程度塑形；
- 外部 B 已有一个活跃 benchmark consumer，但 portability、SLA、rights 和 exit 未验证；
- external C 未批准。
2.2 信息产品语义
- ingest identity、row identity、publication identity、transport event identity 未分层；
- correction、withdrawal、supersession、revision 和 replay 未形成统一语义；
- Macro release occurrence、observation、reference period、vintage 未分层；
- provenance、rights、quality、review 和 delivery 状态仍分散；
internal/contractseven shapes 已实现，但治理上未决定其归属。
2.3 控制与运行
- Source、Provider Config、Cron 和 static jobs 存在多事实源；
- patch/replace/command、field ownership 和 concurrency 未统一；
- migrations 缺 ledger、checksum、failure history 和 lock；
- selected static jobs 已有通用 receipt 实现，但尚未部署读回；跨 release、migration、job、cost 与 acceptance 的统一登记仍缺失。
3. 能力差距矩阵
| 能力 | Governance | Implementation | Production evidence | Acceptance | 下一闸门 |
|---|---|---|---|---|---|
| Internal information operations workspace | 定义已更新，工作流未冻结 | Substantial surfaces | Not re-verified as one product | Not accepted | 选受控切片，完成 IH workflow trial |
| Source registry/configuration | Ownership/concurrency pending | Substantial | Partial/fragmented | Not accepted | Source + Provider field-ownership evaluation |
| Source health/control | Operational capability accepted as practice | Substantial | Not re-verified end-to-end | Not accepted | 只读 evidence + safe control smoke 另授权 |
| Source authorization | Technical policy implemented；rights 未证明 | Substantial | Partial | Technical paths partial | rights inventory + resolver/bulk equivalence |
| Human review gate | Scope/trigger responsibility pending | Substantial for push path | Not re-verified | Not accepted across outputs | IH review workflow + cross-output gate decision |
| News retrieval | Formal object pending | Implemented | Partial | Per-endpoint only | lifecycle/retrieval object evaluation |
| News Stream v1 | Compatibility-only | Implemented/tested；tail anchor 已在 HEAD 修复 | 旧基线 Partial；HEAD 未部署 | Activation-gated | deploy/readback + wait=0 smoke + bounded acceptance |
| Macro information | Formal release/vintage model pending | Substantial；actual-fill lifecycle/receipts/retries 已实现 | 旧 revision Partial；新 migration/HEAD 未部署 | Not accepted after schedule repair | authorized migration/deploy/readback + semantic product decision |
| Crypto market data | Pass-through vs durable asset pending | Implemented pass-through | Not re-verified | Local tests only | provider/rights/cost evaluation |
| KOL/private information | Generic vs TM Adapter pending | Substantial | Not re-verified | R1–R3 not formally accepted | counterfactual TM-dependency test + IH workflow + rights evidence |
| Existing TM compatibility | 不定义 core；已记录为 proposed compatibility invariant | 多条 data/API/feedback/direct-push paths 已存在 | 尚缺统一 readback | 未形成完整 regression receipt | compatibility manifest + versioned migration + rollback evidence |
| Provider Config | Patch/concurrency semantics pending | Substantial；runtime credential readiness downgrade 已实现 | Known past overwrite incident；HEAD 未部署 | Not accepted | conditional-write/ownership design candidate |
| Cron control | Scraper-only vs wider Module pending | Partial by design；selected static jobs 已有 receipt | Table exists；新 receipts 未生产读回 | Not accepted as full control plane | scope decision + rollback/restart tests |
| Migration execution | Ledger 为 proposed direction，implementation undecided | Partial；新增 guarded macro lifecycle migration/runbook | Known repaired drift；新 migration 未执行 | Not accepted | tool-neutral migration proposal |
| Operating evidence | Formal evidence product not approved | Substantial but fragmented；generic job receipt 已实现 | 旧证据 Partial；新 receipt 未生产读回 | Not accepted as evidence wall | unified release/acceptance registry candidate |
| Standardization pipeline | Product semantics unchanged | Bounded ordered workers implemented；default 1 | Multi-worker activation reverted；HEAD 未部署 | Local tests only | production activation only through bounded experiment |
| Request-log security | Practice hardening | Writer-level redaction + native dump disable implemented | HEAD 未部署 / 未做 secret-safe log readback | Local tests only | deploy then bounded, secret-safe verification |
internal/contract objects | Not formal product model | Implemented | Not re-verified across consumers | Consumer-specific/local | object-by-object inventory challenge |
| External B portability | Proposed route direction | Generic mechanisms exist | One active benchmark | Not accepted | second heterogeneous B workload |
| External C | Not approved | Absent as DH product | Not applicable | Not applicable | Owner go/no-go only after readiness |
4. 第一阶段用户任务差距
4.1 IH-01 来源运营
目标：操作员能理解来源身份、权利、健康、最近数据、处理成本和影响范围，并安全执行暂停、恢复、隔离和升级。
当前缺口：
- Source、Source Health、Provider Config 分散；
- rights evidence 与 technical authz 混淆风险；
- control action 的生产验收和 rollback evidence 不完整；
- concurrent writers 和 field ownership 未定义。
4.2 IH-02 信息复核与纠错
目标：从输出回到 raw artifact 和处理活动，执行 accept/reject/hold/requeue/correct/withdraw/escalate。
当前缺口：
- review gate 主要覆盖 push；
- correction/withdrawal 没有正式 publication lifecycle；
- Ops UI 未形成完整证据工作流；
- reason/evidence 与下游影响未统一。
4.3 IH-03 检索与追踪
目标：按时间、实体、资产、主题、来源、质量和 revision 检索，并回到证据。
当前缺口：
- current search 主要是 news keyword/query；
- reusable object 未冻结；
- semantic/vector retrieval 与 provenance 关系未评估；
- subscription 和 feed 仍被 current endpoints 代表。
4.4 IH-04 运行、成本与恢复
目标：观察 source/job/provider/review/migration/delivery/cost，确认失败范围并完成有审计恢复。
当前缺口：
- evidence surfaces 分散；
- migration history 不完整；
- cron 双机制；
- selected jobs 的通用 receipt 尚未部署读回，跨系统 production acceptance receipt 仍无统一登记。
5. 信息语义需求候选
| 需求 | 当前差距 | 进入何处 |
|---|---|---|
| Stable identity | raw ID 承担过多语义 | Product semantics proposal |
| Version/correction/withdrawal | active-only snapshot | Lifecycle evaluation/work package |
| Macro vintage | schedule/observation 同行 | Macro semantic work package |
| Provenance | 来源/处理证据分散 | Minimum provenance evaluation |
| Rights | 技术 authz 已有，legal evidence 缺 | Rights inventory/work package |
| Quality | 各 output 自定义或缺失 | Cross-output quality problem domain |
| Review | push-path MVP | IH workflow and cross-output decision |
| Delivery/replay | push/query/stream/export 各自演化 | Interface portfolio evaluation |
这些是语义和评估需求，不是新增表或字段要求。
6. Immediate deterministic gaps
以下事项可以在不冻结产品架构的前提下继续作为工程/生产 gate 管理：
| Item | 当前状态 | 授权边界 |
|---|---|---|
| News image gate composite index | Closed：生产索引已完成并只读确认 | 不重跑；后续 drift 按新变更单处理 |
| News wait=0 smoke / bounded acceptance | strict target 未通过：P95 90 秒与 stop-line 恢复达标，item latency P50、gate age P95 与 transport reliability 未达标（2026-08 bounded window） | 不扩大生产动作；重试需独立授权窗口 |
| News tail anchoring fix | 已包含于 origin/main 65fde06d；有界消费者窗口未再现 stop-line/cursor regression | 不替代 bounded acceptance；strict target 仍未通过 |
| Macro schedule-only repair acceptance | 生产 schedule heartbeat ok（2026-08-27 只读回读，upserted=136/backfilled=16）；跨周期 no-churn 回执仍不足 | 继续只读验收；新的部署/手工触发另行授权 |
| Macro actual-fill lifecycle | 生产 schema 已含 lifecycle 列与候选索引（2026-08-27 只读确认）；actual heartbeat ok；行为验收仍不完整 | 新 migration、部署和手工触发继续独立授权 |
| Generic job receipts | selected jobs receipts 已在生产只读回读（2026-08-27：standardize、macro schedule/actual） | 不把 heartbeat receipt 当产品验收 |
| Standardize multi-worker | workers=4 已在生产激活且 heartbeat ok、无积压（2026-08-27）；strict performance acceptance 未通过 | 长期 SLO 与故障恢复未验收；accepted checkpoint 29dfe4e2 未整合、未部署 |
| Request-log redaction | 已部署；受影响 Open API key 轮换与旧 key 撤销完成（Owner 授权）；D-14 其他历史凭据仍 Deferred | 历史平台日志留存为 residual；不保存任何 key 值 |
| R7 legacy macro cleanup | Closed：终态 predicate=0 | 历史执行回执缺失按 Accepted operational direction D-13 保留为 audit residual；不授权重跑 |
| Source authz two-path equivalence tests | 测试缺口 | 本地临时 MySQL 可做，不需生产权限 |
| Cron rollback/restart tests | 测试缺口 | 本地可做 |
| Migration ledger | 架构候选 | 先提案/参考评估，不先建生产表 |
7. Work-package candidates
Gate A：独立 IH 产品闭环
| Candidate | 目标 | 当前动作 |
|---|---|---|
| DH-IH-01 Information Operations Trial | 用一个受控信息域完成 source→review→retrieval→recovery | 先定义任务、样本、时间盒、验收，不先重写 UI |
| DH-IH-02 Evidence and Lifecycle Trial | 验证 raw/provenance/review/correction/withdrawal | 语义原型 + replay fixture，不先建正式 schema |
| DH-IH-03 Operations Evidence Registry | 汇总 release、migration、job、cost、acceptance evidence | 先定义 evidence registry，不复制工程日志 |
Gate B：Reusable object 与 Interface
| Candidate | 目标 | 当前动作 |
|---|---|---|
| DH-OBJ-01 Information identity/lifecycle evaluation | 比较 current objects 与候选对象 | reference fixtures + counterfactual dependency test（不授权删除 runtime） |
| DH-IF-01 Consumer-neutral Interface evaluation | 比较 query/feed/bulk/event 和 Adapter | 保持 v1 compatibility，不新增 endpoint |
| DH-RIGHTS-01 Rights and output-purpose inventory | 建立 source→output→purpose/consumer 证据 | 先补 rights facts，不把 authz 当 legal truth |
| DH-MACRO-01 Release/observation/vintage evaluation | 收束 macro time semantics | 先 fixture/replay，再决定模型 |
Gate C：External B readiness
| Candidate | 目标 | 前置条件 |
|---|---|---|
| DH-B-01 Existing News v1 bounded acceptance | 验证现有匿名 external-B compatibility Interface | index、wait=0 smoke、授权窗口 |
| DH-B-02 Heterogeneous B pilot | 验证 portability | 独立闭环 + rights + neutral candidate contract |
| DH-B-03 SLA/metering/exit package | 验证商业运行边界 | 两个 workloads 的 evidence |
Gate D：Control-plane hardening
| Candidate | 目标 | 当前动作 |
|---|---|---|
| DH-CTRL-01 Configuration concurrency | 防止 lost update | 比较 conditional write/command/patch |
| DH-CTRL-02 Scheduler scope | 决定 scraper-only vs broader control | inventory + failure/restart tests |
| DH-CTRL-03 Migration history | ledger/checksum/lock/audit | tool-neutral proposal |
8. 当前不进入 Roadmap 的内容
- DH self-owned external-C product；
- Consumer Platform；
- formal dataset/corpus product；
- 全市场一次铺满；
- 技术栈或微服务重写；
- current seven contract shapes 自动晋升产品模型；
- 新 SSE/webhook/queue/availability endpoint；
- 以交易收益定义来源质量。
9. 进入实施前的共同闸门
任何 work package 进入工程设计前至少回答：
- 它关闭哪类 gap；
- 服务哪个 consumer class 和用户任务；
- current evidence 与 production evidence 分别是什么；
- 是否依赖未批准对象或 Interface；
- rights、quality、cost 和 failure boundary；
- 在反事实地移除 consumer-specific 假设后是否仍保留独立价值；该 deletion test 仅用于架构分类，不授权删除、停用或破坏现有 runtime；
- 验收样本、时间盒、停止条件和 Owner；
- 是否需要生产/credential/DDL/DML 等独立授权。
- 若影响现有 TM seam，是否有 compatibility manifest、双轨迁移、consumer regression、deprecation window 和 rollback。
Changelog / 演化记录
2026-08-31：第一阶段收束完成（判定 PASS）后，本文定位改为第一阶段差距历史记录；内容不改写，未了结事项的处置去向指向第二阶段实施计划的遗留处置清单。
2026-08-27：工程基线刷新至 origin/main 65fde06d；按事实地图更新 deterministic gaps（standardize workers=4 已激活、generic job receipts 与 macro schedule/actual 已只读回读、日志脱敏已部署并完成受影响 key 轮换/撤销、News bounded window strict target 未通过）；登记 Phase 1 Closure 执行读法；生产精确 SHA 未确认、accepted checkpoint 29dfe4e2 未整合未部署。
2026-08-25：同步工程基线至 data-horizon@18838212a653。把 News tail、macro actual-fill lifecycle、provider readiness、generic job receipts、标准化有界并发和日志脱敏登记为 Implementation 进展，同时显式保留 deployment、migration、activation、production readback 与 acceptance gaps；纠正开放 L2 中被提前写成 accepted 的治理措辞。
2026-08-21：完成第一阶段 Gap Map 重基线。取消以 P0/P1/P2 编号暗示 TM-first 的线性优先级；分离 Governance、Implementation、Production Evidence、Acceptance 四类 gap；建立 IH 用户任务、信息语义、deterministic production gates 和 Gate A–D work-package candidates；保留 current implementation 事实但不升级正式对象。
2026-06-05：上一版围绕 P0/P1/TM 输出、私域信号和工程债形成候选任务包。该版本保留在 Git 历史中，其已实现能力和未完成业务验收由本版重新登记。