由生态主控(Claude)与 Codex(Astra)各自独立设计,再交叉评审两轮后收敛。关键事实已用代码或官方文档核实;无法核实的列在最后。
一句话结论
先补安全和恢复能力,再在原项目里完成 12-01 前的部署配置迁移,最后才拆项目。 拆项目按产品划分:现项目收敛为 Data Horizon,Trading Matrix 与 FinBayes 迁出,两个静态站合并。默认在 12-01 之后的独立窗口迁 TM。
1. 现状的主要问题
| 级别 | 问题 | 证据 |
|---|
| 严重 | MySQL、Redis、Postgres(pg18)开着公网 TCP 入口;TM 开发配置用写在仓库里的明文凭据直连生产库 | Railway TCP 代理查询;trading-matrix server/deploy/config/config.dev.yaml |
| 严重 | 10-21 变量泄露后,只改 Railway 变量不等于数据库里的密码已改;泄露过的凭据不能作为回退手段 | 密钥轮换线 |
| 严重 | TM 事件接收接口无鉴权,可触发交易流程;入库失败时仍会继续触发事件 | trading-matrix server/internal/logic/receive_event_logic.go 第 96–99 行 |
| 高 | 19 个服务、DH / TM / FinBayes 两代 / 知识库 / 共享设施同处一个 production 环境和一个私网 | Railway 私网查询 |
| 高 | DH 与 TM 共用一个 MySQL 实例和一个 Redis,轮换必须同步,无最小权限 | 两仓数据库配置 |
| 高 | MySQL 关闭 binlog,无备份和恢复演练证据,不能做时间点恢复 | MySQL 启动参数 |
| 高 | watch-dog 两个公网入口无鉴权、无请求体上限 | data-horizon watchdog/main.go、internal/handler/loghandler.go |
| 中 | DH 登录态检查在 Redis 出错时放行(JWT 仍校验);Redis 轮换或迁移期间要特别验证 | data-horizon server/internal/middleware/apiperms_middleware.go validateTokenInRedis |
| 中 | FinBayes-api 崩溃且从 feat/v2 自动部署;pg18 归属不明;FinPrisme-Dev 残留 | Railway 部署记录 |
| 中 | 推理服务常驻 5.75 GB 内存,只服务新闻判重 | Railway 指标 |
| 中 | 私网名混乱(KOL-Desk 叫 data-horizon,DH 后端叫 empathetic-joy);画布分组拼写错误 | Railway 私网查询 |
已于 10-28 处理:weaviate、transformers-inference 的公网域名已删除。
2. 关键约束
- Railway 私网只在同一项目、同一环境内互通。跨产品调用(DH↔TM、FinBayes→DH、FinPrisme→DH)现在都走公网 HTTPS,只有「应用→自己的数据库」走私网。所以拆项目的唯一硬耦合是共享 MySQL 和 Redis。
- 代码核实:DH 与 TM 之间没有跨库 SQL、视图、触发器、存储过程或共享表,各自建立连接,仓库层面可以拆。线上元数据(授权、临时对象)仍需核实。
- 服务不能直接移到另一个项目:只能在新项目重建、迁数据、把自定义域名从旧服务解绑再加到新服务。证书通常一小时内签发,最长可能 72 小时,不能承诺几分钟切换。
- Railway 卷备份只在 Pro 套餐可用,且只能恢复到同项目同环境,不能用于跨项目搬库。
- 团队极小,每个环境、每个实例都是审批和运维成本。不追求「一个服务一个项目」,也不默认给每个项目建 staging。
3. 目标架构
| 项目 | 服务 | 环境 |
|---|
| Data Horizon(现 FinTecAI Ecosystem 迁出其他服务后改名) | data-horizon-service、data-horizon-web、KOL-Desk、watch-dog、日志转发器、MySQL(DH)、Redis(DH)、query-gate(DH);weaviate 与 transformers-inference 过渡保留 | production;需要演练时临时开环境,不常驻 staging |
| Trading Matrix(新建) | trading-matrix-service、trading-matrix-web、MySQL(TM)、Redis(TM)、query-gate(TM)、日志转发器 | production;本地开发用容器数据库与模拟交易,不再连生产 |
| FinBayes(新建) | 现 FinBayes-Dev 改名为 finbayes-service,及其数据库;核实是否有数据库以外的文件状态 | production;v2(FinBayes-api、finbays-web、pg18)进入待退役清单,由 Owner 定去留 |
| curvature-labs-site(已有) | 官网 + Labs-FinTecAI-Gov | production |
| FinPrisme、AIXAPI、meridian-ferry-lab | 不动 | 现状 |
暂不建独立运维项目:watch-dog 只用一张 telegram_topics 表,不值得单配数据库。留在 DH 项目,先补鉴权;将来需要独立时改用卷上的 SQLite。
日志转发器(locomotive)一个实例只能订阅一个环境,且需要账户级 API token。所以按项目或环境各放一个,并限制该账户能访问的项目。
通信规则
| 关系 | 方式 |
|---|
| 应用 → 自己的数据库 | 私网;每个应用独立账号、最小权限 |
| TM / FinBayes / FinPrisme → DH | dh-api.curvaturex.io;每个产品、每个环境独立 API Key |
| DH → TM 事件推送 | tm-api.curvaturex.io;HMAC 签名、时间戳、事件 ID 去重;TM 先可靠入库再确认;设兼容过渡期 |
| Railway / 日志转发 → watch-dog | 公网,各来源独立共享密钥放在请求头中;限定 POST、请求体大小、速率。Railway webhook 不签名 payload,不能称为 HMAC |
| 本地 Agent → Query Nest | DH、TM 各一个网关;数据库账号本身只读;不配置可写的 exec_dsn;锁定镜像版本 |
4. 数据层
- MySQL:过渡期先在现实例上按库建独立账号(DH、TM、watch-dog、Query Nest 只读),配合密钥轮换一次完成,之后 DH 与 TM 可以各自轮换。目标是 TM 迁到自己的实例,停写时长以演练实测为准,不预设 15 分钟。
- Redis:DH 保留原 Redis。代码核实它存了登录 token、权限、定时任务主实例租约、长轮询锁、行情缓存、告警去重等,不是空实例。TM 新建空 Redis,只存登录 token,迁移后用户需要重新登录。不复制共享 Redis,也不复制旧租约。
- Postgres:FinBayes-Dev 的库随 FinBayes 迁出。pg18 先查清使用者并关闭公网入口,归档后由 Owner 批准退役。
- 备份:确认套餐与卷备份。DH、TM 主库开 binlog 归档或平台的时间点恢复功能,并在 Railway 之外另存一份加密备份(保留 7 日、4 周、3 月)。每个库至少做一次恢复演练,演练通过才进入拆分。
- 向量判重:先把判重窗口持久化到 DH 自己的 MySQL,DH 直接调用私网推理服务,再退役 Weaviate。换模型或改用外部向量接口单独排期。改动范围见附录。
5. 部署层(12-01 Config-as-Code 停用)
- Dockerfile 固化构建和启动。
- Railway TypeScript IaC(
.railway/railway.ts,正式版)固化平台参数:服务、数据库、卷、域名、健康检查、重启策略、按环境分支。FinPrisme 已有使用记录,可作为结构模板。
- 现项目多仓混放:每个仓库用命名 partial 只声明自己的资源,避免一个仓库的声明误删另一个仓库的资源。
- 密钥只引用,不进仓库;IaC 的 plan / apply 由 Owner 审阅差异后执行,不在合并时自动应用到生产。
- 若拆项目延期,先在原项目完成部署迁移,拆分不能拖累 12-01。
6. 分阶段(是否进入下一阶段看验收结果,不看日期)
| 时间 | 内容 | 操作者 | 验收 |
|---|
| 10-28~29 | 域名收尾(另行执行中);停止 TM 开发直连生产库 | 各主控、Owner | 旧绑定移除;开发配置不再指向生产 |
| 10-30~11-06 | 数据库按库分账号,配合轮换;旧凭据确认失效;修 TM 事件接口(鉴权、入库失败不触发);watch-dog 加鉴权与限制;FinBayes-api 停自动部署并定去留;删 FinPrisme-Dev 残留;查清 pg18 使用者后关闭公网入口 | DH、TM 主控,Owner 轮换与控制台操作 | 旧凭据无法建立新连接;无鉴权请求被拒;业务读写正常 |
| 11-07~11 | 确认套餐和备份;开 binlog 归档;恢复演练;TM 导出导入计时;关闭 MySQL、Redis 公网入口 | Owner、DH、TM 主控 | 在隔离环境恢复成功,核对计数与耗时;TCP 依赖清单为零 |
| 11-12~20 | 原项目内逐服务改用 Dockerfile + IaC(DH、TM 已排期;FinBayes、知识库、AIXAPI pay 同期) | 各主控,Owner apply | 每个服务至少一次不依赖旧配置文件的真实部署 |
| 11-21~30 | 全量验收、修复、回退缓冲,不叠加搬库 | 本会话汇总 | 无服务依赖旧配置文件 |
| 12-02 起 | 独立窗口迁 TM:新项目、新库、新 Redis、域名切换(预留证书签发时间,期间 TM 交易执行关闭);稳定后再迁 FinBayes、Labs 站点;Weaviate 退役另排 | TM、FinBayes、DH 主控,Owner 切换 | 数据精确校验、事件回执、重放幂等;旧库保留只读至观察期结束 |
7. 成本(按 Railway 按量单价估算,以账单为准)
| 情况 | 每月 |
|---|
| 现项目 | 约 135 美元(推理服务约 59、MySQL 约 37、weaviate 约 16) |
| 拆分后,保留自建推理,退役 Weaviate 与 v2 | 约 124~140 美元 |
| 再加备份与按需演练环境 | 约 130~160 美元 |
| 推理改用外部向量接口 | 约 74~116 美元,需用真实调用量验证 |
拆分本身基本持平;主要降本在推理服务。
8. 不选的方案
| 方案 | 不选的原因 |
|---|
| 单项目只加环境 | 不隔离生产内的 DH、TM、FinBayes,也不消除共享数据库 |
| 建统一「基础设施项目」放共享数据库 | 跨项目私网不通,会迫使数据库走公网 |
| 每服务一个项目 | 同产品内也要走公网,审批和运维量过大 |
| 现在整体迁出 Railway | 与轮换、12-01 截止同时推进风险过高;Dockerfile + IaC 完成后再评估 |
| 立即全部改用托管数据库 | 先明确恢复目标与预算;TM 可作为首个候选 |
9. 待核实(执行对应阶段前完成)
| 事项 | 负责 |
|---|
| 工作区套餐、卷容量与挂载、现有备份 | Owner |
| 线上跨库对象、外键、账号授权、TM 库实际大小 | DH、TM 主控(只读元数据) |
| Redis 实例与 key 的 TTL 汇总、客户端清单(不读值) | DH、TM 主控 |
| watch-dog 实际部署来源、凭据来源;日志转发器的镜像版本与订阅范围 | Owner、DH 主控 |
Query Nest 现网版本、管理状态是否持久化、是否配置了 exec_dsn、连库路径 | Owner、个人域会话 |
| FinBayes 是否有数据库以外的文件状态;pg18 使用者 | FinBayes 主控、Owner |
| DNS TTL 与证书签发演练耗时 | Owner、本会话 |
附录:DH 退出 Weaviate 的最小改动(Codex 核实,文件位于 data-horizon/server)
- 新增小型向量客户端:直接调用私网推理服务,模型和文本处理保持不变。
- 新增判重窗口表:新闻 ID、向量、模型版本、入窗时间;幂等写入、最近窗口读取、过期清理。
internal/standardize/vector_cache.go:从自有窗口回填;窗口不完整或模型不匹配时报错,不当作空窗口。
internal/standardize/standardize.go:替换 Weaviate 依赖和两级回退;把「出错」与「确实不重复」分开处理。
internal/standardize/pipeline.go runDedupItemWith:覆盖检索文本与索引文本不同的分支,以及同源不同原文被推翻后的重新入窗。
internal/job/cron_manager.go、standardize_job.go:注入新依赖,取消「未配置 Weaviate 就关闭判重」的逻辑。
internal/job/weaviate_dedup_retention_job.go:改为清理自有窗口。
- 验收:同模型样本一致、跨语言、阈值边界、重启与崩溃恢复、推理或存储失败。保留按入窗时刻计算的窗口语义。