请求前
识别 Project,校验 Route、模型、CIDR、字段策略、RPM、TPM、并发和预算。
PRODUCT
Halro 部署在业务应用与模型服务之间。应用只使用 Gateway Key 和公开模型别名;真实凭据、路由目标、预算、重试与调用证据由网关管理。
REQUEST BOUNDARY
识别 Project,校验 Route、模型、CIDR、字段策略、RPM、TPM、并发和预算。
Route 选择受版本和能力约束的 Deployment;每次 Provider Attempt 独立记录。
根据真实 Usage 结算 Token 与成本,保留价格证据、延迟、错误和最终状态。
RESOURCE MODEL
每一层只回答自己的问题:谁能访问、访问什么、以什么价格、由谁承担成本。
保存 Provider 凭据,不把上游密钥交给业务应用。
定义访问面、协议适配和可审计的能力证据。
锁定实际模型目标、版本与价格证据。
向业务暴露稳定别名,并绑定允许的 Deployment。
承载预算、速率、并发、安全和成本归属。
让每个应用拥有独立身份、权限和撤销边界。
BOUNDARIES
适合:需要统一 Provider 凭据、模型路由、预算、成本归因、审计和失败语义的团队。
不替代:Agent 编排、工作流、记忆、工具执行、评测平台或 Provider 自身的配额系统。
当前边界:Standalone 单写实例;不宣称支持 Realtime WebSocket/WebRTC。实验能力会在相邻位置标注成熟度。
NEXT STEP