PRODUCT

把模型访问变成一个可治理的本地边界。

Halro 部署在业务应用与模型服务之间。应用只使用 Gateway Key 和公开模型别名;真实凭据、路由目标、预算、重试与调用证据由网关管理。

REQUEST BOUNDARY

策略先于 Provider I/O。

01

请求前

识别 Project,校验 Route、模型、CIDR、字段策略、RPM、TPM、并发和预算。

02

请求中

Route 选择受版本和能力约束的 Deployment;每次 Provider Attempt 独立记录。

03

请求后

根据真实 Usage 结算 Token 与成本,保留价格证据、延迟、错误和最终状态。

RESOURCE MODEL

六层资源把技术目标连接到业务归属。

每一层只回答自己的问题:谁能访问、访问什么、以什么价格、由谁承担成本。

  1. Credential

    保存 Provider 凭据,不把上游密钥交给业务应用。

  2. Provider

    定义访问面、协议适配和可审计的能力证据。

  3. Deployment

    锁定实际模型目标、版本与价格证据。

  4. Route

    向业务暴露稳定别名,并绑定允许的 Deployment。

  5. Project

    承载预算、速率、并发、安全和成本归属。

  6. Gateway Key

    让每个应用拥有独立身份、权限和撤销边界。

BOUNDARIES

明确适用范围,也明确当前限制。

适合:需要统一 Provider 凭据、模型路由、预算、成本归因、审计和失败语义的团队。

不替代:Agent 编排、工作流、记忆、工具执行、评测平台或 Provider 自身的配额系统。

当前边界:Standalone 单写实例;不宣称支持 Realtime WebSocket/WebRTC。实验能力会在相邻位置标注成熟度。

NEXT STEP

选择部署路径,或先验证对象模型。