Aster文档
搜索 Aster 文档
ESC
产品
版本

输入关键词开始搜索。

    文档目录

    ASTER POWER / 01

    Aster Power 产品概览

    aster-power 的模型中立执行层、服务边界、分布式推理和发布状态。

    aster-power 是模型中立的 Rust 推理执行层。Power 为模型 crate 提供制品身份、设备放置、请求准入、取消、有界状态和执行回执。

    当前版本为 0.10.0。该版本属于 pre-v1,尚未通过生产版 v1 的完整证据门。

    架构图Power 的模型中立执行边界模型 crate 通过嵌入式接口使用 Power,OpenAI 客户端或 Gateway 通过服务接口使用 Power。共享核心管理制品、设备、准入、状态和执行回执。
    Power 的模型中立执行边界模型 crate 和 OpenAI 服务共享 Power 核心。Power 管理制品身份、设备放置、准入、取消、有界状态和执行回执。模型 crate拓扑 / tokenizer / 状态语义嵌入式接口OpenAI 客户端或 GatewayOpenAI 与内部服务接口Power 共享核心制品 / 设备 / 准入 / 取消 / 状态CPU / CUDA / Metal执行回执与独立验证

    职责边界

    Power 核心不按模型家族分派执行。模型 crate 保留模型语义,Power 管理共享执行边界。

    Power 与相邻组件的职责
    组件职责明确边界
    Power制品身份、设备、准入、取消、状态和执行回执不拥有模型拓扑和生成策略
    模型 crate拓扑、tokenizer、预处理、可变状态和生成策略不复制通用运行时边界
    Gateway客户端认证、模型授权、路由和协议编排不执行模型或保存 KV 内容
    Cloud副本、放置、部署代际和快照不处理每个请求的同步转发

    使用方式

    Power 的主要使用方式
    方式适用场景网络行为
    嵌入式运行时Rust 模型 crate 使用共享执行合同不启动监听器或下载模型
    OpenAI 兼容服务现有客户端请求 chat、completion 或 embedding显式启用 HTTP、RA-TLS 或 vsock
    制品供应安装锁定修订的模型包按策略下载并校验内容摘要
    Gateway 执行后端聚合或 P/D 推理使用经过认证的内部协议

    Power 提供 CPU、CUDA 和 Metal 执行边界。具体后端、模型和硬件仍需分别验证。

    当前发布状态

    strict v1 证据门要求 CPU、CUDA、Metal 和 confidential GPU 四类捕获。当前缺少同一冻结父提交的 Metal 与 SEV-SNP confidential GPU 证据。

    因此,0.10.0 不是生产版 v1 的替代品。v1.0.0 尚未作为生产版本发布。

    文档入口

    实现依据