模型与研究 / 全球
trymirai/uzu
uzu 是面向应用内 AI 的推理引擎，提供 Rust、Python、Swift 与 TypeScript 示例，利用苹果设备统一内存，帮助开发者把模型下载、会话和推理接入产品。
+509近 7 天 Star
3,000总 Star
主要能力
项目提供高层 API 与统一模型配置，覆盖模型查找、下载进度、聊天会话和回复读取。README 强调可追踪计算，便于和参考实现比对正确性，并利用苹果设备的统一内存。目标是在应用内运行模型，减少对远程推理接口的依赖。
使用场景
同一套快速入门流程以 Rust、Python、Swift 和 TypeScript 展示，示例先创建引擎、定位模型，再下载模型并传入系统消息和用户消息。后续示例还包括流式聊天、结构化输出和工具调用，适合原生应用、桌面助手以及需要本地模型交互的产品原型。
上手与边界
上手可从仓库的对应语言依赖与 Quick Start 开始，再查文档调整下载和推理配置。实际速度与可运行模型取决于设备资源、模型大小和配置，不能把作者的低延迟宣传理解为所有任务都无等待。集成时应先用目标设备测量内存、响应和输出质量。