Laya-CoreML教程：1.3k星苹果神经引擎本地决策，5ms短决策零生成token

📌 项目：mizorewww/laya-coreml | 星数：1,284（2026-09-23） | 协议：Apache-2.0 | 语言：Python | GitHub

一句话定位："苹果芯片上的类型化决策——Core ML、神经引擎、零生成 token。" Laya-CoreML 把 Laya 决策模型移植到 Apple Silicon 的 Core ML 和神经引擎（ANE），在 M3 Max 上单次多语言短决策只要 4.98ms P50 / 5.31ms P95，能效比编译版 MLX FP16 好 2.78 倍。

它和 Laya 原版、Laya-MLX 是同一家族的不同运行时：原版是通用实现，MLX 版走苹果 GPU，CoreML 版走神经引擎，追求的是极致能效。

🎮 Snake Demo：真实模型本地跑

项目自带一个直观的演示——一个真实的 Laya 模型在本地玩贪吃蛇，界面上可见概率、分数、长度、延迟和安全干预。GIF 是 1× 速度录制的真实 Core ML 运行。

性能数据（三次不限速 600 步回合）：

• 完整贪吃蛇循环持续 49.1–50.0 决策/秒，零死亡，两次安全干预
• 单次多语言短决策：4.98ms P50 / 5.31ms P95（M3 Max + ANE FP16）
• 整系统能效：比编译版 MLX FP16 好 2.78×；W8 palette 变体达 4.88ms、3.19× 能效提升

项目诚实标注：这些是单问题结果，不是完整贪吃蛇帧时间；"10× 提升"的目标并未达到。这种数据诚实度在开源项目里不多见。

⚙️ 安装与运行

环境要求：Apple Silicon + macOS 15+ + Python 3.11–3.13。

# 跑贪吃蛇演示
pip install 'laya-coreml[demo]'
hf download aac6fef/laya-multilingual-coreml-ane --local-dir models/snake
laya-coreml-snake --model ./models/snake

下载一次后可离线运行，推理无需 PyTorch、Transformers 或 MLX。终端需要 104 列 × 35 行，空格暂停、↑/↓ 调速、R 重置、Q 退出。首次 Core ML 初始化可能要几十秒。

🔌 用 API 做决策

装好 laya-coreml 后，几行代码就能做类型化决策：

import laya_coreml as laya

agent = laya.load("aac6fef/laya-multilingual-coreml-ane")
result = agent.predict(
    "The customer requests a refund of a duplicate payment.",
    {"refund": {"type": "noul", "instructions": "Does the customer request a refund?"}}
)
print(result["answers"]["refund"])

Laya 返回 choice（选择）、ordinal score（序数评分）、boolean noul（是非）三类问题的概率，没有自回归文本生成——这正是它快的原因：只做决策，不生成 token。相比 spotifast 这类原生应用，Laya-CoreML 是原生 AI 推理的代表。

⚖️ 优缺点