手机流畅运行 470 亿大模型：上交大发布 LLM 手机推理框架 PowerInfer-2，手机上交手机提速 29 倍 2024年06月12日 12:06 IT之家 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

苹果一出手，流畅运行亿在手机等移动设备上部署大模型不可避免地成为行业关注焦点0vs篮球比分网

然而，模型目前在移动设备上运行的推理模型相对较小（苹果的是 3B，谷歌的框架是 2B），并且消耗大量内存，手机上交手机这在很大程度上限制了其应用场景。流畅

即使0vs篮球比分网苹果，运行亿目前也需要与 OpenAI 合作，模型通过将云端 GPT-4o 大模型嵌入到操作系统中来提供能力更强的推理服务。

这样一来，框架苹果的手机上交手机混合方案引起了非常多关于数据隐私的讨论和争议，甚至马斯克都下场讨论。流畅

如果苹果在操作系统层面集成 OpenAI，运行亿那么苹果设备将被禁止在我的公司使用。这是不可接受的安全违规行为。