Copilot在微软生态系统中已经根深蒂固,甚至还有一个专门用于人工智能聊天机器人的新键盘键。现在看来,它的大部分功能都可以离线进行,处理过程可以在你的笔记本电脑上进行——但如果你有一台新的英特尔人工智能电脑,情况就不同了。
在最近于中国台北举行的英特尔人工智能峰会上,该芯片制造商的高管告诉刊物《Tom's Hardware》,当前一代英特尔酷睿 Ultra 芯片均无法满足离线和在设备上运行 Copilot 的最低要求。
这一切都取决于每秒万亿次运算(TOPS)——衡量 NPU 运行人工智能任务速度的指标,数字越高意味着性能越好。您需要一个至少具有 40 TOPS 数量的 NPU,而目前,Intel Core Ultra芯片只有 10-15 TOPS。
目前,运行 Windows 时唯一接近此功能的处理器是具有 45 TOPS 的Qualcomm Snapdragon X Elite。英特尔表示,其下一代 Core Ultra 芯片将满足最低要求。
在本地运行像 Copilot 这样的人工智能工具有多种原因,包括隐私保护、安全、离线访问和成本——你的机器负责昂贵的处理,而不是云。
挑战在于拥有足够的计算能力来运行 Copilot 体验的各个元素,而用户不会注意到机器速度减慢或电池快速耗尽。
电池问题在很大程度上可以通过将大部分推理推给 NPU 而不是依赖 GPU 来解决。英特尔客户端计算事业部副总裁 Todd Lewellen 表示,由于影响电池寿命,微软坚持 Copilot 在 NPU 上运行。
TOPS 是芯片每秒可以处理的数万亿次操作的数量。具体来说,它是衡量处理器在一秒钟内可以执行的算术运算的指标,作为衡量人工智能和机器学习任务性能的指标特别有用。
通常会给出芯片整体、CPU 和 NPU 组合的 TOPS 数字,但根据英特尔的说法,NPU 值越高,LLM 任务的整体性能越好。
Lewellen 告诉 Tom's Hardware,NPU 达到神奇的 40 TOPS 将“使我们能够在本地运行更多的东西”。
尽管不要指望在您的计算机上运行 Copilot 的所有功能,但只能运行大部分关键功能。一些图像生成和编辑等额外功能可能需要一段时间的互联网连接和云服务访问。
“总的趋势是将尽可能多的[人工智能进程]卸载到[设备上]端点,”英特尔客户端计算集团副总裁 David Feng 在 MWC 上告诉 Tom's Guide。
已经有许多人工智能应用程序在本地运行服务,包括图像和视频编辑器,但它们主要使用 GPU。英特尔正在积极与开发人员合作,鼓励更好地使用 NPU,但这在我们获得下一代芯片之前可能不会发生。
与此同时,高通正在抢占 Windows 人工智能领域。其经常延迟的 Snapdragon X Elite 芯片的板载 NPU 的性能为 45 TOPS,并运行 Windows。
高通首席财务官多姆·麦奎尔 (Dom McGuire) 预测,英特尔芯片首次推出时,TOPS 计数较低将成为一个问题。二月份在巴塞罗那举行的 MWC 上发表讲话时,他告诉《Tom's Guide》,仅靠少数几件 TOPS 并不能做太多事情。
“我们可以在所有三个不同的处理器单元上支持 70 多个 TOP 的人工智能性能,”他解释道。
他补充说,英特尔 AI PC 只能处理大约 10 TOPS。“对于 10 TOPS 的 AI 用户体验,你无能为力。”
即使苹果公司在其最高端的 A17 Pro 移动芯片和 M2 Ultra 桌面芯片上也只能达到 34 TOPS,但由于操作系统和硬件之间的集成更加紧密,它能够更好地利用可用的处理能力并将负载分散到各个设备上。整个系统。
答案是您现在可以在笔记本电脑上运行人工智能。大多数时候它会使用 GPU,您会看到对电池寿命或整体系统性能的影响。然而,在未来一两年内,随着第二代人工智能电脑和新软件的出现,本地人工智能将成为常态。
可以肯定的是,随着公司寻求利用 NPU 的功能来运行复杂的计算和 AI 流程而不会对电池寿命产生重大影响,未来几年您将会听到更多有关 TOPS 的信息。