下面就到了本次 WWDC 开幕演讲中的重头戏,Apple 智能与 Siri AI 部分了。
首先是 Apple 智能的新架构,新架构依然和老架构一样,采用本地小模型+私有云端大模型组合的设计。

只不过和传言有点不一样的是,这次和 Google 合作不只是在系统层面接入了 Gemini,还引入训练 Gemini 模型所用的技术、并重新训练了 Apple Foundation Models。
所以 Apple 智能的新架构,不仅支持文字和图像,还支持了语音输出,也让 Apple 智能的理解和推理能力都有了大幅的提升,能应对更复杂的任务了。

配合新的系统协调器,Apple 智能可以在不同的情况调用不同的尺寸的模型、工具、语义索引和知识,再加上屏幕感知和对情景的理解,Apple 表示新架构在不泄漏个人隐私的前提下能更好地帮助用户完成任务。
随着 Apple 智能的升级,语音助手 Siri 也完成了全面重构,升级为 Siri AI。

Siri AI 将支持 Apple 智能的所有新功能,获得更完善的操作能力与更强大的语音对话能力,基于个人情境与网络搜索得到的世界知识提供回答。结合 Apple 智能升级的屏幕感知能力与 App 操作能力,Siri AI 在视觉智能与写作工具等功能方面也有了较大提升。
Siri AI 大幅增加了根据上下文与设备内信息综合回答的能力,可以调用散落在信息、邮件等应用中的上下文信息,比如直接提取文件中的邮件地址并自动起草邮件。

Siri AI 与「聚焦」搜索深度集成,可智能识别聚焦搜索中的相关请求。比如在 iPhone 上,用户可以直接下拉呼出全新设计的聚焦界面,设备将自动识别输入的内容是否为向 Siri 提问,并做出相应回应。

macOS 27 上,则可以按住 Control 键选中多个文件作为上下文,借助系统级关联菜单中的「对 Siri 提问」选项,直接发起对话。

同时,新系统将引入独立的 Siri 应用。用户在系统各处调用 Siri 引发的对话都将在独立应用中记录,可以随时回看调阅。Siri 记录将由 iCloud 自动同步,所以你可以在 iPhone 上发起对话、在 iPad 上继续探索话题,并且在 Mac 上完成收尾工作。

Apple Watch 这边同样也能用上新的 Siri AI,watchOS 还为其设计了新的应用网格视图。

因为图形智能(Visual Intelligence)方面的能力提升,Siri AI 也进一步与各平台上的系统应用深度集成。在 iPhone 这边,系统相机应用新增 Siri 模式(Siri mode),切换至该模式后,直接点击快门按钮识别取景器内容,下拉即可进一步查看、追问细节;Siri AI 还可以根据识别到的内容推荐情境化操作,比如对准食物后展示营养成分表,对准账单后直接点选分账等。

其他平台方面,在 macOS 中 Siri AI 可随时通过快捷键调用并框选屏幕特定区域内容作为对话输入,包括识别邮件图像附件内容、批量添加日程等;iPadOS 也能借助和截图功能直接整合的视觉智能识别屏幕内容、进行视觉搜索并执行相关操作。


在 visionOS 中,Siri AI 将呈现为一颗可四处移动放置的圆球,调用时无需提示词,注视并说话即可唤醒。Siri AI 也可以自动识别你正在注视的内容,包括现实世界中的对象,然后结合世界知识与个人上下文给出有用的建议。


除了视觉智能,写作工具(Write with Siri)也变得更加强大。你可以在任何支持文本编辑的地方调用 Siri,然后用自然语言描述你的文本写作需求让 Siri 创作初稿;在邮件和信息应用中 Siri 还能沿用你平时和特定同事、朋友的聊天习惯,除了文本审阅,Siri 还能借助 Apple 智能提供系统级的自动文本校对,无论是自家应用还是第三方应用均可调用。
此外,Siri AI 的语音体验也得到升级,用户可以自定义 Siri 的语音速度与表现力。整个系统的听写功能准确度也一并得到升级。以上所有 Siri 更新在 CarPlay 与 AirPods 中同样适用。

Siri AI 将率先以英语上线,更多语言支持稍晚推出。
基于全新的架构和能力,Apple 智能也将进一步驱动 Apple 自家的 Safari、日历和信息应用。
Safari 带来了更加简单、智能的标签页整理功能,除了已有的「用户场景」和「标签页分组」,现在你还可以让 Apple 智能按浏览主题自动整理标签页,Safari 会分析每个页面、识别相似之处再把相关标签页汇总在一起,并且整理过程可与浏览行为同步执行,实现边浏览边整理的效果。按主题分组的标签页可以随时关闭或保存为标签页分组日后使用。

Safari 同时也支持了网页内容监测,在活动报名、商品补货这类浏览场景中,允许用户通过自然语言描述想要跟进、关注的内容,然后代替用户自动监测对应的网页内容变化——并且不用像浏览器扩展那样保持标签页打开,Siri 将在监测到动态时发送通知提醒。

同样支持自然语言生成的还有浏览器扩展,只需描述功能需求,Safari 即可生成自定义扩展来个性化网页浏览体验。

密码应用这边也利用 Apple 智能提升了使用便利性,和以往需要一个个打开对应网站修改安全性较低的密码不同,Apple 智能现在可以接住 Safari 浏览器和代理能力,直接前往符合条件的网站一键自动更新强密码。

最后,借助 Apple 智能的上下文理解能力,信息、邮件应用现在可以根据聊天语境提供提示事项、备忘等智能应用操作建议,或是直接用自然语言搜索、插入特定照片;日历应用在 Apple 智能的加持下还能通过自然语言添加日程,自动提取日程关键字段;电话应用这边,当你致电商家时,通话情境功能还能主动呈现从其它应用中调取的相关信息,比如在致电航空公司更改航班时直接在电话应用中显示从邮件中提取的确认码……

家庭和快捷指令应用这边,家庭应用新增配件通知摘要,可自动整理相同配件的多则通知并不断更新最新动态,并借助 Apple 智能分析监控视频、理解视频内容并生成视频内容描述。

快捷指令也支持了根据自然语言描述推理、生成自动化操作的能力,自动整合所需系统和应用操作,同时支持自然语言修改、调整细节。

图乐园(Image Playgroud)在新的图像模型支持下,可以创建照片和写实风格的图像了,并且还支持图像输入、编辑和比例调节,可应用于更多场景(比如宣传海报制作)以及更多系统功能,包括联系人名片海报和锁屏壁纸。图乐园相关功能还将通过 API 提供给开发者。
最后,相册应用也新增了三项编辑工具,包括全新升级的消除工具、扩图工具和空间构图,其中空间构图功能可以让你直接拖动调整照片的空间视角和构图角度。

值得一提的是图像生成等部分功能会有每日使用限额,你可以通过 iCloud+ 订阅方案来获取更高的使用权限。可用性方面,所有已支持 Apple 智能的产品机型均可收到上述更新,新版 Siri AI 即日起面向开发者开启试用,但欧盟地区和中国大陆地区的 Siri AI、Apple 智能新功能仍在推进当中。
