苹果AFM AI模型详情公布,训练于谷歌TPU芯片,文本处理能力超越GPT-4界限

时间:2024-08-13 11:04:10
编辑:

7月31日消息,苹果公司在最近发布的论文中,公开了其Apple Intelligence模型的核心细节,揭示了该模型在某些性能指标上取得了突破,实现了对OpenAI GPT-4的超越。这一成果不仅展现了苹果在AI研究领域的深厚积累,也为未来的人工智能技术发展设立了新的基准。

苹果AFM AI模型详情公布,训练于谷歌TPU芯片,文本处理能力超越GPT-4界限

模型简介

苹果在论文中介绍了 Apple Foundation Model(下文简称 AFM)模型,共有以下两款:

AFM-on-device:本地运行,30 亿参数,可以在 iPhone、iPad 等设备上高效运行;

AFM-server:苹果尚未公布参数等细节。

训练数据来源

苹果表示训练数据集包括从出版商处获得授权的数据、经过策划的公开或开源数据集以及我们的网络爬虫 Applebot 抓取的公开信息组成。

苹果强调注重保护用户隐私,数据混合物中不包括苹果用户的私人数据。

据报道,苹果公司在 2023 年底与 NBC、Condé Nast 和 IAC 等多家出版商达成了价值至少 5000 万美元的多年期协议,在出版商的新闻档案中训练模型。

苹果的 AFM 模型还在 GitHub 上托管的开源代码上进行了训练,特别是 Swift、Python、C、Objective-C、C++、JavaScript、Java 和 Go 代码。

论文称,为了提高 AFM 模型的数学技能,苹果公司特别在训练集中加入了来自网页、数学论坛、博客、教程和研讨会的数学问题和答案。

苹果利用了高质量、可公开获得的数据集(论文中未提及名称),这些数据集“拥有允许用于训练...... 模型的许可证”,并经过过滤以去除敏感信息。

AFM 模型的训练数据集约有 6.3 万亿个 token(token 是小块数据,通常更容易被生成式人工智能模型吸收)。相比之下,这还不到 Meta 用来训练其旗舰文本生成模型 Llama 3.1 405B 的 token 数量(15 万亿)的一半。

训练硬件

根据论文描述,苹果公司使用 8192 片 TPUv4 芯片训练 AFM-server 模型;2048 片 TPUv5p 芯片训练 AFM-on-device 模型。

每个 v5p pod 由 8960 个芯片组成,每秒的浮点运算(FLOPS)和内存分别是 TPU v4 的两倍和三倍,训练模型的速度快了近三倍。

模型性能

根据论文描述,苹果自研大模型在指令遵循、文本总结方面测试超 GPT-4。

苹果公司的数据显示,AFM-server 有害输出违规率为 6.3%,明显低于 GPT-4 的 28.8%。同样,在设备上,AFM 7.5% 的违规率低于 Llama-3-8B(由 Facebook 母公司 Meta 训练)21.8% 的得分。

在电子邮件、信息和通知汇总方面,设备上的 AFM 的满意度分别为 71.3%、63% 和 74.9%。研究论文还指出,这三个模型分别领先于 Llama、Gemma 和 Phi-3 模型。

AI手机市场迎爆发:苹果、华为、小米领航,全年出货量望飙涨364%

7月17日消息,国际权威市场研究机构IDC最新研究报告揭示,2024年度AI手机市场将迎来爆发式增长,预计全年出货量将同比激增364%,总量达到惊人的2.34亿部,占全球智能手机市场的渗透率约为19%。

AI手机市场迎爆发:苹果、华为、小米领航,全年出货量望飙涨364%

这一数据反映出AI技术与手机行业的深度融合正步入快车道,各主要手机制造商,包括苹果、华为、小米等,正全力加码布局,力图在AI手机这一新兴细分市场中抢占先机。

明年更是有望继续增长73.1%,预计2023年至2028年的年复合成长率为78.4%。

目前,苹果、华为、小米等各大手机厂商都在积极推出AI手机新品,力图在这一新兴领域占据先机。

AI手机通过集成先进的人工智能算法,能够实现更加智能的图像识别、语音交互和应用推荐等功能,极大提升了用户体验。

市场分析人士指出,AI手机的快速增长得益于消费者对于智能设备更高层次需求的驱动,以及各大厂商在技术研发和市场推广上的持续投入。

随着5G网络的普及,AI手机在数据处理和智能应用方面的优势将进一步凸显。

此外,AI手机的普及也带动了相关产业链的发展,包括芯片制造、软件开发、云计算等。预计在未来几年内,AI技术将成为智能手机创新的核心驱动力,推动整个行业发展。

郭明錤:苹果iPhone 17放弃采用节省空间新型主板材料,延续传统设计

近日消息,知名苹果分析师郭明錤(Ming-Chi Kuo)透露,苹果公司决定再次推迟在iPhone中采用新型树脂涂覆铜箔(RCC)组件的计划。

郭明錤:苹果iPhone 17放弃采用节省空间新型主板材料,延续传统设计

原本这项技术计划在iPhone 16上引入,之后推迟至iPhone 17,而现在看来,苹果将再次延后使用这一能够节省内部空间的组件的时间表。

郭明錤去年十月曾指出,RCC 可以减薄主板厚度,节省内部空间,且由于不含玻璃纤维,钻孔过程更加容易。然而,苹果及其供应商在使用 RCC 方面一直面临挑战,主要是因为耐久性和脆弱性问题,这也是导致此次延期的原因。

郭明錤在 X 上发布的简短更新中表示:“因无法满足苹果对品质的高标准要求,2025 年新款 iPhone 17 将不采用 RCC 作为 PCB 主板材料。”

如果苹果最终将 RCC 材料用于 iPhone 的主板,用户可能不会直接察觉到变化。但这一改变将为 iPhone 内部设计腾出更多空间,苹果可以以此打造更薄的机身,或探索其他利用新增空间的方法。

目前尚不清楚苹果是否会在 2026 年的 iPhone 18 上采用 RCC,还是会进一步推迟这项计划。

苹果曝昔日秘辛:Apple Intelligence模型训练曾借助谷歌硬件力量

7月30日消息,苹果公司在最近公布的一篇技术论文中透露,驱动其先进的Apple Intelligence人工智能系统的两大核心模型,出人意料地选择了谷歌的云端芯片环境进行初步的训练。这一披露彰显了跨行业技术合作的有趣侧面,即便是在竞争激烈的科技巨头之间。

苹果曝昔日秘辛:Apple Intelligence模型训练曾借助谷歌硬件力量

这篇名为《Apple Intelligence 基础语言模型(Apple Intelligence Foundation Language Models)》的论文详细介绍了该模型的构建过程和数据来源。论文中的一段描述暗示,苹果可能在初期阶段使用了谷歌的硬件。论文提到,苹果的基础模型(AFM)及其背后的服务器技术最初是在“v4 和 v5p 云端 TPU 集群”上构建的,使用的软件是苹果自研。

虽然有报道猜测苹果是租用了谷歌的云端集群,但论文中并未明确提及谷歌或英伟达。更有可能的情况是,苹果直接购买了谷歌的硬件,并将其部署在自有数据中心。

值得注意的是,尽管初期训练使用了谷歌硬件,但这并不影响苹果的长远规划。据悉,苹果已在数据中心部署基于自研 Apple Silicon 芯片的硬件来处理 Apple Intelligence 的查询。此外,苹果还启动了代号为“Project ACDC”的项目,旨在优化数据中心内的 AI 应用。

为了在 AI 领域赶超微软和 Meta 等巨头,苹果计划在未来两年内投入超过 50 亿美元用于 AI 服务器的升级,并购买数万台 AI 服务器。同时,苹果还收购了两家加拿大和法国的公司,这两家公司专注于压缩 AI 查询所需的数据。

相关攻略
相关推荐