苹果新AI模型研究Ferret-UI:或将提升Siri,读懂屏幕内容

划重点:

🔍 苹果发布新的多模式大语言模型 Ferret-UI,能理解手机主屏幕元素

🚀 Ferret-UI 有潜力帮助 Siri 执行任务,提升用户体验

📱 与 OpenAI 的 GPT-4V 相比,Ferret-UI 在基础任务和高级任务中表现出色

 4月10日 消息:尽管苹果在生成式 AI 热潮开始后并未推出任何 AI 模型,但近期公司正在着手一些 AI 项目。上周,苹果研究人员分享了一篇揭示公司正在研发的新语言模型的论文,内部消息称苹果正在研发两款 AI 驱动的机器人。

如今,又一份研究论文的发布显示苹果才刚刚开始。周一,苹果研究人员发表了一篇研究论文,介绍了 Ferret-UI,这是一个新的多模式大语言模型(MLLM),能够理解移动用户界面(UI)屏幕。

MLLM 与标准 LLM 不同之处在于,它们不仅涉及文本,还展现了对图像和音频等多模式元素的深刻理解。在这种情况下,Ferret-UI 被训练出来识别用户主屏幕的不同元素,如应用程序图标和小文本。过去,由于这些元素的细微特性,对 MLLM 来说识别应用屏幕元素是具有挑战性的。为了克服这个问题,研究论文指出,研究人员在 Ferret 上增加了 “任意分辨率”,使其能够放大屏幕上的细节。

基于此,苹果的 MLLM 还具有 “指代、基础和推理能力”,这使得 Ferret-UI 能够充分理解 UI 屏幕并根据屏幕内容执行任务,如下图所示。

 

苹果研究人员将 Ferret-UI 与 OpenAI 的 MLLM GPT-4V 在公共基准测试、基础任务和高级任务中进行了比较。在基础任务中,包括图标识别、OCR、小部件分类、查找图标和查找小部件任务在 iPhone 和 Android 上,Ferret-UI 几乎在所有任务上均优于 GPT-4V。唯一的例外是在 iPhone 上的 “查找文本” 任务中,GPT-4V 稍微优于 Ferret 模型。

 

 

在对 UI 调查结果进行论证时,GPT-4V 稍微领先,其在推理对话上表现优异,超过了 Ferret93.4% 对91.7%。然而,研究人员指出,Ferret-UI 的表现仍然 “值得关注”,因为它生成原始坐标,而不是 GPT-4V 从中选择的一组预定义框。

论文并未提及苹果计划如何利用这项技术,或者是否会利用。相反,研究人员更广泛地表示,Ferret-UI 的先进功能有望积极影响与 UI 相关的应用。Ferret-UI 可以提升 Siri 的功能。由于模型对用户应用屏幕的全面理解以及执行某些任务的知识,Ferret-UI 可以用于强化 Siri,让其为用户执行任务。

声明:本站所有文章,如无特殊说明或标注,多数来自互联网检索。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
网络资讯

京东将投10亿扶持短视频领域原创作者和优质内容机构

2024-4-10 14:37:20

网络资讯

抖音封禁《千金小姐反击》等6部违规微短剧:宣扬不健康价值观

2024-4-10 18:53:59

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索