【TechWeb】10月2日消息，美东时间10月1日OpenAI举行了年度开发者大会DevDay，推出系列新工具，包括四大创新：实时API（Realtime API）、视觉微调（Vision Fine-Tuning）、提示词缓存（Prompt Caching）、模型蒸馏（Model Distillation），为开发者带来在降低模型成本、提高模型视觉理解水平、提升语音AI功能和小模型性能的新选择。在OpenAI官网，上述功能介绍已经做了全面更新，一起看看。

　　Realtime API 可构建低延迟、多模式对话体验。它目前支持文本和音频作为输入和输出，以及函数调用。Realtime API 中的音频功能由新的 GPT-4o 模型“gpt-4o-realtime-preview”提供支持。

　　通过此更新，研发人员可以将任何文本或音频输入传递到 GPT-4o，并让模型以他们选择的文本、音频或两者做出响应。

　　本质上，Realtime API 简化了构建语音助手和其他对话式 AI 工具的过程，无需将多个模型拼接在一起进行转录、推理和文本到语音的转换。

　　OpenAI DevDay公布，OpenAI最新的大语言模型（LLM） GPT-4o 引入了视觉微调。此功能让开发人能自定义模型以获得更强大的图像理解能力，从而实现增强的视觉搜索功能、改进的自动驾驶汽车或智能城市的物体检测以及更准确的医学图像分析等应用。

　　视觉微调遵循与文本微调类似的过程——研发人员可以准备他们的图像数据集，然后将该数据集上传到Open AI的平台。他们可以用少至 100 张图像来提高 GPT-4o 在视觉任务中的性能，并使用更大量的文本和图像数据来提高性能。

　　OpenAI举例称，东南亚食品配送和拼车公司Grab已经利用这项技术改进其地图服务。仅使用 100 个示例进行视觉微调，教会 GPT-4o 正确定位交通标志并计算车道分隔线以优化其地图数据，结果，与基础 GPT-4o 模型相比，Grab 能够将车道计数准确度提高 20%，限速标志定位率提高13%。

　　价格方面，截至 2024年10月31日，OpenAI每天免费提供100万tokens，以使用图像微调 GPT-4o。2024 年 10 月 31 日之后，GPT-4o 微调训练将花费每 100 万tokens 25 美元，推理将花费每 100 万个输入tokens 3.75 美元和每 100 万个输出tokens 15 美元。图像输入首先根据图像大小进行标记，然后按与文本输入相同的每令牌费率定价。

　　提示词缓存被视为本次DevDay发布的最重要更新。该功能旨在降低开发者的成本、减少延迟。

　　许多开发人员在构建 AI 应用程序时，会在多个 API 调用中重复使用相同的上下文，例如在编辑代码库或与聊天机器人进行长时间的多轮对话时。今天，我们推出了提示词缓存（Prompt Caching），让开发人能降低成本和延迟。通过重复使用最近处理的输入token，研发人员可以获得 50% 的折扣和更快的提示词处理时间。

　　目前，提示词缓存（Prompt Caching）已自动应用于最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及这些模型的微调版本。与未缓存的提示相比，缓存的提示可享受折扣。

　　OpenAI 推出了一款新的模型蒸馏产品，为开发人员提供集成的工作流程，以直接在 OpenAI 平台内管理整个蒸馏流程。

　　这让开发人能轻松使用前沿模型（如 o1-preview 和 GPT-4o）的输出来微调和提高更具成本效益的模型（如 GPT-4o mini）的性能，让小模型也可拥有尖端模型功能。

　　这种方法让小公司也可能利用与尖端模型类似的功能，并且无需承担使用这类模型的计算成本。例如一家从事医疗技术的小型初创公司要为农村的诊所开发一种AI 驱动的诊断工具。使用模型蒸馏，该企业能训练一个紧凑的模型，该模型可以捕捉大模型的大部分诊断能力，同时只需要在标准的笔记本电脑或平板电脑上运行。

　　每日头条、业界资讯、热点资讯、八卦爆料，全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与，TechWeb官方微博期待您的关注。

　　移动操作系统二分天下局面被打破，HarmonyOS NEXT带来了什么？

　　零一万物新旗舰模型 Yi-Lightning超越 GPT-4o，李开复详解背后原因

　　Anthropic CEO：“强大AI”最早2026年到来，比诺贝尔奖获得者更聪明

　　TechWeb一周热点汇总：苹果AI落后行业巨头超2年，特斯拉股价创11年来最大涨幅

　　苹果Apple Intelligence下周正式公开上线：聚焦Gen AI 时代的 RTE，声网发布 RTE+AI 能力全景图

　　TechWeb微晚报：特斯拉股价创11年来最大涨幅，移动操作系统二分天下局面被打破

　　移动操作系统二分天下局面被打破，HarmonyOS NEXT带来了什么？

　　OpenAI高级顾问布伦戴奇离职 并发出警告：没有公司为AGI到来做好准备

　　消息称苹果已将iPhone 16订单削减约1000万部 大部分是非Pro版

　　消息称投资者仍关注特斯拉2.5万美元车型 期待在财报分析师电话会议上探讨

　　青云QingCloud EHPC 打造即买即用的全流程SaaS化超算服务

　　蚂蚁链发布BTN：可将区块链网络吞吐量提升186% 带宽成本降低80%

　　蚂蚁自研数据库OceanBase宣布开源 300万行核心代码向社区开放