AIxiv专栏是
机器之心发布学术、技术内容的栏目。过去数年,
机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]
查询显著降低了每个示例的延迟和推理成本而不牺牲性能。这些发现表明:
利用大量演示示例可以快速适应新任务和新领域,而无需传统的微调。
-
论文地址:https://arxiv.org/abs/2405.09798
-
代码地址:https://github.com/stanfordmlgroup/ManyICL
吴恩达团队的最新研究——
ManyICL,主要评估了目前最先进的多模态基础模型在从少样本 (少于 100) 到多样本(最高至 2000)上下文学习中的表现。通过对多个领域和任务的数据集进行测试,团队验证了多样本上下文学习在提高模型性能方面的显著效果,并探讨了批量
查询对性能和成本及延迟的影响。
GPT-4o、GPT4 (V)-Turbo 和 Gemini 1.5 Pro。出于 GPT-4o 优越的表现,研究团队在正文中着重讨论 GPT-4o 和 Gemini 1.5 Pro, GPT4 (V)-Turbo 的相关内容请于附录中查看。
数据集方面,研究团队在 10 个跨越不同领域(包括自然影像、医学影像、遥感影像和分子影像等)和任务(包括多分类、多标签分类和细粒度分类)的数据集上进行了广泛的实验。
基准数据集汇总。
查询的影响。在这里,批量
查询指的是在单次 API 调用中处理多个
查询。
查询合并为一次请求,不会降低性能。值得注意的是,在零样本场景中,单个
查询在许多数据集上表现较差。相比之下,批量
查询甚至可以提高性能。
查询在零样本场景下显著提高了性能。研究团队分析认为,这主要归因于领域校准 (domain calibration)、类别校准 (class calibration) 以及自我学习 (self-ICL)。
查询可以显著降低每个示例的延迟和推理成本。例如,在 HAM10000 数据集中,使用 Gemini 1.5 Pro 模型进行 350 个示例的批量
查询,延迟从 17.3 秒降至 0.54 秒,成本从每个示例 0.842 美元降至 0.0877 美元。
查询可以在相似甚至更好的模型表现的同时,降低推理成本和延迟,显示出在实际应用中的巨大潜力。
吴恩达团队的这项研究为多模态基础模型的应用开辟了新的路径,特别是在快速适应新任务和领域方面。
文章评论