作者:Synced

翻译:仿佛若有光

第三十五届 AAAI 人工智能会议 (AAAI-21) 以虚拟会议的形式拉开帷幕。组委会在开幕式上公布了最佳论文奖和亚军。三篇论文获得了最佳论文奖,三篇被评为亚军。

AAAI 2021 共收到 9,034 篇论文,再创历史新高,超过了去年的 8800 篇。来自中国的论文(3,319 篇)几乎是美国论文数量(1,822 篇)的两倍。在 7,911 篇去评审的论文中,共有 1,692 篇论文通过。今年的录取率为21%,略高于去年的20.6%。

点个关注,专注于计算机视觉

最佳论文奖

Informer超越用于长序列时间序列预测的高效transformer

论文名称:Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

论文地址:https://arxiv.org/pdf/2012.07436.pdf (文末附下载方式)

机构:北京航空航天大学、加州大学伯克利分校、罗格斯大学、北京国旺福达科技发展公司

作者:Haoyi Zhou、Shanghang Zhang、Jieqi Peng、Shuai Zhang、Jianxin Li、Hui Xiong、Wancai Zhang

摘要:许多实际应用需要预测长序列时间序列,例如用电规划。长序列时间序列预测(LSTF)需要模型的高预测能力,即高效捕捉输出和输入之间精确的长期依赖耦合的能力。最近的研究表明 Transformer 具有提高预测能力的潜力。

然而,Transformer 存在一些严重的问题,使其无法直接应用于 LSTF,例如二次时间复杂度、高内存使用率以及编码器-解码器架构的固有限制。

为了解决这些问题,我们为 LSTF 设计了一个高效的基于 Transformer 的模型,名为 Informer,具有三个鲜明的特征:

(i)ProbSparse Self-attention 机制,在时间复杂度和内存使用方面实现了 O(Llog L),并且具有序列依赖性比对的可比性能。

(ii) 自注意力蒸馏通过将级联层输入减半来突出主导注意力,并有效地处理极长的输入序列。

(iii) 生成式解码器虽然概念上很简单,但在一次前向操作中而不是一步一步地预测长时间序列序列,这大大提高了长序列预测的推理速度。

在四个大规模数据集上的大量实验表明,Informer 显着优于现有方法,并为 LSTF 问题提供了新的解决方案。

多智能体学习中的探索-利用:灾难理论遇到博弈论

论文:Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory

论文地址:https://arxiv.org/pdf/2012.03083.pdf (文末附下载方式)

院校:新加坡科技与设计大学

作者:Stefanos Leonardos、Georgios Piliouras

摘要:探索-利用是多智能体学习 (MAL) 中一种强大而实用的工具,但其效果尚不清楚。为了在这个方向上取得进展,我们研究了 Q-learning 的平滑模拟。我们首先表明,我们的学习模型作为研究探索开发的最佳模型具有很强的理论依据。

具体来说,我们证明,对于明确捕获游戏和探索成本之间的平衡的成本模型,平滑 Q 学习在任意游戏中具有有限的遗憾,并且它始终收敛到一组量子响应均衡(QRE),标准解决方案概念对于有限理性下的博弈,在具有异构学习代理的加权潜在博弈中。

在我们的主要任务中,我们然后转向衡量探索对集体系统性能的影响。我们描述了低维 MAL 系统中 QRE 表面的几何形状,并将我们的发现与灾难(分叉)理论联系起来。特别是,随着探索超参数随着时间的推移而演变,系统会经历相变,其中平衡的数量和稳定性可以从根本上改变,因为探索参数的变化非常小。

基于此,我们提供了一个正式的理论处理,说明如何调整探索参数可以证明导致平衡选择对系统性能产生积极和消极(并且可能是无限的)影响。

通过强化校准减轻语言模型中的政治偏见

论文名称:Mitigating Political Bias in Language Models Through Reinforced Calibration

论文地址:https://www.cs.dartmouth.edu/~rbliu/aaai_copy.pdf  (文末附下载方式)

机构:达特茅斯学院、德克萨斯大学奥斯汀分校、Google AI

作者:Ruibo Liu、Chenyan Jia、Jason Wei、Guangxuan Xu、Lili Wang 和 Soroush Vosoughi

摘要:当前的大规模语言模型可能会因其所训练的数据而存在政治偏见,当它们部署在现实世界中时可能会导致严重的问题。

在本文中,我们描述了测量 GPT-2 生成中政治偏见的指标,并提出了一个强化学习 (RL) 框架来减轻生成文本中的政治偏见。通过使用来自词嵌入或分类器的奖励,我们的 RL 框架指导去偏差生成,而无需访问训练数据或需要重新训练模型。在对政治偏见敏感的三个属性(性别、位置和主题)的实证实验中,我们的方法根据我们的指标和人工评估减少了偏见,同时保持了可读性和语义一致性。

最佳论文亚军

从极端强盗反馈中学习

论文名称:Learning From Extreme Bandit Feedback

论文地址:https://arxiv.org/pdf/2009.12947.pdf (文末附下载方式)

机构:加州大学伯克利分校、德克萨斯大学奥斯汀分校

作者:Romain Lopez、Inderjit Dhillon、Michael I. Jordan

摘要:我们研究了在极大动作空间的设置中从强盗反馈中批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在,其中在一天内对由数百万个选择组成的集合做出数十亿个决策,产生大量观察数据。

在这些大规模的现实世界应用中,尽管由于bandit反馈和监督标签之间的不匹配而导致显着的偏差,但诸如极限多标签分类 (XMC) 之类的监督学习框架被广泛使用。这种偏差可以通过重要性采样技术来减轻,但这些技术在处理大量动作时会出现不切实际的差异。

在本文中,我们引入了一种选择性重要性采样估计器 (sIS),它在一个明显更有利的偏差方差机制中运行。sIS 估计器是通过对每个实例的一小部分动作(Rao-Blackwellization 的一种形式)对奖励的条件期望进行重要性采样来获得的。

我们在一个新的算法程序中使用这个估计器——称为极端模型的策略优化 (POXM)——从强盗对 XMC 任务的反馈中学习。在 POXM 中,sIS 估计器选择的动作是日志策略的 top-p 动作,其中 p 是根据数据调整的,并且明显小于动作空间的大小。

我们在三个 XMC 数据集上使用监督到强盗的转换来对我们的 POXM 方法与三种竞争方法进行基准测试:BanditNet、以前应用的部分匹配修剪策略和监督学习基线。虽然 BanditNet 有时比日志记录策略略有改进,但我们的实验表明,POXM 在所有基线上都有系统且显着的改进。

Self-Attention Attribution解读transformer内部的信息交互

论文名称:Self-Attention Attribution: Interpreting Information Interactions Inside Transformer

论文地址:https://arxiv.org/pdf/2004.11207.pdf  (文末附下载方式)

机构:北京航空航天大学、微软研究院

作者:郝亚茹、李东、傅如薇、许柯

摘要:基于 Transformer 的模型的巨大成功得益于强大的多头自注意力机制,该机制从输入中学习令牌依赖性并编码上下文信息。先前的工作努力将模型决策归因于具有不同显着性度量的单个输入特征,但他们未能解释这些输入特征如何相互作用以达到预测。

在本文中,我们提出了一种自注意力归因算法来解释 Transformer 内部的信息交互。我们以BERT为例进行广泛的研究。首先,我们提取每一层中最显着的依赖关系来构建一个归因图,它揭示了 Transformer 内部的分层交互。此外,我们应用 selfattention 归因来识别重要的注意力头,而其他注意力头只能在边缘性能下降的情况下进行修剪。

最后,我们表明归因结果可以用作对抗性模式来实施对 BERT 的非针对性攻击。

双重任务巡逻:绿色安全的多臂强盗

论文名称:Dual-Mandate Patrols: Multi-Armed Bandits for Green Security

论文地址:https://arxiv.org/pdf/2009.06560.pdf  (文末附下载方式)

机构:哈佛大学、卡内基梅隆大学

作者:Lily Xu、Elizabeth Bondi、Fei Fang、Andrew Perrault、Kai Wang、Milind Tambe

摘要:在绿色安全领域保护野生动物和森林的保护工作受到防御者(即巡逻者)的有限可用性的限制,他们必须巡逻大片区域以防止攻击者(例如偷猎者或非法伐木者)。防御者必须选择在保护区的每个区域花费多少时间,平衡不常访问区域的探索和已知热点的开发。

我们将问题表述为随机多臂bandit,其中每个动作代表一个巡逻策略,使我们能够保证巡逻策略的收敛速度。然而,幼稚的bandit方法会为了长期最优而损害短期性能,导致动物被偷猎和森林被毁。

为了加快性能,我们利用奖励函数的平滑性和动作的可分解性。我们展示了 Lipschitz 连续性和分解之间的协同作用,因为每个都有助于另一个的收敛。通过这样做,我们弥合了组合bandit和 Lipschitz bandit之间的差距,提出了一种无悔方法,可以在优化短期性能的同时收紧现有保证。

我们证明了我们的算法 LIZARD 提高了柬埔寨真实世界偷猎数据的性能。

原文链接:

https://synced.medium.com/aaai-2021-best-papers-announced-c32307f3d39b

在公众号 “CV技术指南” 后台回复关键字 “ 0004 ” 可获取以上论文。

 本文来源于公众号 CV技术指南 的论文分享系列。

欢迎关注公众号 CV技术指南 ,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。

在公众号中回复关键字 “技术总结” 可获取以下文章的汇总pdf。

其它文章

计算机视觉中的自注意力

经典论文系列--胶囊网络:新的深度学习网络

综述专栏 | 姿态估计综述

漫谈CUDA优化

为什么GEMM是深度学习的核心

使用深度神经网络为什么8位足够?

经典论文系列 | 目标检测--CornerNet & 又名 anchor boxes的缺陷

如何看待人工智能的泡沫

使用Dice loss实现清晰的边界检测

PVT--无卷积密集预测的多功能backbone

CVPR2021 | 开放世界的目标检测

Siamese network总结

视觉目标检测和识别之过去,现在及可能

在做算法工程师的道路上,你掌握了什么概念或技术使你感觉自我提升突飞猛进?

计算机视觉专业术语总结(一)构建计算机视觉的知识体系

欠拟合与过拟合技术总结

归一化方法总结

论文创新的常见思路总结

CV方向的高效阅读英文文献方法总结

计算机视觉中的小样本学习综述

知识蒸馏的简要概述

优化OpenCV视频的读取速度

NMS总结

损失函数技术总结

注意力机制技术总结

特征金字塔技术总结

池化技术总结

数据增强方法总结

CNN结构演变总结(一)经典模型

CNN结构演变总结(二)轻量化模型

CNN结构演变总结(三)设计原则

如何看待计算机视觉未来的走向

CNN可视化技术总结(一)特征图可视化

CNN可视化技术总结(二)卷积核可视化

CNN可视化技术总结(三)类可视化

CNN可视化技术总结(四)可视化工具与项目

AAAI 2021 最佳论文公布的更多相关文章

  1. ICRA 2019最佳论文公布 李飞飞组的研究《Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks》获得了最佳论文

    机器人领域顶级会议 ICRA 2019 正在加拿大蒙特利尔举行(当地时间 5 月 20 日-24 日),刚刚大会公布了最佳论文奖项,来自斯坦福大学李飞飞组的研究<Making Sense of ...

  2. InfoQ一波文章:AdaSearch/JAX/TF_Serving/leon.bottou.org/Neural_ODE/NeurIPS_2018最佳论文

    和 Nested Partition 有相通之处? 伯克利提出 AdaSearch:一种用于自适应搜索的逐步消除方法 在机器学习领域的诸多任务当中,我们通常希望能够立足预先给定的固定数据集找出问题的答 ...

  3. KDD 2018 | 最佳论文:首个面向Facebook、arXiv网络图类的对抗攻击研究

    8 月 19 日至 23 日,数据挖掘顶会 KDD 2018 在英国伦敦举行,昨日大会公布了最佳论文等奖项.最佳论文来自慕尼黑工业大学的研究者,他们提出了针对图深度学习模型的对抗攻击方法,是首个在属性 ...

  4. USENIX 最佳论文奖:擦除 Windows Azure 存储编码

     我们发表了一篇介绍Windows Azure 存储如何用编码方式擦除数据的论文,此论文在 2012 年 6 月的 USENIX 技术年会上荣获最佳论文奖.这是 MicrosoftResearch ...

  5. FPGA 17最佳论文导读 ESE: Efficient Speech Recognition Engine with Compressed LSTM on FPGA

    欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.机器学习技术感兴趣的同学加入. 后面陆续写一些关于神经网络加 ...

  6. ACM TOMM 2017最佳论文:让AI接手繁杂专业的图文排版设计工作

    编者按:你是否曾经为如何创作和编辑一篇图文并茂.排版精美的文章而烦恼?或是为缺乏艺术灵感和设计思路而痛苦?AI技术能否在艺术设计中帮助到我们?今天我们为大家介绍的这篇论文,“Automatic Gen ...

  7. NIPS2018最佳论文解读:Neural Ordinary Differential Equations

    NIPS2018最佳论文解读:Neural Ordinary Differential Equations 雷锋网2019-01-10 23:32     雷锋网 AI 科技评论按,不久前,NeurI ...

  8. 人工智能顶级会议最佳论文里的“DaDianNao”是什么鬼?

    最近对人工智能领域的 AI 加速芯片感兴趣,在翻阅 Google 的第一代 TPU 论文时,在相关工作中看到了 DaDianNao,PuDianNao,ShiDianNao.看的我一脸懵逼,这是什么? ...

  9. CCKS 2018 | 最佳论文:南京大学提出DSKG,将多层RNN用于知识图谱补全

    作者:Lingbing Guo.Qingheng Zhang.Weiyi Ge.Wei Hu.Yuzhong Qu 2018 年 8 月 14-17 日,主题为「知识计算与语言理解」的 2018 全国 ...

  10. NLP 自然语言处理

    参考: 自然语言处理怎么最快入门:http://www.zhihu.com/question/ 自然语言处理简介:http://wenku.baidu.com/link?url=W6Mw1f-XN8s ...

随机推荐

  1. EF Codefirst 多对多关系 操作中间表的 增删改查(CRUD)

    前言 此文章只是为了给新手程序员,和经验不多的程序员,在学习ef和lambada表达式的过程中可能遇到的问题. 本次使用订单表和员工表建立多对多关系. 首先是订单表: public class Ord ...

  2. SVN相关

    Eclipse SVN忽略一些文件夹:Windows -> Preferences -> Team -> Ignored Resources里点 “Add Pattern”,然后把 ...

  3. BOM头的来源

    类似WINDOWS自带的记事本等软件,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM).它是一串隐藏的字符,用于让记事本等编辑器识别 ...

  4. cloudera hbase集群简单思路

    文章copy link:http://cloudera.iteye.com/blog/889468 链接所有者保留所有权! http://www.csdn.net/article/2013-05-10 ...

  5. Java基础知识强化之IO流笔记60:打印流 之 改进复制文本文件的案例

    1. 使用打印流改进复制文本文件的案例 2. 代码示例: package cn.itcast_03; import java.io.BufferedReader; import java.io.Buf ...

  6. firebug如何使用

    1.怎么安装firebug: a.打开火狐浏览器--------b.点击火狐浏览器的右上角这个小图标-------c.点击<获取附件组件>,在右上角的搜索框()内,输入firebug,点击 ...

  7. Database 2 Day DBA guide_Chapter2

    website:http://www.oracle.com/webfolder/technetwork/tutorials/obe/db/11g/r2/2day_dba/install/install ...

  8. Not Found The requested URL / was not found on this server.

    http://www.wanysys.cc/coding/php/800.html 今天在做本地PHP项目的时候,想把之前wampserver的本地虚拟服务器环境访问方式改为本地localhost访问 ...

  9. centos下mongodb备份(dump)与还原(restore)

    数据服务器,数据库采用mongodb数据库 安装:通过增加配置安装mongodb-org,版本为3.0.7,yum安装            yum install mongodb-org 数据备份与 ...

  10. 悬线法 || BZOJ3039: 玉蟾宫 || Luogu P4147 玉蟾宫

    题面: P4147 玉蟾宫 题解:过于板子举报了 #include<cstdio> #include<cstring> #include<iostream> #de ...