活动介绍
第三届GitLink“确实开源”编程夏令营(GLCC)是由中国计算机学会(CCF)主办,CCF 开源发展委员会与之江实验室承办的面向全国高校学生的暑期编程活动。GLCC致力于激励青年学子通过参与真实的开源软件开发实践,提升自身技术实力,为开源社区注入新鲜血液,共同推动国内开源社区的蓬勃发展。
基于该活动,结合飞桨框架当前的功能迭代,我们挑选了开发任务,吸引优秀的高校学生参与具体任务开发,为飞桨框架贡献代码。本次挑选的任务主要围绕 PIR机制完善、自动并行策略补齐以及推理Pass开发展开,旨在提升飞桨框架的大模型开发易用性以及大模型训练推理效率。
具体课题
课题一:为Paddle推理新增Pass管理功能
课题奖励:¥8000
导师信息:刘远乐
课题简介:Paddle中有众多优化Pass,除了部分实现基础功能的Pass之外,大部分Pass是为了做算子融合实现模型推理加速。但 PIR 模式下无法支持用户手动屏蔽某些特定的优化Pass,导致用户推理过程中偶尔会出现精度异常、性能退化的情况。本赛题希望开发者:实现Pass分析器功能,实现自动对所有Pass进行分析,选出有性能提升并且不影响模型推理性能的Pass,从而获得更通用的加速。
课题报名链接:
https://www.gitlink.org.cn/glcc/2024/subjects/detail/935
课题二:为开源大语言模型推理增加优化Pass
课题奖励:¥10000
导师信息:方华强
课题简介:Paddle 支持众多开源大语言模型的高性能推理,包括LLaMA、ChatGLM等Transformer结构。为达到极致的性能,研发需要结合量化推理、attention融合等优化手段,利用paddle封装好的API对这些网络结构进行重新组网导出。本赛题希望开发者利用PASS实现通用的模式匹配,自动将原始静态图中的attention计算模块替换成高性能的算子实现,从而达到高性能推理的目标。
课题报名链接:
https://www.gitlink.org.cn/glcc/2024/subjects/detail/936
课题三:飞桨Save/Load体系功能升级适配PIR
课题奖励:¥8000
导师信息:王儒婷
课题简介:中间表示是深度学习框架训练、推理的重要基石,飞桨新一代IR体系已经日渐完善,Save/Load模块作为迈向推理的最关键的第一步,核心功能初具形态。为了在飞桨3.0版本以更易用、完备地形态面向用户和开发者呈现,期望开发者:
1. 完善Save/Load接口功能
2. 以飞桨框架单测为牵引,在存量Save/Load相关单测上验证正确性
课题报名链接:
https://www.gitlink.org.cn/glcc/2024/subjects/detail/937
课题四:飞桨新一代IR机制完善与功能单测验证
课题奖励:¥8000
导师信息:王欢
课题简介:飞桨在v2.6版本推出了新一代中间表示PIR,为开发者提供了灵活的基础组件。为了进一步迭代完善新一代Paddle IR的核心机制,提升中间表示IR功能的鲁棒性和开发体验,期望开发者:
1. 迭代飞桨API、Program层、执行器层、Pass层等维度的机制
2. 以飞桨框架全量功能单测为牵引,实现存量单测的推全验证
课题报名链接:
https://www.gitlink.org.cn/glcc/2024/subjects/detail/938
课题五:飞桨稀疏算子API升级适配PIR
课题奖励:¥6000
导师信息:刘娇蒂
课题简介:飞桨框架支持稀疏数据存储和稀疏算子API特性,支持用户可以在Python层端到端实现稀疏计算的网络模型。飞桨新一代中间表示IR架构下,对稀疏算子的定义进行了统一升级适配,已支持了包含稀疏算子计算图的执行。为了向用户提供动静统一的API层体验,需要完成「Python端稀疏算子API升级」的最后一公里建设,本任务期望开发者升级多个稀疏类API,支持PIR静态图分支。
课题报名链接:
https://www.gitlink.org.cn/glcc/2024/subjects/detail/939
课题六:动静统一自动并行支持 MoE 专家并行策略
课题奖励:¥10000
导师信息:张祎晨
课题简介:MoE 模型可以在扩大模型规模的同时保持计算量增长较少。专家并行是 MoE 模型中常用的并行策略。飞桨动静统一自动并行使用户在进行分布式训练时只需标记部分 tensor 在不同进程上的分布情况,无需考虑分布式训练中的通信等流程,可以大幅简化用户训练 MoE 模型的流程。本赛题希望开发者基于 PIR 实现静态图模式下的专家并行策略,从而使专家并行策略动静统一。
课题报名链接:
https://www.gitlink.org.cn/glcc/2024/subjects/detail/940
GLCC 飞桨报名时刻表
5月31日-7月4日:学生报名,提交proposal。
7月8日:公示入选学生名单。(7月6日进行二次报名,第一次落选的同学不要灰心哦)
7月9日-8月18日:项目开发第一阶段。
8月19日-8月30日:项目中期考核,公示考核结果。
8月31日-10月20日:项目开发第二阶段。
10月31日:结项审核,公示考核结果。
11月初:公布优秀项目/学生颁奖典礼。
注意事项:
①GLCC面向18岁以上的在校学生,请诚实提交在校学生证明材料组委会会对提交材料进行审核;
②申请阶段,GLCC允许每个学生同时提交最多2个课题申请。申请结束后,经过与课题导师双向沟通,每个学生最终只能选择完成一个课题;
③GLCC的每个课题都公布了导师的姓名/ID和邮箱地址,建议提前通过邮件方式和导师建立联系,反复沟通后再提交申请材料,你有充足的时间去了解你将要承担的课题;
④ 建议在截止日期前三天完成提交,避免因最后大量学生提交申请导致网络拥堵;
⑤CCF中国计算机学会学生会员申请优先推荐。
更多报名详细内容请点击 阅读原文。
关注【飞桨PaddlePaddle】公众号
获取更多技术内容~
文章评论