创建于1209年的剑桥大学，是英国乃至世界上历史最悠久的大学之一，同时也被公认为是世界上最顶尖的高等教育机构之一，在艺术与人文、数学、物理、工程与技术、医学、法学、商科等诸多领域拥有崇高的学术地位及广泛的影响力。剑桥大学格顿学院成立于1869年，距今已有150多年的历史，是剑桥重要的学院之一，在剑桥所有学院中学生总量排名前十，以活跃、轻松和友善的学习氛围著称。格顿学院提供丰富的本科与研究生课程，领域包括工程、计算机科学、建筑、经济学、历史、地理、人文社科、数学、法律、医学、音乐、国际关系、社会学、语言学等。
本项目所涉猎的深度学习领域，是机器学习领域中一个新的研究方向，其目标是建立模拟人脑进行分析学习的神经网络，并通过这套机制识别与解释文字、图像和声音等数据，从而使人工智能变为可能。本项目是由英国剑桥大学所设计，旨在提升学生在深度学习前沿领域的核心知识，掌握主流的工具与技术，并且了解该领域与其它领域之间的关联与发展潜力。我校现开展2023年暑期线下深度强化学习项目报名，欢迎感兴趣的同学报名。
一、报名资格
1.须为我校全日制在校生。
2.英语要求：托福79，雅思6.0，大学英语四级500分，大学英语六级470分，专四/专八，或Duolingo105以上。
3.学术要求：项目学生应具备Python语言与编程方面的基本知识与技巧，大一学生需参加Python技能在线测试，并在项目申请时提交测试结果证书。
二、项目介绍
1.时长：2023年7月31日–8月11日（2周）
2.费用：约人民币3.15万元（费用包括：学费、校内住宿、学校设施使用、餐费、文化体验活动、医疗与意外保险、接送机以及项目服务费；费用不包括：国际机票、英国签证费、与其它个人消费）
3.授课语言：英语
4.项目收获：项目学生由剑桥大学进行统一的学术管理与学术考核，顺利完成学习后，学生将获得剑桥大学格顿学院颁发的成绩单与项目证书。
5.师资介绍：皮埃特罗·里奥教授（Prof. Pietro Liò），剑桥大学计算机科学系教授，剑桥大学人工智能专家小组成员，剑桥大学人工智能医学中心成员。个人主要研究兴趣聚焦于开发人工智能和计算生物学模型，以了解疾病的复杂性，并解决个性化和精确医学问题，目前的重点是图形神经网络建模。里奥教授硕士毕业于剑桥大学，后于意大利佛罗伦萨大学工程系获得博士学位（复杂系统与非线性动力学方向）。
6.课程内容：课程将探讨深度强化学习的最新潜力，侧重于强化学习和深度学习的基础知识（包括卷积神经网络、图形神经网络、生成神经网络和Transformer模型），并将分享机器人和游戏中的实例，从而加强学生对深度学习核心理念的了解，提升相关的研究技能与实用技巧。
项目包含20小时的授课和4小时的问答互动与技术辅导环节，以下为计划的课程内容（以实际安排为准）：
讲座内容 |
实践内容 |
主题：强化学习导论 l 强化学习的算法和框架；遗传算法，帕累托前沿 l 强化学习与深度学习的联系（Transformers模型、图形神经网络）；强化学习案例分析； l 如何撰写相关文章 |
主题：科学计算工具简介 l Jupyter Notebook的基本使用以及LaTeX； l 强化学习框架中的基本组件； l 小组项目说明 |
主题：环境 l 环境复杂性建模 l 多智能体强化学习（MARL） l Q-Learning以及Actor-Critic模型 l 基于政策的学习； l 马尔可夫决策过程、动态编程和贝尔曼方程； l 强化学习与深度学习的联系 |
主题：环境 l 强化学习框架中的基本组件； l 马尔可夫决策过程； l OpenAI Gym简介 l 小组项目说明 |
主题：优化 l 强化学习与控制优化 l 深度Q网络 l 强化学习与深度学习的联系 l 强化学习案例 l Transformers模型和图像分析集成 |
l Pytork简介；备份图； l 使用马尔可夫决策过程进行优化（动态编程、贝尔曼方程、策略迭代、值迭代） l 项目进展汇报
|
主题：集成与控制 l 机器人与贡献度分配问题 l 冗余度机器人的自适应运动控制 l 多智能体强化学习与机器人 l 强化学习与其他深度学习技巧的整合； |
主题：无模型算法 l 基于价值的算法（蒙特卡罗、时间差分学习、SARSA、Q-learning、DQN及其变体） l 项目进展汇报
|
主题：集成 l 与图形神经网络的集成；关注和信息传递模型； l 与AUTO-ML和ML系统的集成； |
主题：无模型算法 l 基于策略的算法（策略梯度、增强）； l Actor-Critic算法 l 项目进展汇报 |
主题：图神经网络（GNN）与强化学习 l 图示学习与强化学习的关联 |
l 图神经网络练习 l 项目进展汇报 |
主题：监管图神经网络 l 图神经网络与游戏的理论与运用 |
主题：图神经网络练习 l DGL, Spektral, Pytorch l 项目进展汇报 |
主题：无监管图神经网络 l 图神经网络与机器人 |
主题：图神经网络练习 l DGL, Spektral, Geometric Pytorch l 项目进展汇报 |
图神经网络（GNN）与强化学习：
高级建模 |
项目进展汇报 |
l 项目回顾与总结 l 小组项目成果陈述 |
三、报名方式
（一）报名同学需在2023年5月8日前完成以下全部报名流程：
1.学生本人登陆校园门户网站，搜索“学生出国（境）交流项目申请”模块，选择“2023年剑桥大学深度强化学习项目”，完成提交并确保截止时间前学院内审批程序完成，到达学生项目办审核。请不要重复提交，以免信息统计错误，重复提交、未提交或学院内审批程序未完成者视为报名无效。
2.学生本人将以下报名材料通过邮件统一发送至项目负责人邮箱yuanj@dlut.edu.cn，
1）成绩单2）语言成绩证明3）Python测试证书（大一同学须提交，测试网站：https://www.testdome.com/tests/python-online-test/45）；邮件命名为“2023年剑桥大学深度强化学习项目-年级-学院-姓名”（例如：2023年剑桥大学深度强化学习项目-大三-机械-张三），逾期报送将不再受理、材料不全视为报名无效。
3.提交学校报名后，须在线填写报名表（扫码填写）
（二）学校审核通过后，将递交全美国际进行审核，录取结果以剑桥大学通知为准。
四、宣讲会信息
时间：4月26日（周三）19：00
腾讯会议号：287 307 375
五、联系方式
国际处拓展办 元老师
电话：0411-84706249
E-mail：yuanj@dlut.edu.cn
国际合作与交流处
2023年4月25日
