2025年2月27日下午2点，在15栋310办公室，召开了开元体育教师科研工作小组2025年第一科研工作例会。会议主题为Transformer架构的演变与创新，开元体育教师科研工作小组全体成员参加了本次会议，会议由科研副院长彭敏主持。
一、会议内容
1、Transformer架构介绍：本次组会由雷戈老师开。晗附步饬薚ransformer架构的基本概念及其在深度学习中的核心地位。雷老师指出，Transformer最早由Vaswani等人于 2017 年提出，其 “Attention is All You Need”论文开创了一种全新的基于自注意力（Self-Attention）的架构，彻底改变了自然语言处理（NLP）和计算机视觉（CV）领域的模型设计方式。在介绍Transformer的演变时，雷老师概述了从最初的 Transformer 到近年涌现的各种变种，如BERT、GPT、Vision Transformer（ViT）、Swin Transformer等。雷老师还强调，Transformer架构的优势在于其强大的并行计算能力和长距离依赖建模能力，使其在多个任务中取得了显著的性能提升。
2、Transformer研究进展：团队成员围绕Transformer的研究进展展开讨论，并分享了近年顶会（NeurIPS、ICLR、CVPR 等）上的一些重要工作。大家一致认为，Transformer架构已经在多个领域超越了传统方法，并且仍在不断发展优化。主要讨论点包括自注意力机制的优化、Transformer在多模态任务中的应用、轻量化Transformer的研究等。此外，成员们也指出当前Transformer面临的一些挑战，例如计算资源消耗较大、对数据规模依赖强、训练过程不稳定等问题，并讨论了可能的解决方案。
3、潜在应用与未来研究计划：在讨论环节，各成员结合自身研究方向，探讨了Transformer架构的潜在应用场景，如医学影像分析、自动驾驶感知系统、金融时间序列预测、艺术品鉴定与文化遗产保护等。团队成员还讨论了Transformer与其他深度学习方法的结合，例如利用混合架构（CNN + Transformer）提升视觉任务的效果，以及Transformer在小样本学习中的潜力。大家一致认为，可以在未来的研究中尝试Transformer架构的改进，并探索其在跨领域应用中的表现。
4、会议形式与内容优化：会议最后，团队对科研组会的形式和内容提出了优化建议，包括增加专家分享环节、举办论文研讨会、促进跨学科合作、提升实践环节等。团队一致认为，随着Transformer架构的不断发展和应用领域的拓展，未来的研究将充满机遇和挑战。通过优化组会形式和加强合作，团队可以更高效地跟进技术前沿，并推动各自研究方向的发展。
二、会议总结
本次科研组会深入探讨了Transformer架构的演变与创新，涵盖了其基本概念、最新研究进展、潜在应用以及未来研究方向。通过讨论，团队成员对Transformer的核心思想及其在不同领域的适用性有了更深入的理解，并对未来的科研合作和组会优化提出了可行性建议。
