“购买gpu来提升算力是一种方式，但是我们希望大家可以看到运筹优化中的一些算法能够在提升大模型训练效率和资源利用率方面展现出巨大潜力。”日前，由上海交通大学安泰经济与管理学院主办、上海财经大学信息管理与工程学院协办的首届智能计算与决策研讨会在沪举办，斯坦福大学讲席教授、上海交通大学访问讲席教授叶荫宇谈道，随着大语言模型（llms）的不断发展，快速微调模型以适应不同任务成为亟待解决的问题。
图说：斯坦福大学讲席教授、上海交通大学访问讲席教授叶荫宇 来源/采访对象供图（下同）
叶教授指出，尽管常用的adam算法表现良好，但它需要占用大量内存和显卡资源。受坐标下降法启发提出的badam算法，在保持性能的同时可以显著降低内存使用，使得在单枚消费级gpu上微调大模型成为可能。此外，一种仅使用少量学习率参数进行预处理的adam-mini算法，可以减少50%的内存使用和33%的模型训练时间，特别适用于降低预训练（pre-training）任务的资源消耗。他希望通过这些方法分享，帮助研发团队节约成本、提升效率。
图说：上海交通大学智能计算研究院揭牌成立
会上，上海交通大学智能计算研究院揭牌成立。据悉，上海交通大学智能计算研究院挂靠安泰经济与管理学院建设，以推动我国关键工业软件、管理软件国产化、类cuda库函数生态建设和为国家重大项目智能计算提供全国产化的技术替代方案为目标，旨在培养顶尖智能计算人才，推动智能计算技术的发展与应用。上海交大特聘教授葛冬冬任智能计算研究院院长，他表示将充分利用研究院和研讨会的平台，在决策与优化的基石性工具和优化算法的建设方面，努力把团队发展成为引领智能计算领域发展的风向标。
图说：上海交大特聘教授葛冬冬（右）任智能计算研究院院长
在上海交通大学安泰经济与管理学院纪念管理学院恢复建院40周年之际，首届智能计算与决策研讨会的举行和上海交通大学智能计算研究院的成立，标志着安泰在加强经管理论与人工智能、大数据等数字技术的连接方面又迈出一步。研究院将以智能计算赋能数字转型，聚安泰智慧开启崭新篇章，努力实现在优化算法的研究和应用方面取得突破性进展，并力争在2030年左右建成世界一流的智能优化算法研究中心和产学研示范基地，助力安泰建设成为扎根中国的世界级商学院，助力上海建设智能计算领域的领头羊和人工智能的国际高地。
论坛上，耶鲁大学教授、美国艺术与科学学院院士陈晓红，北京大学讲席教授、欧洲科学院外籍院士邓小铁，陈溪，普林斯顿大学电子计算机工程系终身副教授王梦迪等专家学者就优化、安全等领域的技术进行分享。
新民晚报记者 易蓉
