大模型理解与应用研讨会在北京大学召开

2024年11月24日，由跨媒体通用人工智能全国重点实验室与北京大学王选计算机研究所共同主办的大模型理解与应用研讨会在北京大学镜春园 79 号甲多功能教室举行。北京大学王选计算机研究所赵东岩研究员主持了此次研讨会，并致开幕辞。

本次研讨会聚焦于大规模语言模型，对通用人工智能的实现方式，大模型的编解码方法，大模型价值观对齐，垂域模型，科学智能大模型以及大模型知识调用等方向的前沿研究进行了讨论与交流，邀请了清华大学孙茂松教授,北京理工大学黄河燕教授，中科院自动化所宗成庆研究员，复旦大学黄萱菁教授，哈尔滨工业大学秦兵教授，中科院软件所韩先培研究员等国内自然语言处理与大模型相关领域的优秀学者进行了精彩报告，分享了团队在相关领域的前沿研究工作、创新成果及发展趋势，并与参会者深入探讨了大规模语言模型领域当前面临的挑战以及未来的发展方向。

中科院自动化所宗成庆研究员作题为《大语言模型与脑神经编解码方法探索》的报告。宗成庆研究员首先介绍了为探索脑神经编解码机制而建立的多个数据集，揭示了神经机制与语言理解之间的联系。接着，他展示了一种基于预训练语言模型的连续文本神经解码方法，并介绍了一种受脑认知机制启发的大语言模型改进方案。宗成庆研究员认为，跨学科的融合，尤其是自然语言处理与神经语言学的结合，将有助于推动相关科学问题的解决和技术的突破。

复旦大学黄萱菁教授作题为《面向科学智能的大模型知识拓展与能力增强》的报告。黄萱菁教授指出，尽管大模型通过海量数据预训练存储了大量知识，但由于其训练目标仅限于下一个词的预测，生成式框架下不可避免地存在幻觉现象。黄萱菁教授从知识存储和认知两方面分析了大模型知识边界与幻觉现象的潜在关联，并提出了探测大模型知识边界的创新方法。此外，黄教授还以垂直领域大模型、数学推理大模型和智能体大模型为例，探讨了如何通过思维链、指令微调、强化学习和自我进化等手段，注入领域知识，增强大模型在处理领域数据、理解用户意图和进行知识推理方面的能力。

哈尔滨工业大学秦兵教授作题为《大模型多元价值观对齐》的报告。秦兵教授指出，随着大模型在各行业的广泛应用，价值观对齐已成为学术界和产业界关注的焦点。报告中，秦兵教授从大模型多元价值观体系的构建、不同层次价值观的对齐方法，以及不同语言文化和价值观之间的关系三个方面进行了深入探讨，并进一步介绍了如何在全球化和多元文化背景下，确保大模型能够有效对齐各种价值观，促进跨文化和跨语言的理解与合作。

中科院软件所韩先培研究员作题为《RAG：从外部记忆增强到知识自组织》的报告。韩先培研究员介绍了如何进行RAG实现大模型与外部知识的有效交互的评估，提出了RGB Benchmark作为衡量该交互性能的标准。此外，他还阐述了如何将外部知识转化为参数化记忆（Self-Retrieval），以及如何按需结构化组织知识（StructRAG）以帮助大模型进行推理。报告的最后，韩研究员分析了RAG技术当前面临的挑战，并展望了其未来的发展方向。

清华大学孙茂松教授作题为《从图灵到维纳——通用人工智能走向“知行合一”的新探索》的报告。孙茂松教授指出，人工智能从图灵测试走向维纳控制论，标志着其进入了全新的探索阶段，智能体技术正成为OpenAI的核心战略。报告总结了大模型的四项关键能力：语言生成、代码生成、图文及视频生成能力，以及3D建模，为智能体技术的进步奠定了基础。孙茂松教授还通过可交互数字人、元社会、RAG、ChatDev及交互式3D具身智能体平台LEGENT等技术，探讨了智能体的应用场景，展望了“知行合一”的人工智能未来。

研讨会的最后，赵东岩研究员组织了Panel Disscussion，与参会者一起讨论大模型理解与应用领域的重点问题。讨论期间与会老师同学积极交流，气氛活跃，提出了众多深刻的问题并进行有效的探讨。

大模型理解与应用研讨会的召开，旨在深入探讨大模型理解与应用领域的前沿问题。研讨会涵盖了多个领域的前沿技术，各位与会嘉宾提出了多个技术创新与应用展望，对于热点问题进行深入交流，共同展望大模型技术发展的未来。

同时，本次研讨会为大模型的学术研究与应用推广提供了宝贵的思想碰撞平台，推动大模型理解与应用的进步与创新。