计算与创新智能学院杨卫东团队近日在LLM for Software Engineering方向上取得突破，围绕“小模型缺知识、大模型落地难”这一核心问题，提出适用于终端场景的多专家协同知识蒸馏框架（LUK），以及适用于云端协同推理的大小模型自适应分析框架（AdaptiveLog）。研究成果分别发表于软件工程领域国际期刊IEEE Transactions on Software Engineering（TSE）与ACM Transactions on Software Engineering and Methodology（TOSEM）。
大语言模型（LLM，如ChatGPT等）在软件工程相关特定任务（LLM for Software Engineering）中展现出巨大前景。但在专用领域成本高、响应延迟；传统的小型语言模型（SLM，如 BERT等）高效却能力有限，难以深入理解专业知识与语义上下文。
为了兼顾性能和推理成本，团队提出一种名为AdaptiveLog的自适应日志分析框架，其设计哲学是“让合适的模型处理合适的任务”。该框架通过小模型和大模型的协作，由小模型作为一线处理单元，高效过滤并处理它能准确识别的“简单样本”；只有当小模型对其判断产生“不确定性”时，系统才会激活大模型，对复杂的“疑难杂症”进行深度会诊。
实现这一机制的关键在于两个创新。一是基于不确定性估计的自适应选择策略。二是基于错误案例检索的提示增强策略。
论文链接：
https://ieeexplore.ieee.org/abstract/document/11105541
https://dl.acm.org/doi/abs/10.1145/3749840
通讯员 谢 晶
