本次竞赛由IBM公司组织,包含三个赛道。НГУ团队参加了任务B——即在给定参考文档和多步对话历史背景下,生成用户问题答案的挑战。在26支参赛队伍中,НГУ团队以0.7827的质量指标(条件调和均值)夺得第一名,比组织方提供的最佳基线结果(0.6390)高出14.4个百分点。
伊万·邦达连科解释道:“我们的团队提出了三个关键方法,确保了在竞赛中获胜。第一是借助大语言模型智能体迭代改进系统提示。我们开发了一个多智能体系统,其中大型神经网络Gemini分析模型的结果并提出系统提示改进方案,该过程迭代进行直至质量达到平台期。第二种方法是应用上下文学习,即模型根据输入上下文中提供的若干正确解题示例来学习完成任务。针对每类任务,研究人员通过嵌入度量空间中的中心点方法选择最具代表性的示例,并将这些示例加入提示中以展示模型的正确行为。该方法稳定地取得了最优结果。”