IBM利用合成数据训练LLM模型专利申请“LAB”

科技动态 2024-04-09 11:18 阅读:

IBM最近向专利局提交了一项名为“LAB”的专利申请,这一举措旨在利用合成数据来训练LLM模型,以推动企业AI技术的发展。AI模型对数据的需求巨大,而获取大量、高质量、相关性强的数据往往是一项挑战。为了解决这一问题,IBM希望通过合成数据创建一个仿真真实用户数据的系统。

这一创新方法将名为Large-Scale Alignment for Chatbots(LAB)的技术应用到合成数据生成中,系统地为开发人员生成合成数据,以训练LLM模型。IBM认识到AI模型的有效性与所训练的数据密切相关,而传统的数据训练方法费时费力。LAB方法可以显著降低训练LLM模型的成本和时间,不断将新知识和能力融入模型,同时不会覆盖已学到的知识,从而产生大量干净且处理过的数据来训练AI模型。

这一新的数据生成方法基于分类法,将数据分类为不同的类别和子类别。IBM的分类法将指导chatbot的基础技能、知识和组合技能,使LLM开发人员能够规定其聊天机器人所需的知识和技能。此外,IBM还利用合成数据改进其面向企业的Granite模型,通过LAB方法生成的合成数据,在1.2百万条指令的数据集上训练了两个开源LLM模型,表现出色。

这一专利的提出凸显了AI服务需求的激增,企业搭建AI模型的过程可能同样有利可图。IBM可能会利用这一专利来支持那些正在构建自己AI模型的企业,提供一种相对于收集真实用户数据而言更少资源密集的方法。通过LAB方法,IBM为企业提供了一个更加高效、便捷的途径,让AI技术的发展更上一层楼。