在人工智能领域，开发人员和用户一直面临一个挑战，那就是需要更加定制和细致的大型语言模型响应。虽然这些模型，比如Llama2，可以生成类似人类的文本，但它们通常需要提供真正针对个体用户独特需求的答案。然而，现有的方法，如监督微调（SFT）和从人类反馈中强化学习(RLHF)，存在一些局限，导致生成的响应可能显得机械和复杂。
图源备注：图片由AI生成，图片授权服务商Midjourney
NVIDIA研究部门推出了SteerLM，这是一项突破性技术，旨在解决这些挑战。SteerLM提供了一种新颖的以用户为中心的方法，用于定制大型语言模型的响应，允许用户定义引导模型行为的关键属性。SteerLM通过一个四步骤的监督微调过程来运作，简化了大型语言模型的定制过程。
首先，它使用人工标注的数据集训练属性预测模型，以评估诸如帮助性、幽默和创造性等特性。接下来，它利用这个模型来标注各种不同的数据集，丰富了语言模型可访问的数据的多样性。然后，SteerLM采用属性条件的监督微调，训练模型生成基于指定属性的响应，如感知质量。最后，它通过引导训练来精炼模型，生成各种不同的响应，以实现最佳的微调。
SteerLM的一个显著特点是其实时可调整性，允许用户在推断过程中微调属性，以满足他们的具体需求。这种灵活性为各种潜在应用敞开了大门，从游戏和教育到无障碍领域。有了SteerLM，公司可以为多个团队提供个性化能力，而无需为每个不同的应用重新构建模型。
SteerLM的简单和用户友好性在其指标和性能中表现出色。在实验中，SteerLM43B在Vicuna基准上表现优于现有的RLHF模型，如ChatGPT-3.5和Llama30B RLHF。通过提供一个简单的微调过程，几乎不需要对基础架构和代码进行大幅度更改，SteerLM可以以更少的麻烦交付出色的结果，使其成为AI定制领域的一项重大进展。
NVIDIA正在通过在其NVIDIA NeMo框架中发布SteerLM的开源软件来推动先进的定制。开发人员现在有机会访问代码，并使用Hugging Face等平台上提供的自定义的13B Llama2模型来尝试这一技术。
官方博客说明：https://blogs.nvidia.com/blog/2023/10/11/customize-ai-models-steerlm/?ref=maginative.com