1. 行业与业务场景该竞赛聚焦于人工智能领域的大型语言模型（LLMs）优化，旨在解决如何使 LLMs 的响应更契合用户偏好这一关键问题。在当今数字化时代，AI 驱动的对话系统广泛应用于智能客服、虚拟助手、在线教育等多个行业，然而，由于用户需求的多样性和复杂性，现有的 LLMs 在理解和满足用户个性化偏好方面仍存在不足。Chatbot Arena 收集的大量用户与 LLMs 交互数据为解决这一问题提供了契机。通过分析这些数据，参赛者能够深入了解用户在不同场景下对 LLMs 响应的喜好倾向，进而开发出更符合用户期望的模型。企业可以利用这些成果优化其智能客服系统，提升客户满意度；政府部门则可应用于智能政务服务，提高服务效率和质量。这不仅有助于推动 AI 技术在实际应用中的发展，还能增强用户对 AI 驱动对话系统的信任和接受度，促进相关行业的智能化转型。2. 功能模块与用户价值2.1 模型微调功能核心功能：采用 QLoRA 技术对 Gemma-2-9b-it 量化 4 位模型进行微调，在比赛数据上优化模型参数。同时，寻找与比赛数据类型和分布一致的额外数据，将模型在除验证数据外的所有数据上进行混合微调。用户价值：通过针对性的微调，使模型能够更好地学习用户偏好模式，从而在实际应用中生成更符合用户期望的响应。额外数据的引入扩大了模型的学习范围，增强了模型的泛化能力，提高了其在不同场景下满足用户需求的准确性。2.2 关键参数调整功能核心功能：对 Gemma-2-9b-it 模型的关键参数进行调整，包括选择 “q_proj”“k_proj”“v_proj”“o_proj”“gate_proj” 这五个类型的层进行微调；将训练长度调整为 3072，减少对原始数据的截断；将冻结层数调整为 0，使模型能够充分学习任务相关信息；提升 LoRA_R 到 64，并同时调整对应 LoRA_Alpha 和 Learning_Rate。用户价值：精准的参数调整使模型结构更适应预测用户偏好的任务，优化后的训练长度和冻结层数设置有助于模型更好地捕捉数据特征，提高预测的准确性。调整 LoRA 相关参数则进一步优化了模型的学习效果，使模型在处理用户偏好预测时更加高效和准确，为用户提供更优质的服务体验。2.3 推理优化功能核心功能：在推理阶段使用测试时增强（TTA）技术，交换 Res_A 和 Res_B 让模型进行推理，然后平均集成结果作为模型的最终输出。用户价值：TTA 技术通过多次推理并集成结果，降低了模型预测的不确定性，提高了预测的稳定性和可靠性。这意味着在实际应用中，模型能够更稳定地输出符合用户偏好的结果，增强了用户对 AI 对话系统的信任，提升了用户体验。3. 技术选型与架构亮点3.1 技术选型模型选择：选用 Gemma-2-9b-it 模型作为基础模型，该模型在参数规模和性能上具有一定优势，为后续的微调提供了良好的基础。微调技术：采用 QLoRA 微调技术，该技术通过 4 位量化压缩预训练模型，冻结 LM 参数，并添加少量可训练的低秩适配器，在大幅减少内存需求的同时，几乎不影响推理效果，使得模型在有限资源下也能进行高效微调。数据利用：积极寻找额外数据，并将其与比赛数据结合进行混合微调，扩大了模型的训练数据范围，增强了模型的适应性和泛化能力。3.2 架构亮点精细的层选择微调：深入研究模型初始结构，选择特定的五个类型的层进行微调，这种精细化的操作能够更有针对性地优化模型在用户偏好预测任务上的性能，避免对无关层的无效调整，提高训练效率和效果。优化训练设置：调整训练长度和冻结层数，充分考虑了模型对原始数据的学习需求以及任务的适应性，确保模型能够充分利用数据信息，提升预测准确性。同时，合理调整 LoRA 相关参数，进一步优化模型的学习过程，使模型在训练过程中能够更好地收敛。推理增强策略：在推理阶段运用 TTA 技术，通过交换输入进行多次推理并平均结果，有效降低了模型预测的随机性，提高了推理结果的稳定性和可信度，为用户提供更可靠的预测结果。