什么是 LLM 蒸馏与量化

教师模型通常是一个大型的、经过预训练的或基础的模型，在大多数 LLM 任务中具有很高的准确性和性能。

学生模型是一个较小的 LLM，从教师模型的输出和内部表示中学习。这通常可用于所有 LLM 任务或特定任务。

训练过程：教师模型的输出和概率分布用于训练较小的模型。

减少计算需求：较小的模型需要更少的内存和处理能力，使其更适合部署在移动设备、边缘设备或资源受限的环境中。

更快的推理：由于尺寸和复杂性的降低，学生模型可以更快地处理输入。

保持性能：如果处理得当，蒸馏模型可以保留其较大模型的大部分性能，同时显著提高效率。

任务专业化：学生模型可以针对特定任务（情绪分析）或领域（医疗保健或法律）进行优化，在这些狭窄的应用中可能优于通用模型。

创建新架构：生成一个全新的、更小的模型，参数更少

培训需求：在培训阶段需要大量的计算资源

永久变化：最终模型永久变小并优化

灵活性：可针对特定任务或领域进行定制

维护架构：保持相同的模型架构，但使用较低的精度数字

最小处理：需要相对较少的计算能力来实现

可逆：通常可以反转以恢复到原始精度

通用应用：在整个模型中统一应用，无需特定任务的优化

首先，蒸馏：从大型教师模型中创建一个较小的、特定任务的模型

然后，量化：通过精度降低进一步减小模型大小

边缘计算：在边缘设备上部署人工智能功能以实现更好的计算资源优化。这些设备的计算资源有限，如手机、物联网设备或嵌入式系统。

实时应用程序：在快速响应时间至关重要的场景中，如客户服务聊天机器人或实时翻译服务。这些模型可以通过 RAG 技术进一步增强，以提取客户数据。

成本敏感的人工智能部署：当需要在保持可接受性能的同时将计算资源和基础设施成本降至最低时。

专用任务：特定于领域的任务，其中较小的专用模型可以匹配或超过较大的通用模型的性能。

需要广泛的知识：需要广泛的常识或跨多个领域的复杂推理的应用程序。

准确性至关重要：在性能稍低就有害的情况下，一个可预测和准确的模型是必不可少的。例如，医疗诊断和财务分析需要高度的准确性。

需要任务灵活性：当应用程序处理各种任务或需要频繁适应新要求时。