BigDL-LLM是基于英特尔® XPU（如CPU、GPU）平台的开源大模型加速库；它使用低比特优化（如FP4/INT4/NF4/FP8/INT8）及多种英特尔® CPU/GPU集成的硬件加速技术，以极低的延迟运行和微调大语言模型。

BigDL-LLM支持标准的PyTorch API（如 HuggingFace Transformers 和 LangChain）和大模型工具（如HuggingFace PEFT、DeepSpeed、vLLM等），可助力 AI 开发者和研究者在英特尔平台（笔记本、工作站、服务器和GPU）上高效开发、加速大语言模型算法和应用。

使用 BigDL-LLM 非常简单；只需更改一行代码，您就可以立即观察到显著的加速效果。大量模型（如 LLaMA/LLaM2、ChatGLM2/ChatGLM3、Mistral、Falcon、MPT、LLaVA、StarCoder、Whisper、百川/百川2、通义千问/通义千问VL、书生、悟道天鹰、MOSS等）已在BigDL-LLM上得到验证和优化。