OpenVINO™ 2024.2最新版本下载

2024.2 版本新内容 2024.1 版本新内容 2024.0 版本新内容

覆盖更多生成式AI，集成更多框架最大限度减少代码更改	支持更广泛的LLM模型提供更多模型压缩技术	在边缘及云端，或本地运行AI时具有更高的可移植性和更好的性能表现
Llama 3 针对 CPU、内置 GPU 和独立 GPU 的进行了优化，从而提高性能以及高效的内存使用率。支持 Phi-3-mini，这是一个 AI 模型系列，利用小语言模型的强大功能进行更快、更准确和更具成本效益的文本处理。 OpenVINO 中现在启用了 Python 自定义操作，使 Python 开发人员可以更轻松地编写其自定义操作，而不是使用 C++ 自定义操作（也受支持）。Python 自定义操作使用户能够在任何模型中实现自己的专用操作。进一步扩展Notebooks，以确保更好地覆盖新模型。添加了值得注意的Notebooks: DynamiCrafter, YOLOv10 以及带有Phi-3 和Qwen2模型的聊天机器人noteboook	将用于 4 bit 权重压缩的 GPTQ 方法添加到 NNCF 中，以实现更高效的推理并提高压缩 LLM 的性能显著提高了 LLM 性能，并降低了内置 GPU 和独立 GPU 的延迟。在基于 AVX2（第 13 代英特尔®酷睿™处理器）和 AVX512（第 3 代英特尔®至强®可扩展处理器）的 CPU 平台上，FP16 权重的 LLM 的第二token的延迟和内存占用得到显著改善，特别是小批量情况下。	模型服务功能增强: 预览：OpenVINO模型服务器（OVMS）现加入了对OpenAI兼容API的支持，同时融入了连续批次处理与分页注意力机制，大大提升了并行推断的吞吐量，尤其在使用英特尔®至强®处理器为大量并发用户部署大语言模型时效果显著。 Triton Server 的 OpenVINO 后端支持动态输入。通过 torch.compile OpenVINO 后端集成 TorchServe，以便轻松部署模型、配置多个实例、控制和维护模型版本。预览：添加了 Generate API，这是一个简化的 API，仅几行代码就可用大语言模型生成文本。该 API 可通过新推出的 OpenVINO™ GenAI 软件包获得预览：支持 Intel® Xeon® 6 处理器（代号 - Granite Rapids）

覆盖更多生成式AI，集成更多框架最大限度减少代码更改	支持更广泛的LLM模型提供更多模型压缩技术	在边缘及云端，或本地运行AI时具有更高的可移植性和更好的性能表现
支持最新发布的最先进的Llama 3模型 Mixtral 和 URLNet 模型针对英特尔®至强®处理器进行了优化，提升了性能。 Stable Diffusion 1.5、ChatGLM3-6b 和 Qwen-7B 模型经过优化，可在具有集成 GPU 的英特尔®酷睿™Ultra处理器上提高推理速度。现在支持 Falcon-7b-Instruct，这是一个 GenAI LLM 即用型聊天/指导模型，具有卓越的性能指标。添加了新的 Jupyter Notebook：Yolo V9、Yolo V8 定向边界框检测（OOB）、Keras 中的Stable Diffusion、MoblieCLIP、RMBG-v1.4 背景去除, Magika, TripoSR, AnimateAnyone, LLaVA-Next 以及带有 OpenVINO 和 LangChain 的 RAG 系统。	基于采用了英特尔®高级矩阵扩展（Intel® AMX）的第 4 代和第 5 代英特尔®至强®平台，LLM的第一个token性能得到了提升。 oneDNN、INT4 和 INT8支持英特尔®锐炫™ GPU，从而实现了更好的 LLM 压缩和改进的性能。在带有集成GPU的Intel®Core™Ultra处理器上，可显著减少部分较小的GenAI模型的内存。	除了 PyPI 上的 OpenVINO 软件主包外，英特尔®酷睿™ Ultra处理器的NPU 插件预览可在 OpenVINO 开源 GitHub 仓库中使用。现在，可以通过 npm 存储库更轻松地访问 JavaScript API，使 JavaScript 开发人员能够无缝访问 OpenVINO API。默认情况下，基于ARM 处理器的FP16 推理已为卷积神经网络（CNN）所启用。

覆盖更多生成式AI，集成更多框架最大限度减少代码更改	支持更广泛的LLM模型提供更多模型压缩技术	在边缘及云端，或本地运行AI时具有更高的可移植性和更好的性能表现
通过安装 OpenVINO Tokenizers，改进了 TensorFlow 语句编码模型的开箱即用体验。验证了新的和值得注意的模型：Mistral、StableLM-tuned-alpha-3b 和 StableLM-Epoch-3B 。 OpenVINO 现在支持Mixture of Experts (MoE), 一种新架构，有助于通过流水线处理更高效的生成式模型。 JavaScript 开发人员现在可以无缝访问 OpenVINO API。这种新的绑定支持与 JavaScript API 的平滑集成。	通过将主流技术激活感知权重量化添加到神经网络压缩框架（NNCF）中，提高 LLM 的 INT4 权重压缩质量。此新增功能可降低内存要求，并有助于加快token生成速度在英特尔® CPU 上体验增强的 LLM 性能, 内部内存状态增强, 以及KV缓存的INT 8精度。尤其为多重搜索LLM模型，例如ChatGLM进行了定制。我们通过将更多OpenVINO功能与Hugging Face生态系统集成，让开发人员更轻松使用。现在，将主流模型的量化配置直接存储在 Hugging Face 中，以将模型压缩为 INT4 格式，同时保持准确性和性能。	来自OpenVINO™模型服务器的新的和改进的LLM服务样本，用于多批次输入和检索增强生成（RAG) 通过启用 ARM 线程库提高了 ARM 上的性能。此外，我们现在支持多核 ARM 平台，并在 MacOS 上默认启用 FP16 精度。作为英特尔®酷睿™ Ultra（代号Meteor Lake）的一部分，集成NPU的预览插件架构现在包含在PyPI的主OpenVINO软件包中。