openvinotoolkit/openvino

概览

解决什么问题

Need to optimize and deploy AI models (computer vision, LLMs, generative AI) for low-latency inference on Intel x86 edge hardware (CPUs, integrated GPUs, VPUs) in UAV/low-altitude systems.

主要用例

• Convert ONNX/PyTorch/TensorFlow models to OpenVINO IR
• Run optimized inference on Intel Core, Atom, Xeon, Arc GPU, VPU
• Deploy computer vision pipelines (detection, segmentation, tracking) on edge
• Accelerate LLM inference for onboard decision-making

次要用例

• Benchmark model latency across Intel hardware generations
• Integrate with OpenCV G-API for vision pre/post-processing
• Use Model Optimizer for custom layer support
• Leverage OpenVINO Runtime C++/Python APIs in autonomy stacks

何时使用

考虑使用

• Target hardware is Intel x86 (not ARM/NVIDIA Jetson)
• Need Apache-2.0 licensed inference stack
• Require model optimization without retraining
• Want unified API across CPU, iGPU, dGPU, VPU

采用前需验证

• ? Specific Intel generation support (e.g., GNA, NPU, Arc GPU)
• ? Model format compatibility (ONNX opset, PyTorch export path)
• ? Runtime memory footprint on constrained edge boards
• ? Threading/async execution behavior for real-time loops

从这里开始

采用检查清单

• 需验证 Specific Intel generation support (e.g., GNA, NPU, Arc GPU)
• 需验证 Model format compatibility (ONNX opset, PyTorch export path)
• 需验证 Runtime memory footprint on constrained edge boards
• 需验证 Threading/async execution behavior for real-time loops

以上检查项只有在官方来源确认后才能标记为“已验证”；无法确认的保持未验证。

已知限制与未知项

已知限制

• Intel hardware only (no ARM, NVIDIA, Qualcomm acceleration)
• x86 focus; limited support for non-Intel VPUs
• Model Optimizer may require manual fixes for custom ops
• Large install size for full toolkit

替代与相关工具

相关工具

• onnx-runtime — 集成

如何使用？

从下方记录的入口开始，然后对照技术清单进行验证。

• 官方网站 https://docs.openvino.ai
• 仓库 https://github.com/openvinotoolkit/openvino
• 文档 https://docs.openvino.ai

技术清单

• 通过 许可证已识别 已记录: Apache-2.0
• 通过 维护信号 活跃维护
• 通过 验证状态 官方确认
• 通过 已附加来源证据 1 个来源记录
• 需复核 已记录最新版本 未记录

官方链接

元数据与治理

数据集事实

以上事实仅来自官方数据集卡，未确认字段保持未知。

相关资源与依赖

• onnx-runtime — integrates with (confirmed)

近期动态

相关知识

下方相关指南/合集/对比的标题与摘要暂保留英文，待编辑翻译复核；事实字段与链接已验证且保持不变。

指南

• Deploying AI Inference on UAV Edge Compute — A repeatable workflow for choosing and validating an inference runtime for an onboard UAV computer.

合集

• 边缘AI感知入门套件 — 一套用于在边缘部署工作之前对空中感知模型进行原型验证的起步技术栈。