PaddleLite深度学习框架 v2.9.1

Paddle Lite是一个高功能、轻量级、灵活性强且易于扩展的深度学习推理结构，定位支撑包括移动端、嵌入式以及服务器端在内的多硬件渠道。

当时Paddle Lite不只在百度内部事务中得到全面使用，也成功支撑了很多外部用户和企业的生产任务。

首要特性

多硬件支撑：

Paddle Lite架构现已验证和完好支撑从 Mobile 到 Server 多种硬件渠道，包括 ARM CPU、Mali GPU、Adreno GPU、华为 NPU，以及 FPGA 等，且正在不断添加更多新硬件支撑。

各个硬件渠道的 Kernel 在代码层和履行层互不搅扰，用户不只能够自在插拔任何硬件，还支撑恣意体系可见硬件之间的混合调度。

轻量级布置：

Paddle Lite在规划上对图优化模块和履行引擎完成了杰出的解耦拆分，移动端能够直接布置履行阶段，无任何第三方依靠。

包括完好的80个 op+85个 Kernel 的动态库，关于ARMV7只要800K，ARMV8下为1.3M，并能够经过裁剪猜测库进一步减小猜测库文件巨细。

高功能：

极致的 ARM CPU 功能优化：针对不同微架构特征完成kernel的定制，最大发挥核算功能，在干流模型上展现出抢先的速度优势。

支撑 PaddleSlim模型压缩东西：支撑量化练习、离线量化等多种量化方法，最优可在不丢失精度的前提下进一步提高模型推理功能。功能数据请参阅 benchmark。

多模型多算子：

Paddle Lite和PaddlePaddle练习结构的OP对齐，供给广泛的模型支撑才能。

现在已严厉验证24个模型200个OP的精度和功能，对视觉类模型做到了较为充沛的支撑，掩盖分类、检测和定位，包括了特征的OCR模型的支撑，并在不断丰富中。详细请参阅支撑OP。

强壮的图剖析和优化才能：

不同于惯例的移动端猜测引擎根据 Python 脚本东西转化模型， Lite 架构上有完好根据 C++ 开发的 IR 及相应 Pass 调集，以支撑操作熔合，核算剪枝，存储优化，量化核算等多类核算图优化。更多的优化战略能够简略经过 新增 Pass 的方法模块化支撑。