77wpa的博客

NVIDIA® TensorRT™是高性能深度学习推理的SDK，包括深度学习推理优化器和运行时，可为推理应用程序提供低延迟和高吞吐量。

例如：假设有512MACC运算单元，运行频率为1GHz，INT8的数据结构和精度，算力为512 x 2（2理解为一个MACC为一次乘法和一次加法，为两次运算操作） x 1 GHz = 1000 Billion Operations/Second = 1 TOPS(Tera-Operations/second)。例如，某个模型需要256000个浮点参数定义，转化为bit 乘以32得8192000bit，再除8转化为Byte，1024KB，也就是1M，那么这个模型大小约为1M。

量化主要是一种加速推理的技术，量化运算符仅支持前向传递。量化是指使用精度较低的数据进行计算和内存访问的技术，与浮点实现相比，通常是 int8。模型尺寸缩小 4 倍；内存带宽减少 2-4 倍；由于内存带宽的节省和使用 int8 算法的更快计算，推理速度提高了 2-4 倍（确切的加速取决于硬件、运行时和模型）。然而，量化并非没有额外代价。从根本上说，量化意味着引入近似值，由此产生的网络精度略低。这些技术试图最小化完整浮点精度和量化精度之间的差距。

地平线 AI 芯片工具链 - 03 自定义模型转换1. 前提条件2. 文件目录3. 模型可视化4. 模型校验5. 模型编译1. 前提条件地平线 AI 芯片工具链 - 01 配置安装待转换模型（onnx 模型，其他类型可转为 onnx 模型）2. 文件目录在 docker 挂载目录下新建 08_hjw_demo 目录（具体位置可以自定义），并准备好相关脚本和模型3. 模型可视化样例模型 hjw_demo.onnxNetron 模型可视化工具4. 模型校验0

地平线 AI 芯片工具链 - 02 快速开始1. 前提条件2. 转换模型2.1 检验模型2.2 准备校准数据集1. 前提条件地平线 AI 芯片工具链 - 01 配置安装2. 转换模型此处以 docker 版本工具链 …/horizon_x3_tc_1.1.6/samples/04_detection/01_yolov2 为样例来说明2.1 检验模型执行 sh 01_check.sh 检验模型hjw@hjw-pc:~/x3_tc.1.1.6$ export version=1

地平线 AI 芯片工具链 - 配置安装1. 工具链运行环境2. 工具链下载获取3. 工具链配置安装3.1 介绍文档3.2 配置安装（CPU）3.2.1 方案一：docker 镜像3.2.2 方案二：安装软件包3.3 配置安装（GPU）1. 工具链运行环境Ubuntu 18.04 LTS、Docker version 19.03.12、docker-compose version 1.26.2说明：docker + docker-compose 配置安装2. 工具链下载获取说明：当前发布的版