引言

Nvidia推出了一个深度学习训练工具包 - Transfer Learning Toolkit,提供了一堆的预训练模型,能够快速的迁移到新数据集上,完成训练并实现剪枝和量化操作

下面记录一下TLT提供的预训练模型以及常见问题,更新版本的TLT会支持更多的功能,所以具体细节参考TLT官网

英文文档:The Transfer Learning Toolkit for Intelligent Video Analytics Getting Started Guide

中文文档:智能视频分析的转移学习工具包入门指南

预训练模型

TLT专注于图像分类和目标检测任务,提供了大量的预训练模型

同时TLT还提供了6个适用于具体场景的预训练模型以及相应的检测速度

常见问题

记录几个官网常见问题:

  1. TLT使用了什么训练框架?是否需要学习它?
    1. 答:使用了TensorFlowKerasTLT完全封装了技术细节,不需要额外学习
  2. 是否可以使用第三方预训练模型?
    1. 答:TLT不支持任何第三方预训练模型,仅支持Nvidia NGC提供的预训练模型
  3. TLT是否支持分割任务?
    1. 答:目前不支持分割任务,不过会在后续版本中支持
  4. TLT是否支持量化感知训练(quantization aware training)以及自动混合精度(Automatic Mixed Precision(AMP)
    1. 答:2020年第3季度将推出TLT 2.0,实现QAT(量化感知训练)以提高INT8的准确性,并支持AMP

其他问题还包括:

  1. Python2.x or Python3.x
    1. 参考Tlt will support tf2 and python 3
    2. 目前TLT仅支持Python2.x

小结

从学习研究的角度来看,TLT并不是一个优秀的训练框架,相比于PyTorch/TensorFlow,无法自定义模型,没有提供更多的训练参数和方法;但是从部署的角度来看,TLT提供了打包一栈式的开发流程,能够快速的集成到实际生产中,当然,这也取决于Nvidia的更新速度