TensorRT是一个高性能的深度学习推理(Inference)优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDA的GPU结合起来，能在几乎所有的框架种进行快速和高效的部署推理。

随着神经网络的发展，embedding的思想被广泛的应用在搜推广、图像、自然语言处理等领域，在实际的工业场景中，我们常常会遇到基于embedding进行文本、图像、视频等物料的相关内容检索问题，这类问题通常要求在几毫秒的时间内完成百万甚至亿级别候选物料上的检索。 在这类问题中，主要需要考虑的三个问题是速度、内存以及准确性，其中速度是必须要解决的问题，同时我们希望能在保证速度的基础上，尽可能的提升准确率，降低内存占用。因此可以想到，我们是不是可以通过一定的方法，利用内存和准确率来换取查询速度的提升。 Faiss是由FacebookAI团队开发的向量检索库，提供了多种向量查询方案，可以实现在亿级别候选物料上的毫秒级查询，是目前最主流的向量检索库。在Faiss中，把具体的查询算法实现称为索引，由于faiss中提供了多种类型的索引，因此了解其中不同索引索引的实现方式对于我们的应用就尤为关键。