导言

WeChat TFCC是微信技术架构部后台团队研发的服务端深度学习通用推理框架，也是腾讯深度学习与加速Oteam云帆的开源协同成果。

TFCC具有高性能、易用、通用的特点，已在微信视频号、微信公众平台、微信画像、微信智聆语音识别、语音合成等业务广泛使用。

TFCC支持81个ONNX Operation和108个Tensorflow Operation，覆盖推荐、NLP、语音等场景的各种主流模型，同时更多的Operation在持续接入中。 

高性能

TFCC通过模型结构优化、常数跟踪、算子优化等多方面技术优化通用模型推理性能，在微信的各类业务模型中取得很好的性能效果。以BERT(bert-base)模型为例（如下图所示），在Intel CPU、Nvidia GPU平台的QPS对比，TFCC性能处于较高水准。

模型结构优化

模型结构优化包含常数折叠、模型剪枝、算子融合等。常数折叠可以预先算好部分数据，减少线上运行时的计算量。模型剪枝是减少模型的无用分支，算子融合是将多个小算子融合成一个大算子，减少内存和显存的带宽压力。

常数跟踪

常数跟踪是一种比常量折叠更激进的优化方案; 常数跟踪通过跟踪常量的走向，区分出矩阵中存在的局部常量，从而获取更详细的模型信息，取得更好的模型结构优化效果。

算子优化

TFCC Math Library是TFCC底层的算子库，部分算子是对底层oneDNN及cublas的封装，部分则是经过汇编级优化的高性能算子。CPU支持使用AVX2、AVX512指令集加速运算。