常州小程序开发

微信开源WeChat TFCC:支持CPU/GPU的高性能、易用的

编辑时间: 2022-06-25 10:45  浏览次数:

导言


WeChat TFCC是微信技术架构部后台团队研发的服务端深度学习通用推理框架,也是腾讯深度学习与加速Oteam云帆的开源协同成果。

 

TFCC具有高性能、易用、通用的特点,已在微信视频号、微信公众平台、微信画像、微信智聆语音识别、语音合成等业务广泛使用。

 

TFCC支持81个ONNX Operation和108个Tensorflow Operation,覆盖推荐、NLP、语音等场景的各种主流模型,同时更多的Operation在持续接入中。 

 

 

高性能


TFCC通过模型结构优化、常数跟踪、算子优化等多方面技术优化通用模型推理性能,在微信的各类业务模型中取得很好的性能效果。以BERT(bert-base)模型为例(如下图所示),在Intel CPU、Nvidia GPU平台的QPS对比,TFCC性能处于较高水准

模型结构优化
模型结构优化包含常数折叠、模型剪枝、算子融合等。常数折叠可以预先算好部分数据,减少线上运行时的计算量。模型剪枝是减少模型的无用分支,算子融合是将多个小算子融合成一个大算子,减少内存和显存的带宽压力。

 

常数跟踪
常数跟踪是一种比常量折叠更激进的优化方案; 常数跟踪通过跟踪常量的走向,区分出矩阵中存在的局部常量,从而获取更详细的模型信息,取得更好的模型结构优化效果。

 

算子优化
TFCC Math Library是TFCC底层的算子库,部分算子是对底层oneDNN及cublas的封装,部分则是经过汇编级优化的高性能算子。CPU支持使用AVX2、AVX512指令集加速运算。
本文地址:https://www.cappyy.com/zhishifenxiang/xiaochengxukaifa/76.html

上一篇:如何用1分钱吃麦当劳肯德基?
下一篇:没有了
免责声明:我司网站转载此文,不代表本网的观点和立场。不以盈利为目的,如有侵犯公司或个人权益,我司会第一时间删除文章。 紫竹云科技是常州小程序开发公司,欢迎咨询免费获取思维导图!
推荐阅读
紫竹云科技

紫竹云科技是一家2015年成立于常州的IT外包公司,我们致力于为企业提供app软件开发和微信小程序开发服务。公司成立多年来,我们为星河地产、泰富集团、港龙中国、世茂集团、闽龙集团、万达集团、八佰伴、红星美凯龙、常州外国语学校、欧尚中国、梦洁家纺、嘉宏集团等上百家企业提供了IT外包和官微代运营服务。我们努力实现每一位客户的托付,为客户创造实在的效益,让您与梦想走得更近。

微信咨询

扫描微信二维码
同市场经理沟通需求

感受专业服务,从来电咨询开始
186-252-88648