开源项目介绍 |TNN-跨平台AI推理框架
2021腾讯犀牛鸟开源人才培养计划
开源项目介绍
滑至文末报名参与开源人才培养计划
提交项目Proposal
TNN项目介绍
标签:人工智能
技术栈:C++,Python
TNN-跨平台AI推理框架, 跨平台AI推理框架,同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。同时也借鉴了业界主流开源框架高性能和良好拓展性的优点。目前TNN已经在腾讯业务手Q、微视、P图等广泛落地应用,欢迎大家参与协同共建,促进TNN推理框架进一步完善。
TNN项目导师介绍
姚达、田恒锋、王星晨
姚达,TNN框架技术负责人
田恒锋,TNN框架CPU侧架构师
王星晨,TNN框架CPU侧架构师
导师寄语:
“AI推理优化是一套系统工程,希望通过TNN相关辅导,能够帮助学员在硬件架构、应用框架等方向提升发现问题、解决问题的能力”——姚达
“TNN专注于深度学习推理部署,其中GPU在整个深度学习框架中占据了重要位置。希望通过相关辅导以及开源实践,帮助学员熟悉和提升GPU编程和性能调优经验,提升在整个开源社区和行业影响力。”——田恒锋
“TNN是一个跨平台高性能的推理框架,通过相关实践你将了解到AI算法落地的详细过程,以及如何在兼容性、性能以及效果之间做到平衡,为日后工作打下坚实基础”——王星晨
TNN拓展资料
?TNN Readme
https://github.com/Tencent/TNN/blob/master/README_CH.md
?ARMhttps://developer.arm.com/documentation/den0018/latest
https://developer.arm.com/documentation/den0024/a
?X86https://software.intel.com/content/www/us/en/develop/articles/intel-sdm.html
https://software.intel.com/sites/landingpage/IntrinsicsGuide/
?software optimize
https://www.agner.org/optimize/
?MILRhttps://mlir.llvm.org/
?GPUhttps://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html
https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html
?模型量化https://intellabs.github.io/distiller/algo_quantization.html
https://arxiv.org/pdf/1806.08342.pdf
TNN实战任务
(最终具体任务以实战阶段导师布置为准)
编程任务
1.量化模型支持,打通训练和推理,支持非对称、按channel量化
预期结果:
- 打通量化训练到推理的流程,并针对arm或x86平台对量化实现进行优化
- 文档和测试
2.AI芯片适配,完成腾讯自研芯片或业界最新芯片的适配,完成模型迁移
预期结果:
- 打通服务端AI芯片的软件栈接入到TNN的流程
- 完成部分常用模型的适配
- 文档和测试
3.云或端侧个性功能实现高性能部署,如人像分割、3D物体检测等
预期结果:
- 完成最新的趣味模型的云端Demo实现,并进行Demo性能优化达到可用状态
- 文档和测试
扫码填写问卷报名,提交项目proposal
加入开发实战
与导师一起成长这一夏
TNN开源项目交流群
欢迎对本项目感兴趣的同学一起交流
更多开源项目信息,
尽在“腾讯犀牛鸟开源人才社区”
扫码加入,解锁所有学习资料
关于腾讯犀牛鸟开源人才培养计划:为响应国家十四五规划的开源战略,腾讯于2021年5月发布“首届腾讯犀牛鸟开源人才培养计划”,希望企业界和教育界形成合力,打造面向高校学生的开源课程和开源实践培养方案,培育开源人才,普及开源文化,助力开源人才生态的发展。
首届项目由教育部计算机教学指导委员会、教育部软件工程教学指导委员会、中国信息通信研究院作为联合指导单位,包括开源基础培训、开源进阶研学、开源项目实战三个环节,项目涉及云原生、微服务、容器、AI、大数据、前端、物联网/边缘计算等多项技术热点。
各位同学报名即可参加线上开源系列课程,学习开源知识,对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下,利用暑假开展编程实战,并有机会获得腾讯开源贡献者证书(目前全球只发出了10+张)。
?学生指南Q&A:https://github.com/Tencent/OpenSourceTalent/issues/14
?官方QQ群:859260607 (加群请备注学校+专业)
【其他项目介绍】
开源项目介绍 |OMI-前端【跨框架】框架
开源项目介绍 |APIJSON- 后端零代码接口和文档ORM 库
开源项目介绍 |TARS-高性能微服务治理框架
开源项目介绍|Apache InLong-分布式消息中间件系统
开源项目介绍|Tencent KonaJDK
开源项目介绍 |SuperEdge-云原生边缘计算平台
开源项目介绍 |Hippy-跨平台动态化框架
开源项目介绍 | Angel-高性能分布式机器学习平台
腾讯犀牛鸟开源人才培养计划官网
https://opensource.tencent.com/summer-of-code
(点击文末阅读原文直接访问)
合作或疑问欢迎联系:tencentopen@tencent.com