会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 腾讯首篇OSDI论文:微信超大规模实时推荐系统!

腾讯首篇OSDI论文:微信超大规模实时推荐系统

时间:2023-03-29 08:40:04 来源:1000部禁止大全免费 作者:探索 阅读:829次

作为计算机系统界的腾讯推荐“奥斯卡”,第16届OSDI(Operating Systems Design and Implementation)已于日前召开,首篇实并正式公布了“年度最佳名单”(论文接收名单)。论文k视频国产频道网址

其中,微信微信团队《Ekko: 超大规模推荐系统的规模模型低延时更新方案》论文成功入选,这也是系统腾讯首次以第一单位于该会议发表论文。(论文可点击文末“阅读原文”查看)

OSDI是腾讯推荐计算机系统领域最顶级的学术会议之一,汇集了全球计算机科学家们对于计算机系统的首篇实前瞻性思考。OSDI汇集了来自学术界和工业界的论文顶尖开发人员和研究人员,共同推进(操作)系统的微信科学技术,其中的规模很多成果往往引领着全球计算机发展的方向。

第一届 OSDI 在 1994 年在 Menterey, CA 召开,系统此后基本每两年召开一次。腾讯推荐k视频国产频道网址创会近30年来,首篇实国内单位在该会议发表论文总数仅20余篇,论文而本届OSDI共有253篇论文投稿,接收49篇,接收率为19.4%。

Ekko 来源于微信内部的 WePS 项目,是一个超大规模推荐系统模型低延时更新的解决方案。微信团队入选论文对Ekko展开了详解——面对实时社交活动的场景需求以及微信10亿+的用户体量,业界此前最好的推荐模型更新方案都不能很好地进行适配,于是Ekko应运而出。

现有推荐系统更新方案 & Ekko系统架构

Ekko方案的主要构成

高效的P2P模型更新传输服务:可协调数千个全球部署的参数服务器利用各个网络链路完成实时模型更新,并创新地改进了版本向量算法,设计了一个无日志的数据同步机制,能有效避免被全球生产环境中的慢机器/出灾机器所影响。

SLO感知的模型更新调度器:可在拥塞的网路上优先传输重要梯度,利用模型新鲜度SLO和模型质量SLO,Ekko能筛选出相对更加影响推荐质量的更新优先P2P下发。

模型状态管理器:可用于模型的出灾恢复。在超大量(超1000+个)超大(超1TB)模型的高实时(低于2.4秒)更新中,一旦算法效果出现大幅波动,Ekko能够高速精确定位模型何时出现问题并在分布式场景下进行增量回滚。

Ekko方案于全面测试中展示出相比最先进的深度学习推荐系统高达几个数量级更快的模型更新下发性能。不仅在学术上填补了业界在模型高效更新上的空白,更比此前的最佳方案提升高达100x。

该方案已于微信业务场景落地两年,目前微信数千台机器上存储了数百TB的Ekko模型,涵盖包括视频号、看一看和订阅号等场景,每天服务超过10亿用户。视频号更是在全量使用基于Ekko的在线推荐后,结合产品迭代与运营,全球模型更新生效延时低于2.4秒,半年内日活增加达40%,总播放量增长达87%。

异构带宽网络下Ekko的加速效果

论文成果受国际顶会认可,背后是微信及腾讯多年来持续开展计算机系统领域投入、潜心技术研究的成果。接下来,微信团队也将继续加强基础理论和关键技术的研发,并基于前沿技术应用于丰富的业务场景,优化产品体验,带动行业服务。

(责任编辑:知识)

相关内容
  • 微信8.0.34正式版来了!新增安装包再变小等8大变化(附下载)
  • 如何评价搜狗在 6 月 9 日推出的微信搜索功能?
  • 如何做垮一个游戏项目(上):罄竹难书的主管
  • 中国抓捕到日本最强间谍之王 已潜伏侦察34年
  • IV Markets爱维:硅片市场现状:供需均衡,价格稳中有升
  • 【爱新疆 游首府】人民公园的晨光怎一个美字了得 公园开园时间提前至早上7点半
  • 谷歌为什么开发 Google+ ?
  • ChatGPT开始联网,订酒店、看股价都可以!谷歌之后,这下该苹果慌了?
推荐内容
  • 文化礼堂助力文明城市创建工作
  • 搜狗AI技术再迎突破,全球首个3D AI合成主播发布
  • 搜狗AI技术再迎突破,全球首个3D AI合成主播发布
  • 侦察连出身的小猫们身背间谍摄像机,开始了它们秘密的侦查任务!
  • 微信的网页版扫码登陆原理?
  • 运营了13年的搜狗搜索推广平台下线