社区编辑申请
注册/登录
优酷土豆单明辉—基于Hadoop平台下的视频推荐系统 原创
开发 前端 Hadoop
单明辉,优酷土豆集团技术经理。2008年于中科院声学所获博士学位,主导了优酷土豆视频推荐支撑平台设计与开发,目前负责低延时、高并发的大数据应用支撑平台建设。

2008年于中科院声学所获博士学位,主导了优酷土豆视频推荐支撑平台设计与开发,目前负责低延时、高并发的大数据应用支撑平台建设。

从视频网站的分类来说,优酷土豆属于两者兼备的模式(用户产生内容+专业视频内容)。而这两种类型的网站内容和用户行为各异,相应的推荐系统的设计也会有一定差别。对此优酷土豆建立了自己的推荐系统,平衡二者的权重。并在此基础之上发现GPU产生类型。在未来也将在此基础上,进行新的拓展。

目前,优酷土豆视频推荐系统分可大致分为为两部分。***部分,是底层的算法架构,主要做算法的研究工作。第二部分,是上层的支撑架构,即大数据的支撑平台。主要用于将海量视频信息,快速实时的推荐给用户,实现良好的用户体验。

和旧有的视频推荐系统相比,新的视频推荐系统,将数据和计算建立在Hadoop大数据平台之上,包括信息算法的小流量支持和各种业务的流量支持,等可以作为扩展在这个平台上得以实现。

现在,优酷土豆每天可以承受4-5亿次响应,每次响应在3-4毫秒左右。有了一个非常不错的成绩。

而在用户行为的收集上,视频行业一直都把它当作重中之重。对此,优酷土豆成立专项小组,对用户行为进行收集。在新的架构之上,包括之前没有办法收集的用户实时访问的视频数据,用户搜索行为、访问的页面,现在都可以实现实时采集,并引入到实时的算法当中去。同时,在数据的更新频率上,优酷土豆也将更新频率分为了三钟类型。用以实现更加快速实时的用户体验。

未来的优酷土豆视频推荐将会朝什么方向发展?谈到这个问题,单经理对记者说:“未来,优酷土豆视频推荐未来的发展方向可大致分为两点。***,系统架构上将更加实时,以便能更加准确、快速对用户进行分析。第二,在现在的UGC、PGC背景下,传统的基于用户行为的数据,不足以挖掘出用户的全部信息。因此,我们想通过用户行为,用机器自动聚合出标签,用标签做类似准内容推荐。这个标签可以用在用户身上,也可以用在内容上面,来标明用户喜好。更好的提升对用户的服务体验。

责任编辑:陈四芳 来源: 51CTO
相关推荐

2022-06-12 10:55:48

AmbariApachePMC 成员

2022-06-21 14:22:08

云计算混合云人工智能

2022-06-20 09:45:48

Python开源可视化库

2022-05-05 08:16:47

Spark架构Hadoop

2022-06-15 09:54:51

PythonIDELinux

2022-06-21 14:10:43

NIST网络安全

2022-05-24 15:55:37

避障小车华为

2022-06-16 14:59:34

端到端语音翻译系统对话翻译翻译模型

2022-05-25 14:02:08

远程办公

2022-05-06 10:21:22

Python人脸识别

2022-05-30 14:15:39

人工智能算法数据安全

2022-05-12 15:05:32

云计算数据压缩

2022-06-07 17:01:31

UI框架前端

2022-05-16 10:36:08

GitHub开源项目

2022-06-07 11:01:56

人工智能AI技术大会

2022-05-31 06:01:00

WDM/OTN网络数据

2022-05-29 22:20:35

元宇宙大网传输网易

2022-05-23 11:13:02

Python工具

2022-06-07 10:33:29

Camera组件鸿蒙

2022-06-02 15:19:18

加密货币稳定币数字货币

同话题下的热门内容

哪个版本的JVM最快?无代码软件发展简史及未来趋势携程基于 GraphQL 的前端 BFF 服务开发实践为什么会存在 1px 问题?怎么解决?一文搞定常考Vue-Router知识点EcmaScript 2022 正式发布,有哪些新特性?一文详解|增长那些事儿远程医疗:优势、前景和现有IT解决方案

编辑推荐

太厉害了,终于有人能把TCP/IP协议讲的明明白白了!牛人5次面试腾讯不成功的经验HBase原理–所有Region切分的细节都在这里了Javascript如何监听页面刷新和关闭事件如何搭建一个HTTPS服务端
我收藏的内容
点赞
收藏

51CTO技术栈公众号