Skip to content

推荐算法:短视频是怎么猜中你喜好的 ​

「跟着 AI 学任何东西」系列第 41 篇,「向 AI 学 AI」第 6 篇,也是这一系列的收尾。前五篇讲的都是你主动去用的那个 AI,这一篇讲那个一直在用你的。

⚠️ 各平台实现差别很大,本文只讲通用骨架,不针对任何具体产品。

你从没告诉过它你喜欢什么 ​

刷到第三条就停不下来。而你确实没填过任何兴趣问卷。

大多数人的解释是「它很懂我」。

更准确的说法是:

它根本不懂你。它甚至可能不知道那个视频里有什么。它只知道:跟你行为很像的那批人,把这一条看完了。

一、最反直觉的一点:它很可能不理解内容 ​

推荐系统的骨干方法叫协同过滤。它的逻辑简单到有点可怕:

喜欢 A 的人也喜欢 B —— 所以你喜欢 A,那就试试 B。

注意这个判断完全不需要知道 A 和 B 是什么。不需要看懂视频,不需要读懂文章,甚至不需要知道那是个视频。它只处理一张巨大的「谁看了什么」的行为表,从中找共现规律。

这解释了一件常被误解的事:为什么它能推出你说不上理由、但确实爱看的东西。

因为它捕捉的是人群行为里的统计规律,而那种规律往往根本没有语言能描述。你说不出你为什么爱看,它也说不出它为什么推——但那个相关性是真实存在的。

(补充一句:现代系统当然也大量使用内容特征、多目标建模等等。但「行为共现」仍然是骨干。)

二、为什么必须分两步:召回与排序 ​

候选内容池是百万到上亿的量级。对每一条都精细打分,算力上不可能。

所以工业界的标准做法是两阶段——2016 年 YouTube 那篇经典论文(Covington 等,RecSys)就是按这个二分法写的:

  1. 召回:用便宜、粗糙的方法,从全库里捞出几百到几千条「可能相关」的;
  2. 排序:用昂贵、精细的模型,只对这几百条打分,排出你最终看到的顺序。

这里有一个很少被提到的推论:

你能看到什么,早在「召回」那一步就被决定了大半。 排序只是在一个已经被筛过的小池子里排队。

那些从来没进过召回的内容,对你来说等于不存在——而且你永远不会知道它们存在过。

三、目标函数决定一切 ​

这是全篇最该记住的一节。

系统优化的不是「让你满意」,因为满意没法测量。它优化的是可测量的代理指标:完播率、停留时长、互动率、次日留存。

你无法优化你没有测量的东西。而你测量什么,就会得到什么。

这一句能一次解释掉一堆现象:

  • 为什么标题党有效 —— 因为点击是可测量的,失望不是;
  • 为什么内容越来越短 —— 因为完播率是可测量的;
  • 为什么争议性内容传播快 —— 因为吵架也算互动;
  • 为什么你刷完之后并不快乐,但明天还会刷 —— 因为**「明天还会刷」正是被优化的那个指标,而「刷完是否快乐」不在指标里**。

最后这条值得停一下。它意味着:

推荐系统没有恶意。它只是极其忠实地,在优化一个被人写下来的数字。

而它优化得越好,那个数字和「你真正想要的东西」之间的缝隙,就被撑得越大。

四、隐式反馈:你以为你没表态 ​

你没点赞、没收藏、没关注、没评论。你觉得自己什么都没说。

但你多停留了三秒。

那三秒就是信号——而且是最主要的信号来源。 因为显式反馈(点赞、收藏)太稀疏了,绝大多数人绝大多数时候什么都不点。系统要学习,只能靠这些你没意识到自己给出的东西:停留时长、有没有看完、有没有回看、划走的速度。

所以:

你以为的「我只是随便看了一眼」,在系统眼里是一次相当诚实的表态。

五、回路,以及唯一能撑开它的东西 ​

把前面几节接起来,就得到一个闭环:

推荐的反馈回路

推荐塑造你的行为,你的行为再训练推荐,范围越推越窄。

关键在于看清它到底学到了什么:

不是「你是谁」,而是「在它给你的那些选项里,你选了什么」。 而选项范围,一直是它定的。

好在系统内部有一个天然的对冲机制,叫探索:它必须偶尔推一些自己也不确定你喜不喜欢的东西。原因不是为了你好,而是纯粹的自利——如果只推已知你会点的,系统会把自己锁死在一个局部最优里,再也发现不了你的新兴趣,长期收益反而降低。

但探索的比例是平台调的,不是你调的。

你手上能动的其实只有三样:

  • 主动搜索。 这是最关键的区别——搜索是你定义选项,推荐是它定义选项。
  • 用「不感兴趣」。 这是少数几个你能给出的显式负反馈,而它的权重远高于你默默划走。
  • 偶尔看看别人的推荐页。 换个设备、换个账号,你会直观地看到「世界的另一个版本」。

六、⚠️ 四条边界 ​

第一,各平台差别很大,本文讲的是通用骨架,不是任何一家的实际架构。

第二,「协同过滤」是骨干但不是全部。 现代系统大量融合内容理解、多目标优化、多样性与新鲜度约束——「它完全不懂内容」是对早期方法的准确描述,对今天则是简化。

第三,这不是阴谋论。 没有人在后台针对你。它是一个在优化数字的系统,后果是涌现出来的。这一点比阴谋更难对付——因为没有一个可以叫停的人。

第四,「信息茧房」到底有多严重,学界仍有争论。 有实证研究发现效应没有公众想象的那么强,也有研究发现相反。本文讲的是机制上存在这个回路,不是断言「你已经被困住了」。

收尾 ​

「向 AI 学 AI」这一支到这里六篇齐了:

  • 它是一台预测下一个词的机器;
  • 所以它会自信地胡说;
  • 所以换个问法,答案能好十倍;
  • 它每次都从头重读,而且读得不均匀;
  • 把它放进一个循环里,它就能动手,但错误会连乘;
  • 而最后这一篇讲的,是唯一一个你不用打开它、它也一直在运行的 AI。

一句话收:

推荐系统不是在猜你喜欢什么,是在测你会对什么做出反应。

这两件事在大多数时候是重合的。而在它们分开的时候,它选后者。


附:这次我是怎么问 AI 的 ​

  • 先问「它是不是真的看懂了内容」。 这个问题看起来很傻,但答案(很多时候不需要看懂)直接掀翻了我原本的整个理解框架。对一个系统,先问「它到底用了哪些信息」,比问「它有多聪明」有用得多。
  • 问「它在优化什么」,而不是「它怎么工作」。 前者是机制,后者是意图——而对任何一个自动系统,意图(目标函数)比机制更能预测它的行为。「你测量什么就得到什么」这一节是这么问出来的,也是全篇解释力最强的一节。
  • 专门问「有没有什么是我以为没做、其实做了的」。 问出了隐式反馈。很多系统的关键输入,恰恰是用户认为自己没有提供的那些。
  • 要求给出反向的边界:这个说法哪里被夸大了。 「信息茧房」是个很好用的词,好用到危险。一问就问出学界证据其实不一致——所以正文里只讲机制存在,不下断言。

参考来源 ​

  • Covington P, Adams J, Sargin E. Deep Neural Networks for YouTube Recommendations. RecSys 2016, pp. 191–198.(工业级推荐系统的两阶段架构:候选生成 + 排序)
  • 协同过滤(基于行为共现而非内容理解):推荐系统的经典方法族。
  • 隐式反馈(停留时长、完播、回看等)作为主要训练信号、显式反馈稀疏:推荐系统工程中的通用事实。
  • 探索与利用的权衡:在线学习/推荐系统中的标准问题。
  • 「信息茧房 / 过滤气泡」效应强度存在争议:相关实证研究结论不一致,本文因此只主张机制上存在反馈回路,不主张其后果的强度。

本文不针对任何具体平台或产品,也不涉及其实际算法实现。

books.sdx88.com