1704850814
1704850815
图6–2 列表页消费与详情页消费
1704850816
1704850817
从内容质量维度看，低质量的内容一定会引发用户的反感，如文不对题的标题党、传播虚假信息或耸人听闻信息的猎奇党、质量低下的无聊水文、因时间识别错误导致的旧闻问题等。如图6–2中第二篇内容的情况，用户在被标题吸引点击后可能很快就会退出，或是在内容当中举报，留下负面评论内容等。我们可以通过用户的反馈行为来发现第二类内容，以降低它们对用户体验的影响。
1704850818
1704850819
但是，对于列表页刷过但是没有被点击的内容（如图6–2中第三篇内容）又该怎样处理呢？
1704850820
1704850821
通常，我们将没有被点击的内容视作对用户无损，它起到了如兴趣探索、广告变现等作用。但在实践过程中，我们发现有部分内容会因题材问题而非质量问题，对部分敏感用户的列表页消费体验造成负向影响，我们将之归结为易反感内容。常见的易反感内容有：
1704850822
1704850823
• 鬼神类内容：如灵异故事、UFO（不明飞行物）等
1704850824
1704850825
• 恐怖血腥类内容：如蛇、野生动物等
1704850826
1704850827
• 迷信类内容：如算命、风水等
1704850828
1704850829
对易反感内容而言，先要识别得准，再要推荐得好。
1704850830
1704850831
识别过程采用的是数据产品中定量分析处理问题的通用流程：分析影响面、定义标准、数据收集标注、模型评估。
1704850832
1704850833
1704850834
1704850835
1704850836
图6–3 易反感内容示例
1704850837
1704850838
分析影响面旨在帮助我们更好地确定待解决问题的优先级，将有限的精力优先投入到收益场景更大的事情上。就易反感内容的影响面而言，用户的反馈量统计就是一个衡量标准。将一定周期内用户的反馈进行整理和标注，对应到不同的易反感内容类别上，就得到了各个类别的影响面情况（如表6–2所示）。
1704850839
1704850840
表6–2 用户反馈量统计示例
1704850841
1704850842
1704850843
1704850844
1704850845
在确认了问题的影响面和优先级之后，就需要针对各类问题达成一致可理解的定义。在这一环节中，我们需要抽离出问题最重要的抽象信息，让第一次看到这些信息的人也能迅速明白这类问题的主要表征是怎样的；然后，辅以大量的正例、负例，以帮助参与的人能够通过例证更好地对齐理解、把握尺度。比如，对迷信类内容的标注为：
1704850846
1704850847
表6–3 迷信类内容标注示例
1704850848
1704850849
1704850850
1704850851
1704850852
数据收集与标注是为模型训练做准备的。基于对标准的理解，标注人员通过双盲校验的方式标注出足够进行模型训练的数据。在大型互联网公司，通常都有专门的数据标注人员负责企业数据的标注和整理。
1704850853
1704850854
在研发产出识别模型后，产品经理还需要对模型的准确度和召回度进行评估。在不同的应用场景下，准确和召回的平衡度是不一样的。在易反感问题上：如果要强化读者端的体验，尽量不让用户看到易反感的内容，就需要重视召回率，宁肯误删也不能漏删；如果要强化作者端体验，希望作者的内容尽量不要被误删，则需要重视准确率，适当露出一些置信度低的结果或增加人工复审捞回流程以保证内容不至于被错杀。
1704850855
1704850856
在推荐过程中，对易反感内容的推荐处理是一个强化负反馈的过程。
1704850857
1704850858
在列表页展示层，对普通内容而言，如果用户不点击的话可以视作无损，而对于易反感内容，即使用户不点击，也应当视作一个负向反馈，拉长此类内容的二次探索周期。
1704850859
1704850860
以推荐蛇和NBA内容给女性用户为例。如果用户都没有点击，那么可以将NBA内容在下一个周期（比如5天）再次推荐给用户，作为二次探索尝试；但蛇的内容就应该推迟多个周期后才推荐，以降低对用户可能的影响。
1704850861
1704850862
在令用户反感的行为上亦然。用户往往只会点击页面上的关闭按纽，而不会选择具体原因。如果一篇内容同时命中多个点的话，容易引起反感的原因理应受到更大的惩罚值。
1704850863