搞懂这届消费者的硬核方法，了解一下

三种偏差让理解消费者“难难难”

根据消费者决策行为的相关理论，可以归纳出三种类型的自我选择偏差，即接触偏差（exposure bias）、购买偏差（acquisition bias）和少报偏差（under report bias）。

消费者在主动搜索感兴趣的产品时，会有选择地接触不同的产品。根据信息寻求中的选择性接触理论，在决策过程中，人们更倾向于选择性地接触支持其信念、期望的信息环境中，由此产生了接触偏差。换言之，消费者通常选择性地接触部分产品，例如他们以前了解过的产品等。

购买偏差可以用效用理论来解释，它是说消费者只购买在他们购买前评价为正净效用的产品，换句话说，通常观察到的购买数据容易反映出相对较高的效用。因为产品评分更有可能是由对产品满意度较高的消费者评出，从而产生正向的偏差。

少报偏差是由于只有一部分消费者在购买后会提交评分而形成的。根据消费者满意度的经典理论，消费者往往只在满意度非常高或非常低的情况下，才更倾向于透露自己的意见，因此评价会呈双峰分布，中间数据较少。

这三种类型的自我选择行为共同作用形成了被广泛观察到的J形评分分布，这也说明数据存在明显的偏倚，但却常将其作为推荐系统的训练数据。具体来说，消费者购买和评分的整个过程，三种偏差的来源如下图所示。

鉴于上述偏差，将未做处理的数据用作推荐系统的输入是有问题的。然而，目前还没有研究系统地考虑这三种类型的偏差，以设计一个可以全面进行去偏的推荐系统。

一个好的去偏模型cover掉三种偏差

在推荐系统设计中，自我选择偏差被视为一个非随机数据缺失问题，现有文献主要从联合似然法、插值法和逆倾向评分法三种角度处理推荐系统输入数据的非随机数据缺失问题。

联合似然法构建了一个由数据生成和数据观测两部分组成的概率框架，即推导了数据生成和观测的联合似然后，利用似然最大化估计参数；插值法通过用超参数人为地替换未观测到的评分来填充评分矩阵，然后根据完整的评分矩阵来推断参数并最小化预测误差；逆倾向评分法通过评估评分观察的倾向（或概率）来最小化评分预测误差，但即使有准确的倾向，逆倾向估计工具也可能由于其方差过大而无效。

通过分析消费者在购买和评价阶段的行为，王聪教授及其合作者提出了一个统一的生成模型，系统地涵盖了三种自我选择偏差。该模型优化了基于相关消费者行为理论的评价观测模型，然后推导出生成和观测数据的联合似然，并将期望最大化算法运用于参数推断，同时将计算进行了简化以提高效率。

为企业提供的启示

该研究收集了来自Yahoo！、Coat和Goodreads三个平台的真实数据，其中排除了自我选择偏差的数据（通过要求Yahoo！用户随机选择一些项目进行体验和评分而获得）。

研究通过大量实验来评估所提出新推荐方法的性能。结果显示，新方法在评分去偏方面的确优于其他基准，在预测评分披露行为、预测购买行为方面同样出色，同时，该方法更善于消除上偏的偏差。可以说，在各种指标上，该研究提出的方法始终优于其他基线方法。

总的来说，在理论上，该研究提出了一个综合的基础评分生成和评分观察过程，并对个性化推荐的基础评分进行了估计，体现了以内核理论为指导的信息技术工具设计的重要性；在方法上，该研究是最早在设计推荐系统模型时同时考虑三种类型的自我选择偏差的研究之一。

本研究为企业提供了一些启示。有了更准确的评分预测机制，推荐系统就可以提供更准确的推荐，这对零售商、消费者以及平台都是有利的。另外，由于多数情况下消费者的偏差是正的，而该研究提出的方法也更适用于始终为正偏差的消费数据，因此该方法可以很好地适应各种场景。

该研究也为今后的个性化推荐工作开辟了新的方向。其一，是在推荐系统设计中进一步考虑其他类型的偏差；其二，未来可考虑开发一个标准化数据集，用于同时评估隐式反馈和显式反馈的去偏效果，其中评论内容也可以作为去偏过程的重要依据。