ClickPrompt：CTR 模型是强大的提示生成器，用于将语言模型适配到 CTR 预测

不失一般性，CTR 预测的基本形式将一个二元分类问题投射到多字段类别数据上。 每个数据样本包含 $F$ 个字段，每个字段从多个类别中取一个单一值，可以用 $\left(x_{i},y_{i}\right)$ 表示。在传统的 CTR 预测中，我们应用独热编码将 $x_{i}$ 转换为稀疏向量 $x_{i}^{ID}$ ，如公式1所示，并将 $y_{i}\in{\{1,0\}}$ 作为真实标签（是否点击）保持。

CTR 模型估计每个实例的点击概率 $P(y_{i}=1|x_{i})$ 。根据(王等, 2022; 林等, 2023b; 张等, 2021)，大多数传统神经 CTR 模型的结构可以抽象为三层：（1）嵌入层，（2）特征交互层，以及（3）预测层。

嵌入层将稀疏的独热输入 $x_{i}^{ID}$ 转换为低维稠密嵌入向量 $\mathbf{E}_{i}=[v_{i1};v_{i2};\dots;v_{iF}]\in\mathbb{R}^{F\times d}$ ，其中 $d$ 是嵌入大小， $F$ 是字段数量。

特征交互层作为 CTR 模型的关键功能模块，旨在通过多种操作（例如，注意力机制、乘积操作）捕获二阶或更高阶的特征交互。该层将基于密集的嵌入向量生成数据实例的紧凑表示。

预测层根据特征交互层生成的表示 $q_{i}$ 计算点击概率 $\hat{y}_{i}=P(y_{i}=1|x_{i})$ 。它通常是一个线性层或 MLP 模块，后接一个 sigmoid 函数 $\sigma(x)=1/(1+e^{-x})$ 。

在预测层之后，CTR 模型以端到端的方式使用二元交叉熵（BCE）损失进行训练：

其中 $N$ 是训练样本的数量。

随着预训练语言模型（PLMs）的兴起，研究人员利用 PLMs 的语义相关能力来解决点击率（CTR）估计问题。 不同于传统的 CTR 预测，输入 $x_{i}$ 通过硬提示模板转换为文本句子 $x_{i}^{text}$ ，如模板A所示。根据任务类型和真实标签的表述，基于 PLM 的 CTR 预测大致可分为两类(Lin 等人., 2023a; Wu 等人., 2023)。

第一个方法(刘等人, 2022; 穆罕默德等人, 2021; 包等人, 2023)将 CTR 预测视为二元文本分类任务，其中真实标签与传统设置相同（即， $y_{i}\in\{0,1\}$ ）。他们利用 PLMs 提取文本输入 $x_{i}^{text}$ 的稠密表示 $q_{i}^{text}$ ，随后通过预测层进行点击估计。采用 BCE 损失进行优化。

第二类(耿等, 2022; 华等, 2023a; 崔等, 2022)将 CTR 预测视为一种序列到序列的任务，其中真实标签被转换为二元关键词（例如，是/否，好/坏）。他们利用编码器-解码器或仅解码器的 PLMs 来遵循指令并回答附加在文本输入 $x_{i}^{text}$ 后面的二元问题（例如，用户会喜欢该物品吗？）。PLMs 可以在零样本设置中被冻结，或通过因果语言建模进行微调。

在本论文中，我们主要关注第一类。也就是说，我们在由 PLM 生成的文本表示 $q_{i}^{text}$ 之上放置一个 MLP 模块。

如图2所示，ClickPrompt 的模型架构设计主要可以分为三个阶段：（1）模态转换，（2）提示生成，（3）提示融合。

首先，模态转换层将输入数据 $x_{i}$ 分别转换为独热 ID 特征 $x_{i}^{ID}$ 和文本特征 $x_{i}^{text}$ 。其次，ID 特征 $x_{i}^{ID}$ 被输入到 CTR 模型中，随后通过提示生成层生成独立的软提示向量。最后，在提示融合阶段，软提示作为 PLM 中每个变压器层的前缀隐藏状态，这允许协作知识和语义知识之间的显式对齐。

至于学习策略，ClickPrompt 采用了常见的预训练-微调方案。我们首先设计了一个提示增强的掩码语言建模（PA-MLM）任务进行预训练，其中 PLM 需要基于文本上下文以及由 CTR 模型生成的软提示来恢复被掩码的标记。预训练完成后，我们可以进行有监督的微调，既可以带 PLM，也可以不带 PLM。前者使得协作信息和语义信息之间能够进行显式交互，以获得更优的性能，而后者则解决了推理效率低下的问题。

以下，我们省略了 CTR 模型和 PLM 的详细结构，因为 ClickPrompt 对二者而言均充当了一个模型无关的框架。

模态转换层将输入 $x_{i}$ 转换为两种不同的模态（即，ID 特征 $x_{i}^{ID}$ 和文本特征 $x_{i}^{text}$ ）。ID 特征 $x_{i}^{ID}$ 通过如下公式1所示的单热编码获得。至于文本特征 $x_{i}^{text}$ ，之前的研究(Borisov et al.., 2022; Hegselmann et al.., 2023)表明，复杂的表格数据模板可能会误导模型，使其无法捕捉文本中的关键信息。因此，我们采用了以下简单的“什么是什么是”硬提示模板：

其中 $f_{j}^{name}$ 是第 $j$ 个字段的字段名， $f_{i,j}$ 是第 $i$ 个数据实例中第 $j$ 个字段的特征值，而 $[\cdot]$ 表示用于使用空格“ ”连接列表中元素的连接运算符。

提示生成阶段旨在将 ID 特征 $x_{i}^{ID}$ 编码为包含丰富协同知识的独立软提示向量，以便后续融合。如第2.1节所述，我们将 ID 输入 $x_{i}^{ID}$ 通过 CTR 模型的嵌入和特征交互（FI）层，以获得紧凑表示 $q_{i}$ ：

然后，我们维护一组用于软提示生成的平行投影网络 $\{g_{l,k}(\cdot)\}$ ：

其中 $p_{i,l,k}$ 表示 PLM 第 $l$ 层的第 $k$ 个提示向量。 $L$ 是 PLM 的变压器层数， $K$ 是每层的软提示数量。每个投影网络 $g_{l,k}(\cdot)$ 被设计为多层感知器（MLP），以促进维度一致性和空间转换。

如图2所示，所获得的软提示将作为 PLM 每一层 Transformer 的前缀隐状态。具体而言，文本特征 $x_{i}^{text}$ 被分词为 $Z$ 个词令牌，PLM 的第 $l$ 层可以表示为：

其中 $[h_{i,l,z}]_{z=1}^{Z}$ 是每一层 $l$ 中标记的隐藏状态。通过这种方式，借助每个 Transformer 层的自注意力机制，CTR 模型的协同信号可以通过提示接口与文本侧的语义知识显式地对齐和融合。

最终，在经过 $L$ 层传播后，我们将池化与预测层应用于 PLM 的输出状态：

输出维度以及后续的激活函数和损失函数取决于我们所采用的任务和学习策略，这将在第3.5节进一步讨论。

如图2所示，ClickPrompt 采用了常见的预训练-微调方案作为学习策略。具体而言，我们首先提出了一种提示增强的掩码语言模型（PA-MLM）作为预训练任务，通过软提示的链接来融合协作知识和语义知识，从而改善了参数初始化。接下来，我们可以选择进行有监督的微调与 PLM 一起以获得更优的 CTR 性能，或者单独微调 CTR 模型不使用 PLM，以同时保留改进的预测准确性和推理效率。

我们比较了所提出的 ClickPrompt 与选定的基线模型的整体性能。请注意，我们选择 DCNv2 作为 CTR 模型，RoBERTa-base 作为预训练语言模型。结果在表2中报告，从中我们可以得出以下观察结果：

• 
  • 传统 CTR 模型相较于基于 PLM 的 CTR 模型表现出显著更优的性能，除 CTRL 模型外。这表明特征交叉模式中嵌入的协同信息对 CTR 预测至关重要，而仅依赖文本输入的语义知识可能导致性能下降，这与（李等，2023a）中的结果一致。
• 
  • CTRL 通常在所有基线模型中取得最佳性能。CTRL 采用基于 CLIP 的框架（Radford 等人，2021 年），并通过对比预训练将语义知识从 PLM 蒸馏到 CTR 模型中。然而，对比目标只能为隐式对齐和最终 PLM 与 CTR 模型表示的后期交互提供粗粒度的实例级监督，导致其性能相对于我们提出的 ClickPrompt 而言相对较差。
• 
  • ClickPrompt ${}_{with\;PLM}$ 在所有基线模型上实现了显著改进，这验证了通过软提示接口显式对齐和早期交互协作知识与语义知识的效果。
• 
  • ClickPrompt ${}_{w/o\;PLM}$ 通常获得第二名，显著优于不改变 DCNv2 模型结构的基线方法。这证明了由 PA-MLM 预训练带来的语义感知参数初始化的重要性。通过牺牲在下游微调过程中与语义信号的显式交互机会，ClickPrompt ${}_{w/o\;PLM}$ 成功提升了预测准确性，而未增加推理延迟。

为研究模型兼容性，我们将 ClickPrompt 框架应用于不同的骨干网络，包括 CTR 模型和 PLM 模型。对于 CTR 模型，我们选择了 DCNv2(王等, 2021)、AutoInt(宋等, 2019)和 DNN，它们代表了不同类型的特征交互算子。对于 PLM 模型，我们选择了以下三种不同模型大小的骨干网络：TinyBERT (14.5M)(焦等, 2019)、RoBERTa-base(125M)(刘等, 2019a)和 RoBERTa-large(335M)(刘等, 2019a)。我们在 Movielens-1M、BookCrossing 和 Amazon-Toys 数据集上进行了模型兼容性实验。结果如表3所示，从中我们可以得出以下观察结论：

• 
  • ClickPrompt 能够在所有骨干网络上相较于原始 CTR 模型（即 N/A）实现显著改进，这证明了其在 CTR 模型和 PLM 方面的卓越模型兼容性。
• 
  • 随着 PLM 模型规模的持续增长，除少数情况外，ClickPrompt 相较于原始 CTR 模型所带来的性能提升也逐渐增加。更大的预训练语言模型拥有更广泛的开源世界知识，这可以有利于语义和协同信号之间的融合与对齐。
• 
  • 尽管我们观察到随着语言模型规模的增加，性能持续提升的现象，但更大规模的 PLM 并不一定会导致 CTR 预测性能成比例改善。因此，考虑到训练开销，我们建议 RoBERTa-base 是 ClickPrompt 在涉及 PLMs 时平衡性能增益和训练成本的一个更合适且经济的选择。

我们分析了超参数和不同配置对 ClickPrompt 的影响，包括提示策略以及协作与语义知识融合策略。在本节中，我们选择 DCNv2、AutoInt 和 DNN 作为骨干 CTR 模型，并选择 RoBERTa-base 作为 PLM 骨干。实验在 Movielens-1M、BookCrossing 和 Amazon-Toys 数据集下，采用与 PLM 微调策略进行。

PLM 带来的语义信息对于冷启动或长尾用户/物品场景尤为宝贵。因此，在本节中，我们进行深入分析，以进一步探究 ClickPrompt 相对于骨干 CTR 模型在长尾用户/物品视角下的性能提升原因。

我们在 MovieLens-1M 数据集上进行实验，以 DCNv2 作为基础 CTR 模型，RoBERTa-base 作为基础 PLM。我们采用了基于 PLM 的微调策略。具体而言，我们根据用户/物品在训练集中出现的频率进行排序。频率最低的 10%被归类为长尾低频用户/物品，而其余的 90%则被视为非长尾用户/物品。根据用户和物品是否为长尾，我们将整个测试集划分为四个互斥的子集。我们在每个子集上评估 DCNv2 和 ClickPrompt，并在表6中报告结果，从中得出以下观察结论：

• 
  • 长尾低频用户或项目会导致传统基于 ID 的 CTR 模型（即 DCNv2）的性能显著下降，而 ClickPrompt 可以一致地提高所有四个子集的预测性能。
• 
  • 在长尾问题较为严重的情况下（例如，用户和物品均为长尾的子集），ClickPrompt 相较于基础 CTR 模型可以带来显著更大的改进。这证实了 ClickPrompt 在解决推荐系统中的冷启动或长尾问题方面是有效的，这些主要贡献于最终性能的提升。

为了估计用户点击概率，传统的 CTR 模型通常通过独热编码将输入数据转换为 ID 特征。其关键思想是捕捉特征交叉模式，这表明了多个特征的组合关系。虽然隐式特征交互由深度神经网络（DNN）建模，但显式特征交互则通过特别设计的学习函数算子来捕捉：（1）乘积算子，（2）卷积算子，以及（3）注意力算子。

产品算子(曲等, 2018; 郭等, 2017; 胡安等, 2016; 何与蔡, 2017; 黄等, 2019; 曲等, 2016)起源于经典的浅层模型，如 FM(Rendle, 2010)和 POLY2(常等, 2010)。例如，DCN(王等, 2017)、xDeepFM(连等, 2018)、DCNv2(王等, 2021)被提出，通过在每一层显式应用基于乘积的特征交互来捕捉高阶特征交互。卷积算子(刘等, 2015, 2019b; 李等, 2019)（例如，卷积神经网络（CNN）和图卷积网络（GCN））也被探索用于捕捉特征模式的局部和全局视图(刘等, 2019b)，并通过消息传播促进交互建模(李等。, 2019). 注意力算子(肖等人., 2017; 宋等人., 2019; 李等人., 2020; 陈等人., 2021)建议采用注意力机制，以允许特征字段或特征交互对最终的 CTR 预测产生不同的贡献。

尽管基于 ID 的 CTR 建模范式在过去几十年中取得了显著进展，但它们通常受到由独热编码带来的语义信息丢失问题的困扰。这进而导致它们无法处理包含冷启动用户/物品或低频长尾特征的场景。

随着预训练语言模型（PLMs）在自然语言处理（NLP）领域的快速发展，研究人员开始探索 PLMs 在 CTR 预测中的潜力(林等., 2023a; 喜等., 2023b)。不同于传统 CTR 预测中的基于 ID 的独热编码，输入数据通过硬提示模板转换为文本句子，如模板A所示。根据真实标签的构建和任务类型，基于 PLM 的 CTR 预测大致可分为两类。

第一个方法(李等, 2023b; 毛等, 2023; 穆罕默德等, 2021)保留了真实标签作为二进制代码 $\{0,1\}$ ，类似于传统设置，并将 CTR 预测任务建模为二进制文本分类问题。例如，PTab(刘等, 2022)首先进一步预训练了一个 BERT 模型(德夫林等, 2018)，用于基于文本化的 CTR 数据的掩码语言建模目标，然后对其进行微调，以用于下游 CTR 估计，并随机初始化预测头。

第二类(张和王, 2023; 林等., 2023c)将二元标签转换为一对关键答案词（例如，是/否，好/坏），从而将 CTR 预测建模为一个序列到序列的任务。例如，P5(耿等., 2022)及其变体(耿等., 2023; 华等., 2023a, b)，提出将 T5(拉斐尔等., 2020)调整为统一的推荐模型，以文本生成的方式处理各种下游任务。其他工作(刘等., 2023a; 包等., 2023)也旨在整合仅解码器的大型语言模型（LLMs），以遵循指令并回答附加在文本输入句子后的用户偏好问题。

尽管语义信息丢失问题得到了很好的解决，但这些基于 PLM 的 CTR 模型无法捕捉字段间的协同信号，导致 CTR 预测性能较差。此外，由大型模型尺寸带来的沉重推理开销使得其在现实工业应用中不切实际。我们提出的 ClickPrompt 不仅可以保留并融合语义和协同知识，以实现 SOTA CTR 预测性能，还能通过提供更好的语义感知参数初始化来解决推理效率低下的问题，仅需微调 CTR 模型。

提示调优为特定 NLP 任务（例如，知识探测、文本分类）（刘等人，2021；金等人，2021）引入了一组可训练的连续提示到预训练语言模型中。通常，提示调优（李和梁，2021；汉巴兹穆扬等人，2021）充当参数高效的微调（PEFT）解决方案，我们仅更新软提示的参数，并在下游任务的监督下，保持原始 PLM 的整个参数不变（莱斯特等人，2021）。这样，在针对不同下游任务微调 PLM 时，我们可以大幅减少每个任务的存储和内存使用。此外，一些工作（刘等人，2023b；本-大卫等人，2022）提出将软提示与 PLM 的所有或部分参数一起调优。值得注意的是，这种设置不再属于 PEFT 方法。它非常类似于标准的预训练-微调范式，但可学习的软提示的添加可以为模型训练提供额外的引导（刘等人，2021）。 尽管这一系列方法可以显著提升模型能力，但它需要大量的计算和存储资源，并且在小数据集上可能会过拟合。

在本论文中，ClickPrompt 采用了提示调优的基本思想(秦和艾斯纳，2021；刘等.，2021)，通过逐层可训练的软提示将 CTR 模型与 PLM 连接起来。一般来说，CTR 模型的结构是特别设计的，旨在捕捉关键特征交互模式，因此它自然是一个强大的软提示生成器，能够适应 PLM 到下游 CTR 预测任务。