提示调优作为用户固有特征推断机制

学习推荐模型可以被视为学习一个映射函数 $f$ ，该函数将一组描述性特征集 $E$ 映射到推荐目标 $y^{rec}$ ，如下公式所示：

通常，描述性特征集 $E$ ，包括可观察特征如性别或年龄（ $E_{obs}$ ），是从日志系统信息中提取的。然而，由于隐私问题或其抽象性质，不可观察的用户潜在特征（ $E_{latent}$ ），如家庭背景或个人特质，往往是缺失的。

与 $E_{obs}$ 相同， $E_{latent}$ 是用户行为的原因。这种因果关系在图2中展示。一个富裕家庭（潜在剖面）通常更愿意购买奢侈品，而一个音乐爱好者（潜在剖面）可能会收藏许多乐器。从数学上讲，我们将 $E_{latent}$ 表示为一组可训练的软标记 ${\theta^{1},\theta^{2},...,\theta^{M}}$ ，其中每个标记代表一个独特的潜在剖面变量。然后，这个问题就变成了一个推理问题，即寻找最佳的潜在变量集以最大化观察到的用户行为的似然性。

在这个公式中， $P_{\phi}$ 是一个将用户的潜在特征映射到观察到的用户行为概率的函数。不幸的是，在推荐领域，并没有现成的 $P_{\phi}$ 可以在未确切看到 $\theta^{1},\theta^{2},...,\theta^{M}$ 的情况下使用。然而，LLMs 可以作为 $P_{\phi}$ 的替代模型，这得益于其丰富的世界知识和卓越的推理能力。我们设计了 UserIP-Tuning 框架，以在语义空间中执行这一潜在特征推断任务，同时解决引言中提到的四个挑战。

用户 IP 调优过程如图3所示。它包括一个用户 IP 推理模块、一个用户 IP 量化模块和一个预存储的用户 IP 特征库。推理模块将用户的潜在画像视为软提示，并通过最大化真实用户交互序列的似然度来推断它们。然后，这些潜在画像通过一个可训练的量化模块被哈希成离散的协同 ID，该模块由推荐损失监督。最后，这些 ID 被存储在离线特征库中，用于下游推荐任务。

为解决引言部分提到的扭曲的因果关系和文本噪声问题，我们设计了用户 IP 推断模块。该模块在LLMs的语义空间中，利用任务特定的软提示和因果掩码，对图2中描述的潜在特征推断问题进行建模。

首先，图2中展示的概率图被重新组织，以适应图4（上）所示的LLMs的自回归结构，其中左部分被视为提示，右部分被视为真实输出。为了减少文本噪声，只有紧邻目标潜在轮廓名称（ $x$ ）的标记（ $\theta$ ）被视为软提示。此外，这些软提示只能受其各自潜在轮廓名称的影响。

文本提示被设计用来满足上述因果关系，包含三个组成部分：（1）上下文标记 $x$ ，用于指示我们感兴趣的潜在特征；（2）可调节的软潜在特征标记 $\theta$ ，以便最大化用户互动行为的可能性；（3）特定任务描述 $D_{task}$ ，例如目标项目的用户点击历史预测或评论预测。提示的模板以公式形式呈现：

其中 $L_{M}^{{}^{\prime}}$ 通常表示连接的潜在剖面名称 $x$ 和软潜在剖面标记 $\theta$ 。例如，图3及以下提示模板展示了提示，其中 $x_{1}$ 是“这位用户的爱好是”， $x_{2}$ 是“他的背景是”。通过将每个剖面名称放在其对应的潜在剖面标记之前，LLMs被迫更加可控地推断潜在剖面，因为LLMs在 NLP 任务中训练考虑语言上下文。

此外，为确保软提示只能受其各自潜在剖面名称的影响，在模型训练中使用了特定的因果掩码，如图4（下）所示。通过这种因果掩码，潜在剖面变量 $\theta_{1}$ 和 $\theta_{2}$ 只能关注其各自的剖面名称和交互，而对其他无关词汇视而不见。

基于上述的提示和因果掩码，LLMs将生成用户交互序列的概率分布。 然后我们计算在该分布下我们真实用户交互序列的可能性。通过使用梯度下降算法最大化可能性，反向推断第 $m$ 个用户潜在轮廓 $\theta^{m}$ 的软标记嵌入，同时冻结剩余的LLMs参数。每个推断出的嵌入代表一种相应的轮廓类型，例如收入背景轮廓中的高收入，这对于捕捉用户偏好非常重要。

LLMs旨在预测用户 $u$ 的交互历史，同时更新潜在配置文件变量 $\theta^{m}$ 。我们构建语言建模损失（交叉熵损失），利用真实的用户交互历史 $y^{rec}$ 和生成的结果 $\hat{y}^{rec}$ 。具体来说，在推断多个潜在配置文件变量后，微调的目标是最小化 $\mathcal{L}(\theta)=\mathbb{E}_{u}[\ell_{u}(x^{1},x^{2},...,x^{M},y^{rec},\theta^{1},\theta^{2},...,\theta^{M})]$ ：

为从理论上证明我们框架的有效性，我们首先假设LLMs的预训练数据分布 $P_{\phi}$ 能够适当地近似真实数据分布 $P$ 。

这个假设在现有的LLMs文献中是常见的，这表明LLMs识别了语言的真实分布。此外，还得到了以下命题，

从命题来看，随着用户潜在特征类别的增加，所推断的用户潜在特征变量被选为令人满意的推理结果。

然后，将学习到的潜在剖面变量输入到用户 IP 量化模块中，以消除超出范围的噪声。

上一节中推断的潜在轮廓嵌入的一个问题是，它们位于LLMs的语义空间内。这些嵌入包含丰富的语义信息，适用于 NLP 任务，但对于推荐任务来说可能过于详细。因为后一项任务只需要协同信号来训练轮廓表示。此外，LLMs的嵌入维度对于推荐任务来说过于庞大，难以进行高效的在线推理。

为了弥合 NLP 任务与推荐任务之间的模态差距，并进一步提高模型效率，设计了用户 IP 量化模块，用于从潜在剖面嵌入中提取轻量级协同 ID。 我们为每个推断的潜在剖面分配一个协作量化码本 $\mathcal{C}^{m}$ 。对于每个码本，我们将码的大小设置为 $K$ 。 $k^{th}$ 码的嵌入表示为 $\{\boldsymbol{v}^{m}_{k}\}$ 。

码本学习过程与传统的 CV/NLP 模型有所不同(van den Oord 等., 2017; Rajput 等., 2023; 郑等., 2023)，其中仅使用语义距离作为量化的监督。在 UserIP 中，嵌入用于在线推荐，其中建模协作是关键目标。因此，UserIP 的嵌入相似性也应基于协作信号（例如，参见啤酒与尿布案例，即使它们在语义空间中不同，在协作空间中却是接近的）。

为了整合协作目标，我们设计了以下损失函数（公式5）。损失函数的第一项将码本拉近潜在轮廓空间。 $sg[\cdot]$ 表示停止梯度运算符， $\beta$ 是损失权重参数。第一部分最小化簇中心向量 $v_{k}^{m}$ 与潜在轮廓变量 $\theta^{m}$ 之间的距离。第二部分约束轮廓嵌入的更新速度。第二项使用代理推荐模型损失训练潜在轮廓嵌入。 $v_{c_{m}}^{m}$ 表示选定的码本嵌入（公式6）， $i$ 代表物品嵌入， $E_{obs}$ 代表其他用户轮廓。它直接使用码本嵌入作为推荐任务的输入，并通过直通梯度估计使用推荐损失更新潜在轮廓嵌入（与 $l^{llm}$ 一起）。

训练后，通过查找与上一节推断出的潜在用户画像最接近的码本嵌入的索引，来推断用户的潜在画像 ID。

潜在剖面训练的总损失定义如下，其中 $\alpha$ 是损失权重。

训练大型文本嵌入和软标记显著增加了计算负载，导致在线推荐器的推理效率低下。 为解决推理效率低下的问题，在训练 UserIP-Tuning 后，将使用特征库来存储每个用户的潜在特征索引 $c_{1}$ ，…， $c_{M}$ 。在在线推理阶段，下游推荐模型可以直接在预存储的特征库中搜索用户的潜在特征索引，并添加到用户的特征字段中，而无需重新训练 UserIP-Tuning： $Recommender[u,i,c_{1},c_{2},...,c_{M}]$ 。这显著减少了训练时间，大幅提高了在线推理效率，并实现了低延迟。

为加强特征场信息，将用户的潜在特征指标添加到传统的推荐模型中，例如 DCN (王等., 2017)、DeepFM (郭等., 2017)，以增强用户建模特征并提升协同信号，如图3所示。本模块中使用推荐模型 DCN (王等., 2017)来输出推荐预测结果 $\hat{y}^{rec}$ 。在此，对于给定的用户-物品对，用户的潜在特征指标与用户 ID 和物品 ID 相连接，作为推荐模型的输入特征场，单一目标损失函数定义如下：

其中 $Rec[\cdot]$ 代表传统推荐模型， $y^{rec}_{i}$ 表示用户 $u$ 是否与物品 $i$ 互动的真实二进制标签， $\hat{y}^{rec}_{i}$ 是来自 UserIP-Tuning 的互动预测概率， $N$ 是用户-物品样本的数量。值得注意的是， $y^{rec}_{i}$ 由用户评论评分决定：当物品 $i$ 的评论评分大于 3 时， $y^{rec}_{i}$ 等于 1，否则 $y^{rec}_{i}$ 为 0。

优化过程在算法1中进行了描述。具体而言，在每次迭代中，随机抽取一小批用户-物品交互记录和配置文件名称（第 1-2 行）；然后，对于每个数据点，根据语言损失 $\ell^{llm}$ 更新配置文件嵌入的梯度（第 3-4 行）；接下来，计算每个推断出的配置文件嵌入的最近索引 $c_{m}$ ，并根据量化损失 $\ell^{vec}$ 更新码本的梯度并累积配置文件嵌入梯度（第 5 行）；最后，更新配置文件嵌入和码本（第 6-7 行）。

我们的模型在四个真实世界的开放数据集上进行评估，包括亚马逊服装鞋类和珠宝、电影和电视、视频游戏以及 Yelp。为简便起见，我们使用服装、电影和游戏来表示前三个数据集。下表介绍了这些数据集的概览信息（见表1）。

亚马逊服装、电影和游戏 1
这是一个真实世界的产品评论数据集，包含各种子集类别。我们使用服装、电影和游戏子数据集，这些数据集记录了用户在 1 到 5 的评分范围内的评论和评分。数据集中的每个用户都与爱好和背景信息相关联，即用户的服装品牌偏好、电影、游戏类别偏好以及物品消费水平。

Yelp²²2https://www.yelp.com/dataset/documentation/main
这是一个餐厅评价数据集，记录了餐厅属性和用户的评价以及 5 星评分。每位用户都有爱好和背景信息，即用户对餐厅类别的偏好和餐厅消费水平。

为验证 UserIP-Tuning 推荐效果的有效性，我们在四个数据集上进行了二分类（即点击率预测）。分类实验通过 AUC 和 Logloss 进行评估，其中 AUC 略有提高或 Logloss 略有降低（例如，0.001）可以代表我们模型性能的显著改进(郭等人., 2017)。此外，我们过滤了交互次数少于四次的冷启动用户和物品，并使用 3 作为阈值将评论分数转换为二进制标签。评论分数大于 3 的标记为“正面”（ $y$ = 1），其余的标记为“负面”（ $y$ = 0）。此外，根据(李等人., 2023a)和(阎等人., 2014)，UserIP-Tuning 的 AUC 和 Logloss 相对于最佳基线的相对改进计算如下：

本小节介绍了推荐任务的基线方法。UserIP-Tuning 的模型性能与三种类型的推荐基线进行了比较：浅层算法、先进的深度学习算法以及基于LLMs的推荐方法。首先，浅层算法主要包括二阶和高阶特征交互以及注意力方法，包括 FFM (胡安等., 2016)、AFM (肖等., 2017)。先进的深度学习算法基于深度交叉特征和因子分解机网络，包括 FiBiNet (黄等., 2019)、DIFM (卢等., 2021)、AFN (程等., 2020)、DeepFM (郭等., 2017)、AutoInt (宋等., 2019)、ONN (杨等., 2020)、PNN (曲等., 2016)、DCN (王等., 2017)、DCNv2 (王等., 2021)。我们还比较了我们的模型与基于LLMs的方法，如 KAR (席等.).，2023)，PEPLER（李等。，2023d)，和 ReLLa（林等。，2024)，事实和推理知识增强推荐方法。

我们从 Huggingface3 选择了 Llama2-7B
作为 UserIP-Tuning 中LLMs的骨干。我们使用 Python 3.9 和 PyTorch 2.1.0 实现了所有比较方法。遵循前人工作(李等., 2023d; 廖等., 2023)，实验中将训练集、验证集和测试集按 8:1:1 划分。基准测试的超参数默认设置以获得其最佳性能，并使用 Adam 优化器。Llama2-7B 中的嵌入大小为 4096，批量大小为 8。我们使用 AdamW 优化 UserIP-Tuning，并将批量大小设置为 128。在训练过程中，我们冻结LLMs的权重。学习率设置为 0.001，潜在配置文件嵌入大小为 4096。此外，爱好码本的数量设置为 4，背景码本的数量为 3。在下游推荐器 DCN 中，网络层数为 3，嵌入维度为 8，dropout 率为 0.2，MLP 嵌入维度为(16,16)，我们使用物品 ID 和用户 ID 作为显式特征字段。损失权重为 $\beta_{m}$ =0.001， $\beta$ =0.001， $\gamma$ =0.001。我们使用一块 NVIDIA H800 80GB GPU。

为回答研究问题 1，将 UserIP-Tuning 与其他先进推荐算法进行了比较。总体性能如表2所示，其中最佳结果以粗体显示，次佳结果以下划线标出。

从表中我们可以观察到：1) 所提出的方法 UserIP-Tuning 显著超越了所有基线方法。在 Clothing、Movies、Games 和 Yelp 上，AUC 相对于最佳基准方法的相对改进值分别约为 4.55%、0.53%、3.28%和 1.19%；Logloss 相对于最佳基线的相对改进值分别约为 3.82%、0.35%、6.30%和 0.29%。UserIP-Tuning 的模型性能表明，推断出的用户潜在特征变量捕捉了用户画像。AUC 的相对性能改进基本上大于 Logloss，这意味着 UserIP-Tuning 增强了推荐精度并捕捉了用户偏好。2) 浅层传统基准方法 FFM、AFM 在四个真实数据集上取得了最差的预测结果。它们的预测基于训练阶段的用户-id 和物品-id 特征。这一评估结果说明，利用浅层特征交互可能会损害推荐效率。3) 深度学习基线方法如 PNN、DCN 表现优于传统算法，因为它们捕捉了更多多样性和协同信息。 然而，先进的深度学习方法仍然不如 UserIP-Tuning，因为 UserIP-Tuning 集成了用户画像变量和协同指数信号，有效提升了其捕捉用户偏好和互动信息的能力。4)基于LLMs的方法，如 KAR、PEPLER、Rella，取得了比大多数深度学习基准更高的结果，因为它们利用了用户偏好的推理知识和物品的事实知识。但是，UserIP-Tuning 可以学习用户的内在画像并捕捉用户偏好，因此，UserIP-Tuning 更为优越。

这部分研究 UserIP-Tuning 的可迁移性。具体而言，我们探讨使用 UserIP-Tuning 训练的用户画像指标是否可以应用于其他下游模型 $Recommender$ [ $\cdot$ ]，并进一步检验我们模型的一般化迁移能力。

用户 IP-Tuning 中的用户画像指标被用于训练如 PNN(Qu 等., 2016)、ONN(Yang 等., 2020)和 DCNv2(Wang 等., 2021)等推荐器，并在四个数据集上进行实验。结果展示在表4中，其中“UserIP-Tuning-PNN”表示将 UserIP-Tuning 中的相应指标特征添加到“PNN”推荐器中，类似地，也评估了“UserIP-Tuning-ONN”和“UserIP-Tuning-DCNv2”的性能。从表中可以看出，结合 PNN（或 ONN、DCNv2）的 UserIP-Tuning 性能优于原始推荐器 PNN（或 ONN、DCNv2）。这一现象表明，用户潜在画像变量及相应指标可以增强多个推荐器的性能。此外，UserIP-Tuning 的泛化迁移能力在不同下游推荐器中得到了验证。

在本小节中，为了检验 UserIP-Tuning 的重要超参数，我们在四个数据集上系统地改变了 VQ 模块中的配置码本大小 $K_{m}$ 。

结果证明，随着配置文件码本大小的增加，模型性能变差。如图5所示，随着爱好配置文件码本大小的扩展，AUC 降低，Logloss 增加。被划分到过度冗余簇的用户配置文件指标变得分散，无法捕捉到准确的用户配置文件特征。

此外，我们将用户背景配置文件码本大小 $K_{2}$ 从 3 变化到 81，实验结果如图6所示。值得注意的是，当 $K_{2}$ 等于 3 时，AUC 达到 73.931%，Logloss 降低至 0.72851。这些发现表明，当 $K_{2}$ 较小时，UserIP-Tuning 能实现更优的性能。拥有较少的索引簇对学习用户画像和提高推荐准确性是有益的。此外，VQ 模块的有效性得到了验证，表3展示了消融研究的结果。当从 UserIP-Tuning 中移除 VQ 模块时，潜在画像变量 $\textit{E}_{cep}(\theta^{m})$ 直接输入到下游推荐模型中，模型性能劣于 UserIP-Tuning。

在本小节中，我们考察了 UserIP-Tuning 在从华为平台收集的大规模工业数据集上的模型性能和推理时间。该数据集记录了七天内的用户行为数据，包括用户交互行为（例如，用户点击的物品列表）、物品原始属性（例如，物品标题）和上下文特征（例如，时间）等。

我们在表6中总结了华为离线实验的推理时间结果。从表6可以看出，我们的模型 DCN + UserIP-Tuning 达到了 1.21 秒/10000 个实例，比 DCN 的推理时间多 0.28 秒。基线 KAR 的推理时间远大于 DCN，高达 4.78 秒，几乎是 UserIP-Tuning 的 4 倍。因此，在工业场景中，它在推理能力和推荐性能方面是高效的。在附录3.9中，我们考察了 UserIP-Tuning 在华为上的模型性能，展示了其推理效率。