时间:2022-07-05 16:12 来源:互联网 作者:如何营销网 点击:正在加载...
机器之心报道
编辑：思
腾讯广告通过模型能力的提升助力广告主达成生意目标，同时兼顾用户体验，实现多赢局面。
模型是广告系统中的一个复杂且重要的组成部分。之所以说它很复杂，不仅在于庞大的用户量及广告场景，也在于广告这种天然的多模态数据，要求模型具有强大的拟合能力。
思考一下，如果你是一名工程师，怎样才能让你的模型理解广告的内容、主题、目标受众？对于手机、电脑等不同设备，食品、汽车等不同行业，销量、名声等不同目标，模型怎样才能理解不同的广告场景？又怎样才能从百万条广告中为受众选择合适的推送？面对流量竞争加剧的大环境，广告系统如何用技术破局，通过模型能力的提升助力广告主达成生意目标，同时兼顾用户体验，实现多赢局面？
不得不承认，抛开工程难度不说，想要拍脑袋得出一套好的解决方案，也基本是不可能的。
那么业界顶尖的广告系统，它到底是怎么做的呢？本文将从腾讯广告混元 AI 大模型及广告大模型出发，介绍腾讯广告系统背后的技术，以及如何带来广告系统的硬指标——商品交易总额（GMV）的提升。
大模型：广告系统的灵魂
在了解腾讯广告系统具体细节之前，我们先要有一个概念：大规模预训练模型，或者说大模型，不仅是 NLP、CV 的未来，同时也是广告系统的灵魂。
归根究底，广告系统需要解决以下两个关键问题：
如何理解各种广告文案、图片与视频？
如何将合适的广告，在合适的时间推送给合适的人？
而这两点，恰恰是大模型能够处理的。一方面，多模态大模型能充分理解广告内容；另一方面，广告推荐大模型，能充分考虑庞大的用户与广告库，找到最合适的推荐。
拥有了大模型，手上也就有了武器。
混元 AI 大模型充分编码文本、图片、视频等各种类型的广告数据，并理解它们都是什么，以及想要表达什么；腾讯广告大模型则基于之前理解的广告内容，思考到底要推荐给哪些人群，才能既帮广告主达成营销目标，又能让信息满足受众的需要。
混元 AI 大模型：内容理解是一切的基础
在广告系统中，广告的视频、图片、文案是天然的多模态数据，能充分理解它们的也必然是最新的大规模多模态训练。BERT 证明了 Transformer 无监督预训练能理解自然语言，MAE 证明了 Transformer 无监督预训练能理解图像数据。这种情况下，统一用 Transformer 建模图像与文字等数据，构建一种统一的大规模多模态预训练模型就成为了炙手可热的领域。
为此，针对内容理解，混元 AI 大模型使用大量无监督广告内容，构建一个通用的多模态内容理解预训练模型，并预期它能为各种下游理解任务提供更强的基础能力。
该内容理解模型主要基于 Transformer 结构，并根据真实业务场景与广告数据特性，提出多尺度视觉特征融合、层次化注意力交互、大规模对抗训练等诸多改进和设计。
混元 AI 大模型的 Transformer，通过预训练实现多模态内容理解。
上图所示为混元 AI 大模型针对多模态理解构建的 Transformer 架构。该模型会通过多种任务，例如预测被遮盖的语言（MLM）、图像文本是否匹配（ITM）和视频文本是否匹配（VTM）等等，让模型同时学会理解多种形式的广告。腾讯广告的混元 AI 大模型，已经霸榜了多个多模态内容理解榜单，包括 VCR、CLUE、MSR-VTT 等 11 个公开测评集，这也充分体现了其训练方式的有效性。
此外，腾讯广告还通过多种策略以加强模型的理解能力。例如在上图「Image」部分采用了多尺度视觉特征融合，即特征同时采用主体 Region、Patch 特征，以便获取更丰富的视觉语义信息。
其次在 Transformer 层级中增加了层次化注意力交互，通过采用全局 + 局部注意力的方式，在不损失重要信息交互学习下，节省计算开销，提升训练效率。最后就是每种数据都增加了对抗噪声（Adversarial Noise），进行大规模对抗训练，这主要针对大模型在下游任务容易出现过拟合现象，因此在预训练和微调两阶段都增加了对抗噪声，从而提升模型的稳健性。
当然，除了要理解多模态广告内容，混元 AI 大模型还需要实现生成文案、搜索 / 推荐相似广告等任务，这些任务似乎并不能直接使用之前的多模态内容理解模型。腾讯的做法是采用更合适的架构，为它们打造独立的「内容理解」模型。例如跨模态检索，就更适合使用双塔 Transformer 结构，从而得到不同模态之间的对应关系。
混元 AI 大模型的双塔 Transformer，通过层级化对比学习，学习视频和文本两种模态的不同粒度的相似度。
广告大模型：合适的内容给合适的受众
对于广告系统来说，不仅需要准确理解广告所表达的信息，同时也要将下游任务做好。在众多下游任务中，推荐系统又是最为突出的部分，毕竟它承担着将合适的内容推送给合适的受众，是广告投送方与广告接收方最能感知的部分。
将合适的内容推送给合适的受众，听上去很简单，但背后的广告大模型实际上涵盖了召回、粗排、精排等广告投放环节的一系列方法。简而言之，召回负责从百万量级广告中筛选出某类的广告；粗排在召回结果的基础上进一步筛选出数万量级的广告，选择某一典型的广告集合；最后，也是最重要的精排模型，则对粗排筛选的结果进一步排序，从而选择最终要向受众曝光的广告。因此，广告大模型需要在考虑哪个广告最能迎合用户诉求的同时，为广告主带来最大的效益。
总的来说，广告大模型可以实现千亿参数量的高效训练与推理，并提供可靠的广告匹配结果。得益于广告大模型的能力，腾讯广告整体的商品交易总额实现大幅提升。对于广告主来说，商品交易总额的提升，就是广告大模型实打实的能力。
打破天花板：广告大模型的创新解法
打破百亿参数量「小模型」的效果天花板，离不开高效的模型算法。
算法工程师们需要考虑的是，千亿参数的广告大模型，怎样设计、优化才能解决广告业务中的个性化、场景化、行业化这三大难点。
个性化说的是，广告场景需要更精准、更个性化的表征，从而突破小模型的表征能力天花板。通过改特征维度、Attention 机制、让模型理解更长的时序跨度等方法，腾讯广告团队提升了模型对「个性」的建模能力。
Tags: cf英雄武器 男歌手排行榜 一体机推荐 纯电动汽车排名 穿越玄幻小说 美国av女星
