实时竞价系统中收益优化算法的研究与实现
发布时间：2022-01-14 20:43
近年来,互联网软硬件的快速发展以及各种设备、应用的普及,使得互联网已经融入到日常生活的方方面面之中,同时也对各行各业产生了深远的影响,互联网广告市场中的实时竞价交易模式也应运而生并不断发展完善。实时竞价模式基于用户的在线行为产生并累积的大量数据和个人信息,利用机器学习、信息检索、优化理论等多领域的技术实现了精准、高效的广告投放,成为了目前互联网流量变现的重要手段。介于其良好的发展前景和丰富多样的应用技术,实时竞价也吸引了越来越多研究者的注意。本论文从需求方的角度出发研究了其中几个关键问题,主要包括点击率预测问题、预算花费管理问题、出价策略优化问题,同时本论文提出相应的算法来优化需求方的整体收益。本文的研究成果如下:（1）为了提高点击率预测的准确性,首次将Actor-Critic强化学习框架应用于点击率预测任务。本文对点击率预测任务下的目标、概念进行合理地建模,提出一种基于Actor-Critic框架的点击率预测算法,使用神经网络来学习策略和值函数,并定义了其训练、测试流程。（2）为了提高预算花费的效率和平滑性,本文提出一种预算分配与管理机制,它包括两部分:基于投资组合理论的预算分配策略...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：98 页
【学位级别】：硕士
【部分图文】：
AC-CTR与对比模型在四个数据集上LogLoss指标柱状图
第四章预算分配与管理机制47选阈值可以过滤掉低质量的广告请求。总的来说，本章提出的基于投资组合理论的预算分配与管理策略的计算和工作流程如图4-1所示。与文献[60]相比，本文的阈值设置方法直接基于对真实数据集的分布拟合，更加灵活且准确。图4-1预算分配与管理机制运作流程图4.5预算分配与管理机制实验性能分析为了验证本章所提出的预算分配与管理框架的有效性，本节在真实数据集上进行大量对比实验，所使用的数据集是iPinYou数据集中ID为1458广告主的部分历史数据记录，由于历史日志中2013年6月13日到6月15日这三天的数据集没有给出出价相关的数据，因此这部分数据无法用于本节的实验中，所以本文对2013年6月6日到6月12日这七天的数据进行划分，得到训练集、验证集、测试集，并在此基础上进行验证。需要说明的是，iPinYou公司是通过固定出价为300(单位：310分)的方式来采集这部分出价数据的，因此数据集中所有样本的赢标价格均不大于300(本文中关于价格的单位均为人民币310分)，这也意味着有一部分赢标价格大于300的广告请求没有被记录在该数据集中，并且数据集中记录下来的广告样本均是符合其定向规则的广告请求，因此不再需要定向规则进行筛眩基于此，本节的实验会尝试对数据集中的每条广告样本进行竞价，来验证所提预算分配与管理机制的有效性。4.5.1出价策略设置要通过实验来验证预算分配管理机制的有效性，则需要进行模拟竞价活动来尽可能在真实场景下评估机制的性能，这个过程自然涉及到出价策略。由于本文的出价策略将于下一章中提出，因此在本节进行实验时，为了使实验结果具有可比性，并且所提出的预算分配与管理机制的结果尽可能少地受到其他因素的负面影响，设定本节所有实验的出价策略均使用最基础的线性出价策略。这
电子科技大学硕士学位论文52代表了该方案的期望收益。可以看到所有散点都集中在一定区域内，颜色越浅的部分说明散点的密度越高，颜色越深说明散点的密度越低，在散点图的左上侧散点的密度最大，并且形成了一条较为明晰规整的曲线，这条曲线便是理论上的有效边界。在图4-4中用红色星号标记了夏普比率最大的一组预算分配方案；用绿色星号标记了波动率风险最低的一组预算分配方案；用蓝色星号标记了期望收益最大的一种预算分配方案。可以看出夏普比率最大的分配方案兼顾了期望收益和风险水平，收益和风险都比较适中，是后两种分配方案的折中。因此这里采用夏普比率最大的分配方案作为所提预算分配策略的输出结果，在本节iPinYou1458数据集上，该分配权重具体为[0.064,0.089,0.037,0.057,0.088,0.093,0.091,0.103,0.106,0.088,0.081,0.102]，在后续实验中均使用该组分配权重作为本章所提方案的性能基矗图4-4基于投资组合理论的预算分配策略的启发式解法示意图同样地，均匀分配方案的分配权重为[1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12]。而基于流量的分配方案需要先统计每个时段的广告请求数，这里使用过去6个投放周期内同一个时段的广告请求数的均值，作为该时段的平均广告请求数，基于此可以计算出每个时段的流量占整个投放周期流量总数的比例，最终得到的基于流量的分配权重为[0.070,0.0229,0.0123,0.0278,0.0695,0.1109,0.1124,0.1212,0.1175,0.1245,0.1040,0.1070],该分配方案在图4-4中用黑色星号进行标记。接下来对数据集中时段t上广告请求流量关于pCTR的分布f(θ,t)，以及赢标价格关于pCTR的分布g(θ,t)的拟合计算进行说明，虽然没有与之相对比的其他方案，但这作为对结果有直接影响的重要一步，需要来验证它的可?
本文编号：3589181
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：98 页
【学位级别】：硕士
【部分图文】：
AC-CTR与对比模型在四个数据集上LogLoss指标柱状图
第四章预算分配与管理机制47选阈值可以过滤掉低质量的广告请求。总的来说，本章提出的基于投资组合理论的预算分配与管理策略的计算和工作流程如图4-1所示。与文献[60]相比，本文的阈值设置方法直接基于对真实数据集的分布拟合，更加灵活且准确。图4-1预算分配与管理机制运作流程图4.5预算分配与管理机制实验性能分析为了验证本章所提出的预算分配与管理框架的有效性，本节在真实数据集上进行大量对比实验，所使用的数据集是iPinYou数据集中ID为1458广告主的部分历史数据记录，由于历史日志中2013年6月13日到6月15日这三天的数据集没有给出出价相关的数据，因此这部分数据无法用于本节的实验中，所以本文对2013年6月6日到6月12日这七天的数据进行划分，得到训练集、验证集、测试集，并在此基础上进行验证。需要说明的是，iPinYou公司是通过固定出价为300(单位：310分)的方式来采集这部分出价数据的，因此数据集中所有样本的赢标价格均不大于300(本文中关于价格的单位均为人民币310分)，这也意味着有一部分赢标价格大于300的广告请求没有被记录在该数据集中，并且数据集中记录下来的广告样本均是符合其定向规则的广告请求，因此不再需要定向规则进行筛眩基于此，本节的实验会尝试对数据集中的每条广告样本进行竞价，来验证所提预算分配与管理机制的有效性。4.5.1出价策略设置要通过实验来验证预算分配管理机制的有效性，则需要进行模拟竞价活动来尽可能在真实场景下评估机制的性能，这个过程自然涉及到出价策略。由于本文的出价策略将于下一章中提出，因此在本节进行实验时，为了使实验结果具有可比性，并且所提出的预算分配与管理机制的结果尽可能少地受到其他因素的负面影响，设定本节所有实验的出价策略均使用最基础的线性出价策略。这
电子科技大学硕士学位论文52代表了该方案的期望收益。可以看到所有散点都集中在一定区域内，颜色越浅的部分说明散点的密度越高，颜色越深说明散点的密度越低，在散点图的左上侧散点的密度最大，并且形成了一条较为明晰规整的曲线，这条曲线便是理论上的有效边界。在图4-4中用红色星号标记了夏普比率最大的一组预算分配方案；用绿色星号标记了波动率风险最低的一组预算分配方案；用蓝色星号标记了期望收益最大的一种预算分配方案。可以看出夏普比率最大的分配方案兼顾了期望收益和风险水平，收益和风险都比较适中，是后两种分配方案的折中。因此这里采用夏普比率最大的分配方案作为所提预算分配策略的输出结果，在本节iPinYou1458数据集上，该分配权重具体为[0.064,0.089,0.037,0.057,0.088,0.093,0.091,0.103,0.106,0.088,0.081,0.102]，在后续实验中均使用该组分配权重作为本章所提方案的性能基矗图4-4基于投资组合理论的预算分配策略的启发式解法示意图同样地，均匀分配方案的分配权重为[1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12,1/12]。而基于流量的分配方案需要先统计每个时段的广告请求数，这里使用过去6个投放周期内同一个时段的广告请求数的均值，作为该时段的平均广告请求数，基于此可以计算出每个时段的流量占整个投放周期流量总数的比例，最终得到的基于流量的分配权重为[0.070,0.0229,0.0123,0.0278,0.0695,0.1109,0.1124,0.1212,0.1175,0.1245,0.1040,0.1070],该分配方案在图4-4中用黑色星号进行标记。接下来对数据集中时段t上广告请求流量关于pCTR的分布f(θ,t)，以及赢标价格关于pCTR的分布g(θ,t)的拟合计算进行说明，虽然没有与之相对比的其他方案，但这作为对结果有直接影响的重要一步，需要来验证它的可?
本文编号：3589181
本文链接：https://www.wllwen.com/wenyilunwen/guanggaoshejilunwen/3589181.html