Skip to content

Latest commit

 

History

History
283 lines (175 loc) · 12.7 KB

README.md

File metadata and controls

283 lines (175 loc) · 12.7 KB
Raw

<<<<<<< HEAD

Paddle 分布式训练及CTR预估模型应用

原始models：PaddleRec-Ctr

数据准备

数据说明

  • 数据来源：Kaggle公司举办的展示广告竞赛中所使用的Criteo数据集。该数据包含数百万展示广告的特征值和点击反馈，目的是对点击率（CTR）的预测做基准预测。

  • 数据背景：Criteo是在线效果类数字营销厂商，于2005年在法国巴黎成立，目前的核心业务是重定向广告（retargeting）。Criteo在全球范围内共有31间办事处，有6间位于欧洲，有5间位于北美，有1间在巴西，在亚太地区总共有5间办事处。Criteo是在线效果类展示广告厂商于2014年5月13日宣布启动在中国的业务和运营，并将北京设为中国区总部所在地。Criteo的核心产品主要包括访客广告、流失客户广告、移动应用内效果型广告和AD-X 移动广告跟踪分析产品等。Criteo拥有世界领先的自主学习式推荐引擎和预测引擎，能够通过其对于市场的洞察提供可评估的结果，因而能够在正确的时间通过推送广告，将对的产品推荐给对的用户。并且，随着每一条广告的交付，Criteo的引擎在预测和推荐方面的精确性也不断提高。

  • 数据格式：

    - 格式：<label> <integer feature 1>  <integer feature 13> <categorical feature 1> ... <categorical feature 26>  。共计39个特征，13个数值特征（int），26个类别特征。若value为空值，则为空白

    • 训练数据：train.txt：Criteo 公司在七天内的部分流量。每行对应的是Critio的展示广告，第一列代表该广告是否被点击。我们对正样本（已点击）的和负样本（未点击）均做了子采样来减少数据量。类别特征的值已经过哈希处理为64位来进行脱敏。特征的语义没有公开，并且有些特征有缺失值。行按照时间排序。

      • 示例：
    label f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12 f13 f14 f15 f16 f17 f18 f19 f20 f21 f22 f23 f24 f25 f26 f27 f28 f29 f30 f31 f32 f33 f34 f35 f36 f37 f38 f39
    0 1 1 5 0 1382 4 15 2 181 1 2 2 68fd1e64 80e26c9b fb936136 7b4723c4 25c83c98 7e0ccccf de7995b8 1f89b562 a73ee510 a8cd5504 b2cb9c98 37c9c164 2824a5f6 1adce6ef 8ba8b39a 891b62e7 e5ba7672 f54016b9 21ddcdc9 b1252a9d 07b5194c 3a171ecb c5c50484 e8b83407 9727dd16
    0 2 0 44 1 102 8 2 2 4 1 1 4 68fd1e64 f0cf0024 6f67f7e5 41274cd7 25c83c98 fe6b92e5 922afcc0 0b153874 a73ee510 2b53e5fb 4f1b46f3 6.23E+11 d7020589 b28479f6 e6c5b5cd c92f3b61 07c540c4 b04e4670 21ddcdc9 5840adea 60f6221e 3a171ecb 43f13e8b e8b83407 731c3655
    1 1 4 2 0 0 0 1 0 0 1 1 0 68fd1e64 2c16a946 503b9dbc e4dbea90 f3474129 13718bbd 38eb9cf4 1f89b562 a73ee510 547c0ffe bc8c9f21 60ab2f07 46f42a63 07d13a8f 18231224 e6b6bdc7 e5ba7672 74ef3502 5316a17f 32c7478e 9117a34a

    • 测试数据：test.txt：测试集于训练集的计算方式相同，但对应的是训练集时间段的后一天的事件。并且第一列（label）已被移除。

      • 示例：
      label f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12 f13 f14 f15 f16 f17 f18 f19 f20 f21 f22 f23 f24 f25 f26 f27 f28 f29 f30 f31 f32 f33 f34 f35 f36 f37 f38 f39
      29 50 5 7260 437 1 4 14 1 0 6 5a9ed9b0 a0e12995 a1e14474 08a40877 25c83c98 964d1fdd 5b392875 a73ee510 de89c3d2 59cd5ae7 8d98db20 8b216f7b 1adce6ef 78c64a1d 3ecdadf7 3486227d 1616f155 21ddcdc9 5840adea 2c277e62 423fab69 54c91918 9b3e8820 e75c9ae9
      27 17 45 28 2 28 27 29 28 1 1 23 68fd1e64 960c983b 9fbfbfd5 38c11726 25c83c98 7e0ccccf fe06fd10 062b5529 a73ee510 ca53fc84 67360210 895d8bbb 4f8e2224 f862f261 b4cc2435 4c0041e5 e5ba7672 b4abdd09 21ddcdc9 5840adea 36a7ab86 32c7478e 85e4d73f 010f6491 ee63dd9b
      1 1 19 7 1 3 1 7 7 1 1 2 09ca0b81 8947f767 a87e61f7 c4ba2a67 25c83c98 7e0ccccf ce6020cc 062b5529 a73ee510 b04d3cfe 70dcd184 899eb56b aca22cf9 b28479f6 a473257f 88f592e4 d4bb7bd8 bd17c3da 1d04f4a4 a458ea53 82bdc0bb 32c7478e 5bdcd9c4 010f6491 cca57dcc

数据处理

  • 下载数据

    cd data && ./download.sh && cd ..

  • 数据读取

    • code：reader.py
    • 原始数据中前13个feature为int型，通过reader.py将其做了数据归一化处理为float型，避免过大和过小的数据在模型训练中的影响。
     .── CriteoDataset
│
├── train
│
├── test
│
├── infer

模型训练

网络结构

  • code: network_conf.py (只用到ctr_dnn_model) 详细讲解

训练方式

单机训练

python train.py \
        --train_data_path data/raw/train.txt \
        2>&1 | tee train.log

分布式训练

sh cluster_train.sh

注：batch_size由默认的1000修改为64，可提高auc

训练结果

  • 单机训练

    - 速度太慢，迭代到第1轮batch= 4919时就停住了

  • 分布式训练

    - 设置：2pserver、2trainer

- 训练日志：alldata/log/trainer0.log 、alldata/log/trainer1.log 

- 训练结果：

    2019-05-11 08:34:19,678-INFO: TRAIN --> pass: 9 batch: 2577 loss: 0.467225006104 auc: 0.787909292672, batch_auc: 0.797377570934
pass_id: 0, pass_time_cost: 3150.447569
pass_id: 1, pass_time_cost: 3177.322331
pass_id: 2, pass_time_cost: 3174.676812
pass_id: 3, pass_time_cost: 3209.558880
pass_id: 4, pass_time_cost: 3134.910369
pass_id: 5, pass_time_cost: 3202.956675
pass_id: 6, pass_time_cost: 3169.575809
pass_id: 7, pass_time_cost: 3210.294044
pass_id: 8, pass_time_cost: 3039.102302
pass_id: 9, pass_time_cost: 3036.933163

模型预测

预测方式

python infer.py \
        --model_path models/pass-0/ \
        --data_path data/raw/valid.txt

预测结果：

  • log：alldata/log/infer.txt
2019-05-13 09:35:49,177-INFO: TEST --> batch: 4500 loss: [0.46127334] auc: [0.78797872]

实验对比

原始数据情况

label 数量 比例
负样本 0 34095179 0.74377662
正样本 1 11745438 0.25622338

###实验数据：

  • mini-demo：1%的全量数据
  • demo：10%的全量数据
  • raw：全量数据

BaseLine实验

  • 数据说明： mini-data(1%全量数据)

  • 网络配置：一层网络，batch_size =1000

  • 修改方式：

    • 在network_conf.py 第151行修改,如下如所示，将input=fc3 修改为input=fc1

    • 在cluster_train.sh 里第35行和第47行将batch_size=64 修改为batch_size=1000

  • 运行方式：

    • 修改完以上两个文件后，执行：sh cluster_train.sh

  • 输出日志：

    • pserver：pserver0.log、pserver1.log 参数服务器的输出日志
    • trainer：trainer0.log、trainer1.log 每个trainer的输出日志 可以通过 tail -f trainer0.log -n 999 查看输出结果

  • 实验效果

    • 训练时间：33s（一轮迭代）
    • auc：0.50234167

优化实验（一）：优化网络层

  • 数据说明： mini-data(1%全量数据)

  • 网络配置：三层网络，batch_size =1000

  • 修改方式：

    • 在network_conf.py 第151行修改,如下如所示，将input=fc1 修改为input=fc3

    • 在cluster_train.sh 里第35行和第47行将batch_size=64 修改为batch_size=1000

  • 运行方式：

    • 修改完以上两个文件后，执行：sh cluster_train.sh

  • 输出日志：

    • pserver：pserver0.log、pserver1.log 参数服务器的输出日志
    • trainer：trainer0.log、trainer1.log 每个trainer的输出日志 可以通过 tail -f trainer0.log -n 999 查看输出结果

  • 实验效果

    • 训练时间：35s（一轮迭代）
    • auc：0.54893279

优化实验（二）：调整batch_size

  • 数据说明： mini-data(1%全量数据)

  • 网络配置：三层网络，batch_size =64

  • 修改方式：

    • 在network_conf.py 第151行修改,如下如所示，将input=fc1 修改为input=fc3

    • 在cluster_train.sh 里第35行和第47行将batch_size=1000 修改为batch_size=64

  • 运行方式：

    • 修改完以上两个文件后，执行：sh cluster_train.sh

  • 输出日志：

    • pserver：pserver0.log、pserver1.log 参数服务器的输出日志
    • trainer：trainer0.log、trainer1.log 每个trainer的输出日志 可以通过 tail -f trainer0.log -n 999 查看输出结果

  • 实验效果

    • 训练时间：103s（一轮迭代）
    • auc：0.74322927

优化实验（三）：增加数据集

  • 数据说明： 全量数据

  • 网络配置：三层网络，batch_size =64，数据量由10%数据（demo_data）扩充到全量数据

  • 修改方式：

    • 在network_conf.py 第151行修改,如下如所示，将input=fc1 修改为input=fc3

    • 在cluster_train.sh 里第35行和第47行将batch_size=1000 修改为batch_size=64

    • 在cluster_train.sh 里将连个pserver和两个trainer的train_data_path地址修改为raw_data的地址，如下图所示，注意：一共需要修改四个地址

  • 运行方式：

    • 修改完以上两个文件后，执行：sh cluster_train.sh

  • 输出日志：

    • pserver：pserver0.log、pserver1.log 参数服务器的输出日志
    • trainer：trainer0.log、trainer1.log 每个trainer的输出日志 可以通过 tail -f trainer0.log -n 999 查看输出结果

  • 实验效果

    • 训练时间：3150s（一轮迭代）
    • auc：0.81093872

优化实验对比结果

  • 表格1:对mini_demo(1%全量数据)做训练，采取不同的优化方式，得到最后的优化方案的实验结果
评估 batch_size batch_1000 batch_1000 batch_64 batch_64
优化方式 评估 一层网络 三层网络 一层网络 三层网络
mini_demo time 33s 35s 97s 103s
auc 0.50234167 0.54893279 0.721332392 0.74322927
  • 表格2: 增加数据集对模型精度的提升
batch_size time auc
demo 64 1133s 0.73777626
全量 64 3150s 0.81093872

优化方案总结

由以上两个表格可知：

  • batch 大小的改变：在数据集和其他参数不变的情况下，batch_size由1000变为64.可以提升20%的模型精度
  • 网络结构的改变：在数据集和batch_size等参数不变的情况，由一层网络变为三层网络结构，大约可提升2～4%的模型精度
  • 数据集的改变：由demo数据（10%全量数据）扩充到全量数据，采用同样的batch_size，同样的迭代次数和其他超参数，大约可提升7%的精度

=======

PaddleCriteo

criteo

58ca473f5890da6761a1242326d82d875d2a700a