DNN是每个深度学习平台第一个要支持的算法. Angel作为一个深度学习平台, 并没有内置DNN的实现, 但它提供了一种方法让用户实现自已的深度学习算法. 事实上, DeepFM, PNN, NFM, Deep and Wide等算法匀可用本文所述的方法实现.
Angel提供了用Json配置算法的功能, 同时也提供了用Json定义算法的功能. 下面以DNN的实现为例说明.
{
"name": "denseinputlayer",
"type": "denseinputlayer",
"outputdim": 500,
"transfunc": "relu",
"optimizer": "ftrl"
},
这里用一个DenseInputLayer作为输入层, 输出维度为500, 用Relu作为传递函数. 为了其它层能引用它, 给输入层命名为"denseinputlayer".
需要特别指出的是, Angel允许网络的不同部分使用不同的优化器, 这里指定DenseInputLayer使用FTRL优化器(关于优化器, 请参考Angel中的优化器)
{
"name": "fclayer",
"type": "FCLayer",
"outputdims": [
100,
1
],
"transfuncs": [
"relu",
"identity"
],
"inputlayer": "denseinputlayer"
},
有两个FCLayer:
- 第一个FCLayer
- 名称为"fclayer_0"
- 输出维度为100
- 传递函数为"Relu"
- 第二个FCLayer
- 名称为"fclayer"
- 输出维度为1
- 传递函数为"identity"
从上可以看出, FCLayer使用了简约的书写方式, 请参考Json的定义. 简约方式的inputlayer为第一个FCLayer的输入, 简约方式的name为最后一个FCLayer的name. 中间的Layer命名方式是"fclayer_x", 表示FCLayer的编号, 从0开始.
另外, 简约形式的FCLayer的输入是上层"denseinputlayer"的输出.
注: FCLayer没有指定optimizer, 则它会使用默认的optimizer, 即Momentum.
{
"name": "simplelosslayer",
"type": "simplelosslayer",
"lossfunc": "logloss",
"inputlayer": "fclayer"
}
损失的类型是SimpleLossLayer, 损失函数为"logloss", 输入层是"fclayer"
"data": {
"format": "libsvm",
"indexrange": 300,
"validateratio": 0.2,
"posnegratio": 0.1
},
详细参数的意义请参考Json的定义. 这里 只列出了如下几个参数:
- format: 输入数据的格式
- indexrange: 特征维度
- validateratio: 验证集的比例
- posnegratio: 打开采样, 并设置正负样本的比例
"model": {
"modeltype": "T_DOUBLE_SPARSE",
"modelsize": 300
},
详细参数的意义请参考Json的定义. 这里只列出几个参数:
- 模型类型: T_DOUBLE_SPARSE
- 模型大小: 模型的实际大小(有效特征的个数)
"train": {
"epoch": 30,
"lr": 0.1,
"decay": 0.001
},
详细参数的意义请参考Json的定义. 这里只列出几个参数:
- epoch: 训练轮数
- lr: 学习率
- decay: 学习率的衰减因子
{
"data": {
"format": "libsvm",
"indexrange": 300,
"validateratio": 0.2,
"posnegratio": 0.1
},
"model": {
"modeltype": "T_DOUBLE_SPARSE",
"modelsize": 300
},
"train": {
"epoch": 30,
"lr": 0.1,
"decay": 0.001
},
"default_optimizer": "momentum",
"layers": [
{
"name": "denseinputlayer",
"type": "denseinputlayer",
"outputdim": 500,
"transfunc": "relu"
},
{
"name": "fclayer",
"type": "FCLayer",
"outputdims": [
100,
1
],
"transfuncs": [
"relu",
"identity"
],
"inputlayer": "denseinputlayer"
},
{
"name": "simplelosslayer",
"type": "simplelosslayer",
"lossfunc": "logloss",
"inputlayer": "fclayer"
}
]
}
runner="com.tencent.angel.ml.core.graphsubmit.GraphRunner"
modelClass="com.tencent.angel.ml.core.graphsubmit.GraphModel"
$ANGEL_HOME/bin/angel-submit \
--angel.job.name DeepFM \
--action.type train \
--angel.app.submit.class $runner \
--ml.model.class.name $modelClass \
--angel.train.data.path $input_path \
--angel.workergroup.number $workerNumber \
--angel.worker.memory.gb $workerMemory \
--angel.ps.number $PSNumber \
--angel.ps.memory.gb $PSMemory \
--angel.task.data.storage.level $storageLevel \
--angel.task.memorystorage.max.gb $taskMemory
注: 与其它算法的不同在于模型类使用的是: "com.tencent.angel.ml.core.graphsubmit.GraphModel"
所有用Json定义的算法匀用这个模型类.