train_preprocessed.sh

python3 multitask_classifier.py --option individual_pretrain --epochs 10 --lr 1e-3 --batch_size 256 --hidden_dropout_prob 0.2 --use_gpu --projection none --use_amp --patience 3 --n_hidden_layers 2 --max_batch_size_sst 256 --max_batch_size_para 256 --max_batch_size_sts 256 --sst_train ''
python3 multitask_classifier.py --pretrained_model_name individual_pretrain-10-0.001-multitask.pt --option finetune --epochs 10 --lr 1e-5 --batch_size 128 --hidden_dropout_prob 0.2 --use_gpu --num_batches_per_epoch 300 --task_scheduler pal --projection none --use_amp --patience 3 --n_hidden_layers 2
python3 multitask_classifier.py --pretrained_model_name finetune-10-1e-05-multitask.pt --option finetune --epochs 10 --lr 5e-6 --batch_size 32 --hidden_dropout_prob 0.2 --use_gpu --num_batches_per_epoch 1800 --projection vaccine --use_amp --patience 3 --n_hidden_layers 2