step_3_pruning.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "26fd6790-24ae-4ec5-b887-da15257aba35",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/artemis/.local/lib/python3.12/site-packages/torchvision/io/image.py:13: UserWarning: Failed to load image Python extension: '/home/artemis/.local/lib/python3.12/site-packages/torchvision/image.so: undefined symbol: _ZN3c1017RegisterOperatorsD1Ev'If you don't plan on using image functionality from `torchvision.io`, you can ignore this warning. Otherwise, there might be something wrong with your environment. Did you have `libjpeg` or `libpng` installed before building `torchvision` from source?\n",
      "  warn(\n"
     ]
    }
   ],
   "source": [
    "import copy\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "from typing import Dict, List\n",
    "import time\n",
    "import torch\n",
    "import tqdm\n",
    "\n",
    "from utils.utils import net_time, plot\n",
    "from utils.dataloader import VOCDataLoaderPerson\n",
    "from utils.loss import YoloLoss\n",
    "from utils.ap import precision_recall_levels, ap, preprocess_for_ap\n",
    "from utils.yolo import nms, filter_boxes\n",
    "from utils.viz import display_result\n",
    "\n",
    "from models.pruned_my_tinyyolo2 import PrunedMyTinyYoloV2\n",
    "from models.my_tinyyolov2 import MyTinyYoloV2\n",
    "\n",
    "from utils.train import train, validate\n",
    "\n",
    "#device = torch.device(\"cpu\")\n",
    "device = torch.device(\"cuda\") if torch.cuda.is_available() else torch.device(\"cpu\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "4dea4d71-9248-4d31-8024-aa1907c62fb8",
   "metadata": {},
   "outputs": [],
   "source": [
    "def densify_state_dict(state_dict: Dict) -> Dict:\n",
    "    state_dict = copy.deepcopy(state_dict)\n",
    "    \n",
    "    mask = None\n",
    "        \n",
    "    for layer in range(1, 10):\n",
    "        l = \"conv\" + str(layer) + \".\"\n",
    "        w = l + \"weight\"\n",
    "        b = l + \"bias\"\n",
    "        weights = state_dict[w]\n",
    "        biases = state_dict[b]\n",
    "        if mask is not None:\n",
    "            weights = weights[:,mask,:,:]\n",
    "        mask = torch.nonzero(weights.sum(dim=[1,2,3]), as_tuple=True)[0].tolist()\n",
    "\n",
    "        weights = weights[mask,:,:,:]\n",
    "        biases = biases[mask]\n",
    "        \n",
    "        state_dict[w] = weights\n",
    "        state_dict[b] = biases\n",
    "    \n",
    "    '''weights = state_dict[\"fc.weight\"]\n",
    "    \n",
    "    fcmask = []\n",
    "    for channel in mask:\n",
    "        for i in range(4):\n",
    "            fcmask.append(channel * 4 + i)\n",
    "    \n",
    "    state_dict[\"fc.weight\"] = weights[:,fcmask]'''\n",
    "    \n",
    "    \n",
    "    return state_dict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "d1174bbf-473c-4c63-9cd0-187c073bfb66",
   "metadata": {},
   "outputs": [],
   "source": [
    "def l1_structured_pruning(state_dict: Dict, prune_ratio: float) -> Dict:\n",
    "    state_dict = copy.deepcopy(state_dict)\n",
    "    \n",
    "    for layer in range(2, 9):\n",
    "        l = \"conv\" + str(layer) + \".\"\n",
    "        w = l + \"weight\"\n",
    "        b = l + \"bias\"\n",
    "        weights = state_dict[w]\n",
    "        biases = state_dict[b]\n",
    "        number_channels = weights.size()[0]\n",
    "        number_channels_to_prune = int(number_channels * prune_ratio)\n",
    "        if number_channels_to_prune < 1:\n",
    "            continue\n",
    "        l1 = torch.sum(torch.abs(weights), [1, 2, 3])\n",
    "        zero_out_channels = torch.argsort(l1)\n",
    "        \n",
    "        for i in range(number_channels_to_prune):\n",
    "            weights[zero_out_channels[i],:,:,:] = 0\n",
    "            biases[zero_out_channels[i]] = 0\n",
    "            \n",
    "        state_dict[w] = weights\n",
    "        state_dict[b] = biases\n",
    "    \n",
    "    \n",
    "    return state_dict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "23f703b2",
   "metadata": {},
   "outputs": [],
   "source": [
    "def plot_losses_over_time(losses, times):\n",
    "    #losses = np.mean(np.array(losses), axis=0)\n",
    "    #times = np.mean(np.array(times), axis=0)\n",
    "\n",
    "    plt.plot(times, losses, 'o')\n",
    "    #plt.xlim((0,1.1))\n",
    "    #plt.ylim((0,1.1))\n",
    "    plt.ylabel('Loss/test')\n",
    "    plt.xlabel('Times/test')\n",
    "    plt.title('Losses over inference times')\n",
    "    plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "5ae490fa-216c-4b9a-baf4-52f557f8fd91",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.13s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.069513056013319\n",
      "Epoch 2/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.989069143931071\n",
      "Epoch 3/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.064981301625569\n",
      "Epoch 4/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.018442021475898\n",
      "Epoch 5/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.152978817621867\n",
      "Epoch 6/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.10s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.728849238819546\n",
      "Epoch 7/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 0.9649663037723966\n",
      "Epoch 8/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 0.963968124654558\n",
      "Epoch 9/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 0.9769265784157647\n",
      "Epoch 10/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.11s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:05<00:00, 65.38it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0014766838475849555\n",
      "average test losses 2.016410919293719\n",
      "average precision 0.4544014299808334\n",
      "average train losses 0.9729410939746432\n",
      "Epoch 11/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.2164349026150174\n",
      "Epoch 12/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.11s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.2108421855502658\n",
      "Epoch 13/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.2184948788748846\n",
      "Epoch 14/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.227646443578932\n",
      "Epoch 15/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.2244519260194566\n",
      "Epoch 16/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.2071460088094075\n",
      "Epoch 17/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.2209416495429144\n",
      "Epoch 18/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.11s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.2294543849097357\n",
      "Epoch 19/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.20621747440762\n",
      "Epoch 20/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:06<00:00, 54.68it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0014581286329829115\n",
      "average test losses 1.9918421060271412\n",
      "average precision 0.43026157653345365\n",
      "average train losses 1.2162560754352145\n",
      "Epoch 21/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.6581209633085463\n",
      "Epoch 22/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.6531403991911147\n",
      "Epoch 23/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.6747553613450792\n",
      "Epoch 24/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.11s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.654345194498698\n",
      "Epoch 25/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.10s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.662115838792589\n",
      "Epoch 26/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.653505802154541\n",
      "Epoch 27/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.6955713695949979\n",
      "Epoch 28/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.7083439694510565\n",
      "Epoch 29/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.6599542962180243\n",
      "Epoch 30/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.14s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:11<00:00, 30.54it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015720451659286803\n",
      "average test losses 2.190451053217945\n",
      "average precision 0.42645989475036905\n",
      "average train losses 1.6531277100245159\n",
      "Epoch 31/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.8914772272109985\n",
      "Epoch 32/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.89981030093299\n",
      "Epoch 33/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.9063403473960028\n",
      "Epoch 34/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.9333119127485487\n",
      "Epoch 35/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.11s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.9147828817367554\n",
      "Epoch 36/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.10s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.9313964313930936\n",
      "Epoch 37/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.880912595325046\n",
      "Epoch 38/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.10s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.9240105549494426\n",
      "Epoch 39/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 1.913121885723538\n",
      "Epoch 40/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:13<00:00, 25.95it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015501174492034478\n",
      "average test losses 2.484810915258196\n",
      "average precision 0.40183228410701477\n",
      "average train losses 1.902235084109836\n",
      "Epoch 41/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.182448943456014\n",
      "Epoch 42/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.10s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.1718132495880127\n",
      "Epoch 43/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.1542464627159967\n",
      "Epoch 44/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.1448570489883423\n",
      "Epoch 45/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.1494939592149525\n",
      "Epoch 46/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.10s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.1727257569630942\n",
      "Epoch 47/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.10s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.154232449001736\n",
      "Epoch 48/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.11s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.1672666470209756\n",
      "Epoch 49/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.10s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.1567534605662027\n",
      "Epoch 50/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:13<00:00, 25.23it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.00156844035852329\n",
      "average test losses 2.817954750821801\n",
      "average precision 0.38223524691157246\n",
      "average train losses 2.163642512427436\n",
      "Epoch 51/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.4602148797776966\n",
      "Epoch 52/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.453619639078776\n",
      "Epoch 53/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.455807818306817\n",
      "Epoch 54/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.4620515505472818\n",
      "Epoch 55/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.420379532708062\n",
      "Epoch 56/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.11s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.444909519619412\n",
      "Epoch 57/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.28s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.4547859562767878\n",
      "Epoch 58/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.4486616717444525\n",
      "Epoch 59/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.450888501273261\n",
      "Epoch 60/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:14<00:00, 24.78it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0019169811509613297\n",
      "average test losses 2.7965920046184136\n",
      "average precision 0.3401483441858165\n",
      "average train losses 2.4460475974612765\n",
      "Epoch 61/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.605442312028673\n",
      "Epoch 62/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.6021403206719294\n",
      "Epoch 63/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.611709223853217\n",
      "Epoch 64/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.609127680460612\n",
      "Epoch 65/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.614658620622423\n",
      "Epoch 66/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.6122699048784046\n",
      "Epoch 67/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.5937117205725775\n",
      "Epoch 68/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.6043032010396323\n",
      "Epoch 69/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.6135195361243353\n",
      "Epoch 70/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:14<00:00, 24.61it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0016142058576274123\n",
      "average test losses 2.961150283827062\n",
      "average precision 0.2778939833225688\n",
      "average train losses 2.6212543646494546\n",
      "Epoch 71/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.8055500189463296\n",
      "Epoch 72/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.828276369306776\n",
      "Epoch 73/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.8473577764299183\n",
      "Epoch 74/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.847471581565009\n",
      "Epoch 75/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.820854557885064\n",
      "Epoch 76/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.835979779561361\n",
      "Epoch 77/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.827869865629408\n",
      "Epoch 78/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.8240357769860163\n",
      "Epoch 79/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 2.8407884438832602\n",
      "Epoch 80/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:16<00:00, 21.61it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0016557477478288177\n",
      "average test losses 3.182159653756014\n",
      "average precision 0.26542773048629653\n",
      "average train losses 2.8202674123975964\n",
      "Epoch 81/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.074067619111803\n",
      "Epoch 82/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.049567937850952\n",
      "Epoch 83/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.057183133231269\n",
      "Epoch 84/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.066492372088962\n",
      "Epoch 85/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.072536097632514\n",
      "Epoch 86/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.065010335710314\n",
      "Epoch 87/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.0586560832129583\n",
      "Epoch 88/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.068419403500027\n",
      "Epoch 89/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1058166291978626\n",
      "Epoch 90/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.26s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:15<00:00, 22.69it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0017129899429799485\n",
      "average test losses 3.3084362650189303\n",
      "average precision 0.28006383021531833\n",
      "average train losses 3.057686063978407\n",
      "Epoch 91/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.079818328221639\n",
      "Epoch 92/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.089387893676758\n",
      "Epoch 93/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.0658281909094915\n",
      "Epoch 94/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.34s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.050587601131863\n",
      "Epoch 95/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.33s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.0867376062605114\n",
      "Epoch 96/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.29s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.0867161220974393\n",
      "Epoch 97/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.28s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.052495797475179\n",
      "Epoch 98/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.28s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.0611209869384766\n",
      "Epoch 99/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.0691605938805475\n",
      "Epoch 100/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.26s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:19<00:00, 17.83it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.003088909676271966\n",
      "average test losses 3.285565217336019\n",
      "average precision 0.261096913421581\n",
      "average train losses 3.0539301766289606\n",
      "Epoch 101/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.32s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.142022318310208\n",
      "Epoch 102/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.31s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1248709890577526\n",
      "Epoch 103/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.30s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.129048506418864\n",
      "Epoch 104/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.27s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1424612998962402\n",
      "Epoch 105/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.33s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1327989631228976\n",
      "Epoch 106/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.39s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1329222785101996\n",
      "Epoch 107/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.36s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1682524416181774\n",
      "Epoch 108/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.39s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1494476000467935\n",
      "Epoch 109/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.37s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.124227285385132\n",
      "Epoch 110/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.41s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:20<00:00, 17.09it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.00396611004473477\n",
      "average test losses 3.2948702709627287\n",
      "average precision 0.19177502279025632\n",
      "average train losses 3.136895868513319\n",
      "Epoch 111/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.38s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1631370650397406\n",
      "Epoch 112/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.40s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.18969021903144\n",
      "Epoch 113/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.43s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.183134502834744\n",
      "Epoch 114/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.40s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1813365353478327\n",
      "Epoch 115/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.213038523991903\n",
      "Epoch 116/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1953239970737033\n",
      "Epoch 117/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.1974917782677545\n",
      "Epoch 118/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.176448927985297\n",
      "Epoch 119/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.205897675620185\n",
      "Epoch 120/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:16<00:00, 21.37it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0017079063969799597\n",
      "average test losses 3.4816126015111593\n",
      "average precision 0.1447952351104219\n",
      "average train losses 3.207213136884901\n",
      "Epoch 121/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.3422984547085233\n",
      "Epoch 122/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.3509786128997803\n",
      "Epoch 123/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.3501297103034124\n",
      "Epoch 124/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.3533346917894153\n",
      "Epoch 125/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.3279643853505454\n",
      "Epoch 126/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.336705658170912\n",
      "Epoch 127/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.36540953318278\n",
      "Epoch 128/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.3300988939073353\n",
      "Epoch 129/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.3399164411756725\n",
      "Epoch 130/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:16<00:00, 21.66it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0017396568233131343\n",
      "average test losses 3.355734167615233\n",
      "average precision 0.1518454055099257\n",
      "average train losses 3.3668061097462973\n",
      "Epoch 131/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.5574309825897217\n",
      "Epoch 132/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.5682566430833607\n",
      "Epoch 133/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.550636476940579\n",
      "Epoch 134/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.5428511831495495\n",
      "Epoch 135/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.5636999342176647\n",
      "Epoch 136/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.5769084559546576\n",
      "Epoch 137/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.574477195739746\n",
      "Epoch 138/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.5767931673261852\n",
      "Epoch 139/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.584551069471571\n",
      "Epoch 140/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:16<00:00, 20.59it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0017212551203888025\n",
      "average test losses 3.588547597243915\n",
      "average precision 0.14886714773086832\n",
      "average train losses 3.576030280854967\n",
      "Epoch 141/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.9333591196272106\n",
      "Epoch 142/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.9415923489464655\n",
      "Epoch 143/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.918442381752862\n",
      "Epoch 144/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.929529587427775\n",
      "Epoch 145/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.9463963508605957\n",
      "Epoch 146/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.9135989083184137\n",
      "Epoch 147/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.9675368203057184\n",
      "Epoch 148/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.26s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.931961907280816\n",
      "Epoch 149/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.29s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.910655392540826\n",
      "Epoch 150/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:21<00:00, 16.38it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.001973222803186487\n",
      "average test losses 4.096216281934342\n",
      "average precision 0.13507019737753875\n",
      "average train losses 3.937986797756619\n",
      "Epoch 151/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.012807528177897\n",
      "Epoch 152/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.999905268351237\n",
      "Epoch 153/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.9795947869618735\n",
      "Epoch 154/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.26s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.992503696017795\n",
      "Epoch 155/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.978884776433309\n",
      "Epoch 156/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.26s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.005100753572252\n",
      "Epoch 157/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.26s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.9882758458455405\n",
      "Epoch 158/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.32s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.992697662777371\n",
      "Epoch 159/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.41s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 3.9784362845950656\n",
      "Epoch 160/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.33s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:23<00:00, 14.65it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.002736609206240401\n",
      "average test losses 4.066430768735728\n",
      "average precision 0.13393412132759971\n",
      "average train losses 3.9843526946173773\n",
      "Epoch 161/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.31s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.62047979566786\n",
      "Epoch 162/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.29s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.62657806608412\n",
      "Epoch 163/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.27s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.638450516594781\n",
      "Epoch 164/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.31s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.646792782677545\n",
      "Epoch 165/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.33s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.641960197024876\n",
      "Epoch 166/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.33s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.6389744016859265\n",
      "Epoch 167/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.35s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.649557696448432\n",
      "Epoch 168/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.27s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.642604404025608\n",
      "Epoch 169/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 4.623664485083686\n",
      "Epoch 170/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:23<00:00, 14.84it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0019975367434683687\n",
      "average test losses 4.806473333951075\n",
      "average precision 0.12320825638066123\n",
      "average train losses 4.605073187086317\n",
      "Epoch 171/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.125451564788818\n",
      "Epoch 172/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.114604261186388\n",
      "Epoch 173/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.114298555586073\n",
      "Epoch 174/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.108108096652561\n",
      "Epoch 175/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.107306745317247\n",
      "Epoch 176/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.128086302015516\n",
      "Epoch 177/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.13557948006524\n",
      "Epoch 178/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.150047673119439\n",
      "Epoch 179/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:13<00:00,  1.45s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.101211600833469\n",
      "Epoch 180/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:22<00:00, 15.48it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0017195556238505914\n",
      "average test losses 5.176369355954336\n",
      "average precision 0.1237253503122072\n",
      "average train losses 5.108319494459364\n",
      "Epoch 181/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:19<00:00,  2.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.471568849351671\n",
      "Epoch 182/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.4828728040059405\n",
      "Epoch 183/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.501959853702122\n",
      "Epoch 184/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.490916993882921\n",
      "Epoch 185/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.498393747541639\n",
      "Epoch 186/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.483065022362603\n",
      "Epoch 187/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.507667965359158\n",
      "Epoch 188/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.487256315019396\n",
      "Epoch 189/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.497293260362413\n",
      "Epoch 190/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:22<00:00, 15.69it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0019298523579567585\n",
      "average test losses 5.484234571456909\n",
      "average precision 0.17903582081543737\n",
      "average train losses 5.467170662350124\n",
      "Epoch 191/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:19<00:00,  2.15s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.894013404846191\n",
      "Epoch 192/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.885015434688992\n",
      "Epoch 193/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.865064197116428\n",
      "Epoch 194/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.85958014594184\n",
      "Epoch 195/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.26s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.8812605539957685\n",
      "Epoch 196/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.894079632229275\n",
      "Epoch 197/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.889609548780653\n",
      "Epoch 198/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.871018250783284\n",
      "Epoch 199/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 5.886607964833577\n",
      "Epoch 200/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:25<00:00, 13.49it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0020201606967849947\n",
      "average test losses 5.955038146076039\n",
      "average precision 0.17020435430469968\n",
      "average train losses 5.870304955376519\n",
      "Epoch 201/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:18<00:00,  2.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.3203426996866865\n",
      "Epoch 202/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.3043323092990455\n",
      "Epoch 203/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.304147508409288\n",
      "Epoch 204/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.305605941348606\n",
      "Epoch 205/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.320817947387695\n",
      "Epoch 206/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.285253418816461\n",
      "Epoch 207/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.299837536282009\n",
      "Epoch 208/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.310536543528239\n",
      "Epoch 209/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.290172259012858\n",
      "Epoch 210/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:27<00:00, 12.53it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.00216930544274485\n",
      "average test losses 6.173262211671922\n",
      "average precision 0.16030241857193572\n",
      "average train losses 6.28636105855306\n",
      "Epoch 211/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:18<00:00,  2.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.991127120123969\n",
      "Epoch 212/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.998417854309082\n",
      "Epoch 213/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.973331981235081\n",
      "Epoch 214/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.993344677819146\n",
      "Epoch 215/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.973824130164252\n",
      "Epoch 216/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.24s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.980051464504665\n",
      "Epoch 217/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.977769480811225\n",
      "Epoch 218/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.997514035966661\n",
      "Epoch 219/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.27s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 6.990398936801487\n",
      "Epoch 220/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:31<00:00, 11.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0030518658140785675\n",
      "average test losses 7.053856971936348\n",
      "average precision 0.15116821727585394\n",
      "average train losses 6.978880988226996\n",
      "Epoch 221/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:17<00:00,  1.99s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 7.597528722551134\n",
      "Epoch 222/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 7.621595806545681\n",
      "Epoch 223/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 7.5951370133294\n",
      "Epoch 224/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 7.611900541517469\n",
      "Epoch 225/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 7.597688092125787\n",
      "Epoch 226/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 7.609384483761257\n",
      "Epoch 227/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 7.6085220442877874\n",
      "Epoch 228/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 7.604829576280382\n",
      "Epoch 229/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 7.61175341076321\n",
      "Epoch 230/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:29<00:00, 11.89it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.001722567441456678\n",
      "average test losses 7.659411638210981\n",
      "average precision 0.09511724720435626\n",
      "average train losses 7.600527180565728\n",
      "Epoch 231/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:17<00:00,  1.97s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 8.33058993021647\n",
      "Epoch 232/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 8.294415791829428\n",
      "Epoch 233/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 8.286709043714735\n",
      "Epoch 234/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 8.312616560194227\n",
      "Epoch 235/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 8.303770383199057\n",
      "Epoch 236/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 8.30936410692003\n",
      "Epoch 237/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 8.282616721259224\n",
      "Epoch 238/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 8.287933561537\n",
      "Epoch 239/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 8.307541317409939\n",
      "Epoch 240/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:27<00:00, 12.63it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0017698571892545434\n",
      "average test losses 8.358913019511775\n",
      "average precision 0.09446110050341573\n",
      "average train losses 8.31401793162028\n",
      "Epoch 241/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:16<00:00,  1.87s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 9.59449905819363\n",
      "Epoch 242/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 9.583526611328125\n",
      "Epoch 243/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 9.595083872477213\n",
      "Epoch 244/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 9.598428726196289\n",
      "Epoch 245/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 9.575094223022461\n",
      "Epoch 246/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.12s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 9.597706900702583\n",
      "Epoch 247/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 9.60882896847195\n",
      "Epoch 248/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 9.595291985405815\n",
      "Epoch 249/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 9.595692210727268\n",
      "Epoch 250/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:31<00:00, 11.21it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.002145829703393485\n",
      "average test losses 9.553227193674811\n",
      "average precision 0.09248971721009842\n",
      "average train losses 9.61315886179606\n",
      "Epoch 251/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:17<00:00,  1.90s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.191330591837565\n",
      "Epoch 252/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.14s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.19466135236952\n",
      "Epoch 253/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.18962213728163\n",
      "Epoch 254/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.203967836168077\n",
      "Epoch 255/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.186495569017199\n",
      "Epoch 256/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.219026565551758\n",
      "Epoch 257/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.196742375691732\n",
      "Epoch 258/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.196305592854818\n",
      "Epoch 259/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.18828264872233\n",
      "Epoch 260/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.14s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:32<00:00, 10.67it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0017855921362200354\n",
      "average test losses 10.161268864601766\n",
      "average precision 0.09198898377004218\n",
      "average train losses 10.192542182074654\n",
      "Epoch 261/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:16<00:00,  1.84s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.900893953111437\n",
      "Epoch 262/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.91482416788737\n",
      "Epoch 263/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.88906521267361\n",
      "Epoch 264/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.15s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.889262411329481\n",
      "Epoch 265/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.903370115492079\n",
      "Epoch 266/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.898820029364693\n",
      "Epoch 267/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.911711268954807\n",
      "Epoch 268/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.15s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.885711987813314\n",
      "Epoch 269/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 10.906137042575413\n",
      "Epoch 270/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.15s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:33<00:00, 10.46it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0018131807658747052\n",
      "average test losses 10.696151084030456\n",
      "average precision 0.0919766905851155\n",
      "average train losses 10.877175649007162\n",
      "Epoch 271/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:16<00:00,  1.85s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 11.851165983412\n",
      "Epoch 272/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 11.885747061835396\n",
      "Epoch 273/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.15s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 11.847727139790853\n",
      "Epoch 274/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 11.835575845506456\n",
      "Epoch 275/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.16s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 11.867500940958658\n",
      "Epoch 276/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 11.853225284152561\n",
      "Epoch 277/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 11.862580087449816\n",
      "Epoch 278/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 11.850006845262316\n",
      "Epoch 279/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 11.844774776034885\n",
      "Epoch 280/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.14s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:39<00:00,  8.92it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.002054929054021156\n",
      "average test losses 11.769687821043183\n",
      "average precision 0.09197579487393695\n",
      "average train losses 11.857786814371744\n",
      "Epoch 281/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:16<00:00,  1.81s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 12.681099679734972\n",
      "Epoch 282/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 12.680345323350695\n",
      "Epoch 283/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 12.679513931274414\n",
      "Epoch 284/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 12.690774387783474\n",
      "Epoch 285/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 12.69761594136556\n",
      "Epoch 286/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 12.673497200012207\n",
      "Epoch 287/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.20s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 12.667327880859375\n",
      "Epoch 288/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 12.688295470343697\n",
      "Epoch 289/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.17s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 12.692751142713758\n",
      "Epoch 290/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.21s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:38<00:00,  9.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0024215957717678145\n",
      "average test losses 12.614000113940985\n",
      "average precision 0.09200108215514136\n",
      "average train losses 12.695821974012587\n",
      "Epoch 291/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:16<00:00,  1.80s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 14.178841272989908\n",
      "Epoch 292/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.23s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 14.187791400485569\n",
      "Epoch 293/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 14.173371209038628\n",
      "Epoch 294/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 14.171799341837565\n",
      "Epoch 295/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.22s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 14.17861705356174\n",
      "Epoch 296/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 14.157020250956217\n",
      "Epoch 297/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 14.174665239122179\n",
      "Epoch 298/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 14.19014581044515\n",
      "Epoch 299/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 14.172426329718697\n",
      "Epoch 300/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:38<00:00,  9.16it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.001533625132677562\n",
      "average test losses 14.11638503332763\n",
      "average precision 0.0919802423327837\n",
      "average train losses 14.191214985317654\n",
      "Epoch 301/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:14<00:00,  1.65s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.685745769076878\n",
      "Epoch 302/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.676305029127333\n",
      "Epoch 303/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.697294129265678\n",
      "Epoch 304/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.697605980767143\n",
      "Epoch 305/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.713521427578396\n",
      "Epoch 306/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.67946614159478\n",
      "Epoch 307/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.6699890560574\n",
      "Epoch 308/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.68142647213406\n",
      "Epoch 309/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.730777316623264\n",
      "Epoch 310/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:39<00:00,  8.91it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.001561909319668414\n",
      "average test losses 15.57963646239365\n",
      "average precision 0.09187329787488063\n",
      "average train losses 15.698422855801052\n",
      "Epoch 311/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:13<00:00,  1.50s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.86627631717258\n",
      "Epoch 312/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.885499636332193\n",
      "Epoch 313/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.859711752997505\n",
      "Epoch 314/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.859782642788357\n",
      "Epoch 315/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.863694614834255\n",
      "Epoch 316/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.872680240207249\n",
      "Epoch 317/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.872455279032389\n",
      "Epoch 318/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.874253908793131\n",
      "Epoch 319/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 15.857735845777723\n",
      "Epoch 320/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:42<00:00,  8.17it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015330987098889474\n",
      "average test losses 15.95513034885765\n",
      "average precision 0.0915222188073526\n",
      "average train losses 15.876762496100532\n",
      "Epoch 321/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:13<00:00,  1.46s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 16.537304560343426\n",
      "Epoch 322/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 16.526523378160263\n",
      "Epoch 323/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 16.548921797010635\n",
      "Epoch 324/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 16.525135040283203\n",
      "Epoch 325/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 16.527273390028213\n",
      "Epoch 326/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 16.531400680541992\n",
      "Epoch 327/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 16.537512673272026\n",
      "Epoch 328/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 16.556507110595703\n",
      "Epoch 329/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 16.53139326307509\n",
      "Epoch 330/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:43<00:00,  8.03it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015743362937557731\n",
      "average test losses 16.509187442964297\n",
      "average precision 0.09187405846125599\n",
      "average train losses 16.539634068806965\n",
      "Epoch 331/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:13<00:00,  1.45s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.734759012858074\n",
      "Epoch 332/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.72465493943956\n",
      "Epoch 333/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.739924960666233\n",
      "Epoch 334/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.741284052530926\n",
      "Epoch 335/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.741964128282333\n",
      "Epoch 336/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.724158393012154\n",
      "Epoch 337/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.74061351352268\n",
      "Epoch 338/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.736840142144096\n",
      "Epoch 339/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.765953487820095\n",
      "Epoch 340/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:41<00:00,  8.36it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015439491326313074\n",
      "average test losses 17.576378751684118\n",
      "average precision 0.09202517945944445\n",
      "average train losses 17.73300298055013\n",
      "Epoch 341/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.41s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.730941772460938\n",
      "Epoch 342/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.768274307250977\n",
      "Epoch 343/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.751186582777237\n",
      "Epoch 344/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.04s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.760365168253582\n",
      "Epoch 345/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.760735193888348\n",
      "Epoch 346/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.728953467475044\n",
      "Epoch 347/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.725148095024956\n",
      "Epoch 348/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.72638448079427\n",
      "Epoch 349/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 17.75969907972548\n",
      "Epoch 350/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:42<00:00,  8.28it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015192364695405009\n",
      "average test losses 17.722013905517056\n",
      "average precision 0.09201955378958702\n",
      "average train losses 17.743976804945206\n",
      "Epoch 351/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.43s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.314762751261394\n",
      "Epoch 352/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.313345167371963\n",
      "Epoch 353/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.306225882636177\n",
      "Epoch 354/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.326170603434246\n",
      "Epoch 355/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.32433976067437\n",
      "Epoch 356/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.304285685221355\n",
      "Epoch 357/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.286036173502605\n",
      "Epoch 358/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.318755467732746\n",
      "Epoch 359/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.335126029120552\n",
      "Epoch 360/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:46<00:00,  7.60it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015108965740584241\n",
      "average test losses 18.222089131673176\n",
      "average precision 0.09198249823313068\n",
      "average train losses 18.32185067070855\n",
      "Epoch 361/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.40s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.69683265686035\n",
      "Epoch 362/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.713656107584637\n",
      "Epoch 363/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.709435780843098\n",
      "Epoch 364/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.71964666578505\n",
      "Epoch 365/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.704749001397026\n",
      "Epoch 366/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.701216803656685\n",
      "Epoch 367/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.704044130113388\n",
      "Epoch 368/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.708850860595703\n",
      "Epoch 369/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 18.704199261135525\n",
      "Epoch 370/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:49<00:00,  7.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015445298958368112\n",
      "average test losses 18.698653308075038\n",
      "average precision 0.0918654242627884\n",
      "average train losses 18.688677257961697\n",
      "Epoch 371/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.40s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 19.61237080891927\n",
      "Epoch 372/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 19.626672320895725\n",
      "Epoch 373/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 19.59623654683431\n",
      "Epoch 374/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 19.595420837402344\n",
      "Epoch 375/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 19.627851274278427\n",
      "Epoch 376/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 19.623100916544598\n",
      "Epoch 377/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 19.626331329345703\n",
      "Epoch 378/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 19.616005155775284\n",
      "Epoch 379/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 19.628580729166668\n",
      "Epoch 380/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:52<00:00,  6.70it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015579349974281767\n",
      "average test losses 19.732631324702858\n",
      "average precision 0.09188859749070116\n",
      "average train losses 19.599195692274307\n",
      "Epoch 381/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.37s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 21.888939963446724\n",
      "Epoch 382/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 21.900729285346138\n",
      "Epoch 383/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 21.89607048034668\n",
      "Epoch 384/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.05s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 21.918532689412434\n",
      "Epoch 385/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 21.874553044637043\n",
      "Epoch 386/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 21.88798650105794\n",
      "Epoch 387/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 21.888573540581596\n",
      "Epoch 388/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.06s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 21.872836854722763\n",
      "Epoch 389/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.07s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 21.90608172946506\n",
      "Epoch 390/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [00:57<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0015774425278362045\n",
      "average test losses 22.020019938803127\n",
      "average precision 0.09188401525320042\n",
      "average train losses 21.894190258449978\n",
      "Epoch 391/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:12<00:00,  1.43s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 23.031209309895832\n",
      "Epoch 392/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.11s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 23.021643108791775\n",
      "Epoch 393/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.13s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 23.05439609951443\n",
      "Epoch 394/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 23.015309015909832\n",
      "Epoch 395/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.08s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 23.02064365810818\n",
      "Epoch 396/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:09<00:00,  1.09s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 23.011089324951172\n",
      "Epoch 397/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.25s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 23.00129403008355\n",
      "Epoch 398/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:11<00:00,  1.28s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 23.022586398654514\n",
      "Epoch 399/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.18s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average train losses 23.013274298773872\n",
      "Epoch 400/400\n",
      "------------------------Training-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:10<00:00,  1.19s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------------------------Validation-----------------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 350/350 [01:00<00:00,  5.83it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "average time 0.0019106627189875327\n",
      "average test losses 23.00145888260627\n",
      "average precision 0.09189986728627653\n",
      "average train losses 22.995913399590385\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAjoAAAHFCAYAAAD7ZFORAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjguNCwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8fJSN1AAAACXBIWXMAAA9hAAAPYQGoP6dpAABDzUlEQVR4nO3de1iUZeL/8c+AAnIaRYWBPBFphqZ5CA9ZHspTSpr27dyq7a9MszK/bmVtIdWqWbnlVrpXW1prHnZXM9la0/JUiVGZecDMDM0SMjWBUDDh/v3hl1lHBoFhmBPv13XNdTXP3PPMPbePzcfnPlmMMUYAAAABKMjbFQAAAKgrBB0AABCwCDoAACBgEXQAAEDAIugAAICARdABAAABi6ADAAACFkEHAAAELIIOAAAIWAQd1DsLFy6UxWLR559/7u2q4Bz79++XxWLRwoULXXr/sWPHdPPNNys2NlYWi0UjR450a/38zYwZM7Ry5coKxzds2CCLxaINGzZ4vE6ApzXwdgUAoFx8fLwyMzOVlJTk0vufeuopvf3223r99deVlJSkmJgYN9fQv8yYMUM33HBDhcDXtWtXZWZmKjk52TsVAzyIoAPAo06ePKmwsDBZLJYKr4WGhqpnz54un3vnzp1KSkrSbbfdVpsqOjh58qQaNWrktvP5gujo6Fq1M+BP6LoCKvHxxx/r6quvVlRUlMLDw9W7d2+9++67DmVOnDihqVOnKjExUWFhYYqJiVH37t21ZMkSe5nvvvtON998sxISEhQaGqq4uDhdffXV2rZtm8O5li1bpl69eikiIkKRkZEaPHiwvvzyS4cy1T2XM6tWrVKvXr0UHh6uqKgoDRw4UJmZmfbXV65cKYvFog8//LDCe+fNmyeLxaLt27fbj33++ee67rrrFBMTo7CwMHXp0kX/+Mc/HN5X3k24Zs0a3XnnnWrevLnCw8NVUlLitI7Ouq6mT58ui8WiXbt26ZZbbpHValVcXJzuvPNO5efnO7zvgw8+0O7du2WxWBy6Zk6dOqWnn35a7du3V2hoqJo3b65x48bp559/dvj8Nm3aaPjw4VqxYoW6dOmisLAwpaenS5Ly8vI0fvx4tWjRQiEhIUpMTFR6erpOnz5dof7PPfec5syZo8TEREVGRqpXr17asmVLhe/76aefKjU1VU2bNlVYWJiSkpI0efJkhzJ79+7VrbfeqtjYWIWGhuqSSy7Ryy+/7LT9zmaxWFRUVKQ33njD3h79+vWT5LzrauzYsYqMjNTXX3+twYMHKyIiQvHx8Zo1a5YkacuWLerTp48iIiLUrl07vfHGGxU+szptJJ25njp37qzIyEhFRUWpffv2evTRR6v8ToAruKMDOLFx40YNHDhQnTp10muvvabQ0FC98sorSk1N1ZIlS3TTTTdJkqZMmaK///3vevrpp9WlSxcVFRVp586dOnr0qP1c1157rUpLSzV79my1atVKR44c0ebNm3X8+HF7mRkzZuiPf/yjxo0bpz/+8Y86deqUnn32WV155ZXKysqydzFU51zOLF68WLfddpsGDRqkJUuWqKSkRLNnz1a/fv304Ycfqk+fPho+fLhiY2O1YMECXX311Q7vX7hwobp27apOnTpJktavX68hQ4aoR48emj9/vqxWq5YuXaqbbrpJJ06c0NixYx3ef+edd2rYsGH6+9//rqKiIjVs2LDGfyajR4/WTTfdpN///vfasWOHpk2bJkl6/fXX7V1eEydOVH5+vt566y1JUnJyssrKyjRixAh99NFHeuihh9S7d28dOHBAaWlp6tevnz7//HOHOzZbt27V7t279cc//lGJiYmKiIhQXl6eUlJSFBQUpCeeeEJJSUnKzMzU008/rf3792vBggUOdX355ZfVvn17vfDCC5Kkxx9/XNdee61ycnJktVolSe+//75SU1N1ySWXaM6cOWrVqpX279+vNWvW2M+TnZ2t3r17q1WrVnr++edls9n0/vvv6/7779eRI0eUlpZWaXtlZmZqwIAB6t+/vx5//HFJZ+7knM9vv/2mUaNG6Z577tEf/vAHLV68WNOmTVNBQYGWL1+uhx9+WC1atNBf/vIXjR07Vh07dlS3bt0kqdpttHTpUk2cOFH33XefnnvuOQUFBenbb79VdnZ2ldcA4BID1DMLFiwwksxnn31WaZmePXua2NhYU1hYaD92+vRp07FjR9OiRQtTVlZmjDGmY8eOZuTIkZWe58iRI0aSeeGFFyot8/3335sGDRqY++67z+F4YWGhsdls5sYbb6z2uZwpLS01CQkJ5tJLLzWlpaUO54+NjTW9e/e2H5syZYpp1KiROX78uP1Ydna2kWT+8pe/2I+1b9/edOnSxfz2228OnzV8+HATHx9v/5zytv7d735Xrbrm5OQYSWbBggX2Y2lpaUaSmT17tkPZiRMnmrCwMPufhTHG9O3b13To0MGh3JIlS4wks3z5cofjn332mZFkXnnlFfux1q1bm+DgYLNnzx6HsuPHjzeRkZHmwIEDDsefe+45I8ns2rXLof6XXnqpOX36tL1cVlaWkWSWLFliP5aUlGSSkpLMyZMnK22PwYMHmxYtWpj8/HyH45MmTTJhYWHm2LFjlb7XGGMiIiLMmDFjKhxfv369kWTWr19vPzZmzJgK7fTbb7+Z5s2bG0lm69at9uNHjx41wcHBZsqUKfZj1W2jSZMmmcaNG5+33oA70XUFnKOoqEiffvqpbrjhBkVGRtqPBwcH64477tAPP/ygPXv2SJJSUlL0n//8R4888og2bNigkydPOpwrJiZGSUlJevbZZzVnzhx9+eWXKisrcyjz/vvv6/Tp0/rd736n06dP2x9hYWHq27evvXuhOudyZs+ePTp06JDuuOMOBQX99698ZGSkRo8erS1btujEiROSztx5OXnypJYtW2Yvt2DBAoWGhurWW2+VJH377bf6+uuv7eNgzq7ztddeq9zcXHv7lBs9enSV9azKdddd5/C8U6dOKi4u1uHDh8/7vn//+99q3LixUlNTHep62WWXyWazVZh51KlTJ7Vr167COfr376+EhASHcwwdOlTSmTuAZxs2bJiCg4MdzilJBw4ckCR988032rdvn37/+98rLCzMab2Li4v14Ycf6vrrr1d4eHiFdi4uLnbaHVYbFotF1157rf15gwYNdNFFFyk+Pl5dunSxH4+JiVFsbKz9+0jVb6OUlBQdP35ct9xyi9555x0dOXLErd8BOBdBBzjHL7/8ImOM4uPjK7yWkJAgSfauqblz5+rhhx/WypUr1b9/f8XExGjkyJHau3evJNnHvAwePFizZ89W165d1bx5c91///0qLCyUJP3000+SpMsvv1wNGzZ0eCxbtsz+Q1CdczlTXtfKvk9ZWZl++eUXSVKHDh10+eWX27sZSktLtWjRIo0YMcI+g6m8vlOnTq1Q34kTJ0pShR8vZ59dU02bNnV4HhoaKkkVwuW5fvrpJx0/flwhISEV6puXl1etuv7000/KyMio8P4OHTpIqvh9q6pr+digFi1aVFrvo0eP6vTp0/rLX/5S4XPLw4i7Q0J4eHiF4BUSEuJ09lpISIiKi4vtz6vbRnfccYdef/11HThwQKNHj1ZsbKx69OihtWvXuvW7AOUYowOco0mTJgoKClJubm6F1w4dOiRJatasmSQpIiJC6enpSk9P108//WS/u5Oamqqvv/5aktS6dWu99tprks78S/4f//iHpk+frlOnTmn+/Pn2c/3rX/9S69atz1u3qs7lTPmPbmXfJygoSE2aNLEfGzdunCZOnKjdu3fru+++U25ursaNG2d/vby+06ZN06hRo5x+5sUXX+zw3NkMK09p1qyZmjZtqtWrVzt9PSoqyuG5s7o2a9ZMnTp10p/+9Cen5ygPwNXVvHlzSdIPP/xQaZkmTZrY7yLee++9TsskJibW6HPrUk3aaNy4cRo3bpyKioq0adMmpaWlafjw4frmm2+q/DsA1BRBBzhHRESEevTooRUrVui5556zD1QtKyvTokWL1KJFiwpdG5IUFxensWPH6quvvtILL7ygEydOKDw83KFMu3bt9Mc//lHLly/X1q1bJUmDBw9WgwYNtG/fvhp18Tg7lzMXX3yxLrjgAi1evFhTp061/5AXFRVp+fLl9plY5W655RZNmTJFCxcu1HfffacLLrhAgwYNcjhf27Zt9dVXX2nGjBnVrq+3DB8+XEuXLlVpaal69Ojh8jnee+89JSUlOYRCV7Vr105JSUl6/fXXNWXKFPsdn7OFh4erf//++vLLL9WpUyeFhITU+HNCQ0OrvOPlLq60UUREhIYOHapTp05p5MiR2rVrF0EHbkfQQb21bt067d+/v8Lxa6+9VjNnztTAgQPVv39/TZ06VSEhIXrllVe0c+dOLVmyxB4WevTooeHDh6tTp05q0qSJdu/erb///e/28LB9+3ZNmjRJ//M//6O2bdsqJCRE69at0/bt2/XII49IOjOl+cknn9Rjjz2m7777TkOGDFGTJk30008/KSsry37XqDrnciYoKEizZ8/WbbfdpuHDh2v8+PEqKSnRs88+q+PHj9unD5dr3Lixrr/+ei1cuFDHjx/X1KlTHcb2SNJf//pXDR06VIMHD9bYsWN1wQUX6NixY9q9e7e2bt2qf/7zn7X803Gfm2++WW+99ZauvfZaPfDAA0pJSVHDhg31ww8/aP369RoxYoSuv/76857jySef1Nq1a9W7d2/df//9uvjii1VcXKz9+/frvffe0/z588/bDeXMyy+/rNTUVPXs2VMPPvigWrVqpe+//17vv/++fdbYiy++qD59+ujKK6/UhAkT1KZNGxUWFurbb79VRkaG1q1bd97PuPTSS7VhwwZlZGQoPj5eUVFRFe62uUt12+iuu+5So0aNdMUVVyg+Pl55eXmaOXOmrFarLr/88jqpG+o5b4+GBjytfCZQZY+cnBxjjDEfffSRGTBggImIiDCNGjUyPXv2NBkZGQ7neuSRR0z37t1NkyZNTGhoqLnwwgvNgw8+aI4cOWKMMeann34yY8eONe3btzcREREmMjLSdOrUyfz5z392mJVjjDErV640/fv3N9HR0SY0NNS0bt3a3HDDDeaDDz6o8bmcWblypenRo4cJCwszERER5uqrrzaffPKJ07Jr1qyxt8c333zjtMxXX31lbrzxRhMbG2saNmxobDabGTBggJk/f36Ftj7fDLeznW/W1c8//+xQtvzc5X9exjifdWXMmdlDzz33nOncubMJCwszkZGRpn379mb8+PFm79699nKtW7c2w4YNc1q3n3/+2dx///0mMTHRNGzY0MTExJhu3bqZxx57zPz6668O9X/22WcrvF+SSUtLcziWmZlphg4daqxWqwkNDTVJSUnmwQcfrNAmd955p7ngggtMw4YNTfPmzU3v3r3N008/7bSeZ9u2bZu54oorTHh4uJFk+vbta4ypfNZVREREhXNU1qbO2qo6bfTGG2+Y/v37m7i4OBMSEmISEhLMjTfeaLZv317l9wFcYTHGGI+nKwAAAA9g1hUAAAhYBB0AABCwCDoAACBgEXQAAEDAIugAAICARdABAAABK+AXDCwrK9OhQ4cUFRXl1WXoAQBA9RljVFhYqISEhAqLltZEwAedQ4cOqWXLlt6uBgAAcMHBgwdrvPL42QI+6JRv2Hfw4EFFR0d7uTYAAKA6CgoK1LJlywob79ZUwAed8u6q6Ohogg4AAH6mtsNOGIwMAAACFkEHAAAELIIOAAAIWAQdAAAQsAg6AAAgYBF0AABAwCLoAACAgEXQAQAAAYugAwAAAlbAr4wM31VaZpSVc0yHC4sVGxWmlMQYBQex8SoAwH0IOvCK1TtzlZ6Rrdz8YvuxeGuY0lKTNaRjvBdrBgAIJHRdweNW78zVhEVbHUKOJOXlF2vCoq1avTPXSzUDAAQagg48qrTMKD0jW8bJa+XH0jOyVVrmrAQAADVD0IFHZeUcq3An52xGUm5+sbJyjnmuUgCAgEXQgUcdLqw85LhSDgCA8yHowKNio8LcWg4AgPMh6MCjUhJjFG8NU2WTyC06M/sqJTHGk9UCAAQogg48KjjIorTUZEmqEHbKn6elJrOeDgDALQg68LghHeM17/auslkdu6ds1jDNu70r6+gAANyGBQPhFUM6xmtgso2VkQEAdYqgA68JDrKoV1JTb1cDABDA6LoCAAABi6ADAAACFkEHAAAELIIOAAAIWAxG9iGlZYZZSAAAuBFBx0es3pmr9Ixshw0v461hSktNZl0ZAABcRNeVD1i9M1cTFm2tsKt3Xn6xJizaqtU7c71UMwAA/BtBx8tKy4zSM7JlnLxWfiw9I1ulZc5KAACA8yHoeFlWzrEKd3LOZiTl5hcrK+eY5yoFAECAIOh42eHCykOOK+UAAMB/EXS8LDYqrOpCNSgHAAD+i6DjZSmJMYq3hqmySeQWnZl9lZIY48lqAQAQEAg6XhYcZFFaarIkVQg75c/TUpNZTwcAABcQdHzAkI7xmnd7V9msjt1TNmuY5t3elXV0AABwEQsG+oghHeM1MNnGysgAALgRQceHBAdZ1CupqberAQBAwKDrCgAABCyCDgAACFgEHQAAELAIOgAAIGARdAAAQMAi6AAAgIBF0AEAAAGLoAMAAAIWQQcAAAQsgg4AAAhYBB0AABCwCDoAACBgEXQAAEDAIugAAICARdABAAABi6ADAAACFkEHAAAELIIOAAAIWAQdAAAQsAg6AAAgYBF0AABAwPJq0Jk5c6Yuv/xyRUVFKTY2ViNHjtSePXscyhhjNH36dCUkJKhRo0bq16+fdu3a5aUaAwAAf+LVoLNx40bde++92rJli9auXavTp09r0KBBKioqspeZPXu25syZo5deekmfffaZbDabBg4cqMLCQi/WHAAA+AOLMcZ4uxLlfv75Z8XGxmrjxo266qqrZIxRQkKCJk+erIcffliSVFJSori4OD3zzDMaP358lecsKCiQ1WpVfn6+oqOj6/orAAAAN3DX77dPjdHJz8+XJMXExEiScnJylJeXp0GDBtnLhIaGqm/fvtq8ebPTc5SUlKigoMDh4ctKy4wy9x3VO9t+VOa+oyot85ncCQCA32vg7QqUM8ZoypQp6tOnjzp27ChJysvLkyTFxcU5lI2Li9OBAwecnmfmzJlKT0+v28q6yeqduUrPyFZufrH9WLw1TGmpyRrSMd6LNQMAIDD4zB2dSZMmafv27VqyZEmF1ywWi8NzY0yFY+WmTZum/Px8++PgwYN1Ut/aWr0zVxMWbXUIOZKUl1+sCYu2avXOXC/VDACAwOETQee+++7TqlWrtH79erVo0cJ+3GazSfrvnZ1yhw8frnCXp1xoaKiio6MdHr6mtMwoPSNbzjqpyo+lZ2TTjQUAQC15NegYYzRp0iStWLFC69atU2JiosPriYmJstlsWrt2rf3YqVOntHHjRvXu3dvT1XWbrJxjFe7knM1Iys0vVlbOMc9VCgCAAOTVMTr33nuvFi9erHfeeUdRUVH2OzdWq1WNGjWSxWLR5MmTNWPGDLVt21Zt27bVjBkzFB4erltvvdWbVa+Vw4WVhxxXygEAAOe8GnTmzZsnSerXr5/D8QULFmjs2LGSpIceekgnT57UxIkT9csvv6hHjx5as2aNoqKiPFxb94mNCnNrOQAA4JxPraNTF3xxHZ3SMqM+z6xTXn6x03E6Fkk2a5g+fniAgoOcD7oGACCQBeQ6OvVFcJBFaanJks6EmrOVP09LTSbkAABQSwQdLxnSMV7zbu8qm9Wxe8pmDdO827uyjg4AAG7gMwsG1kdDOsZrYLJNWTnHdLiwWLFRYUpJjOFODgAAbkLQ8bLgIIt6JTX1djUAAAhIdF0BAICARdABAAABi6ADAAACFkEHAAAELIIOAAAIWMy68oLSMsOUcgAAPICg42Grd+YqPSPbYffyeGuY0lKTWSQQAAA3o+vKg1bvzNWERVsdQo4k5eUXa8KirVq9M9dLNQMAIDARdDyktMwoPSPb6Sae5cfSM7JVWhbQe6wCAOBRBB0Pyco5VuFOztmMpNz8YmXlHPNcpQAACHAEHQ85XFh5yHGlHAAAqBpBx0Nio8KqLlSDcgAAoGrMuqpDZ08jbxYRKlt0mH4qKHY6TsciyWY9M9UcAAC4B0GnjjibRt44vKGMzoSas8NO+Qo6aanJrKcDAIAbEXTqQPk08nPv3OSf+E2SZA1vqOP/99/SmTs5rKMDAID7EXTcrKpp5BZJYQ2C9Nb/66Ejv5awMjIAAHWIoONm1ZlGnldQoiCLRSMuu8BzFQMAoB5i1pWbMY0cAADfQdBxM6aRAwDgOwg6bpaSGKN4a5gqG3Fj0ZlNPJlGDgBA3SPouFlwkEVpqcmS5DTsGEmPD2MaOQAAnkDQqQNDOsZr3u1dZbM675566t1sdioHAMADCDp1ZEjHeD0+7BKnr+XlF2vCoq2EHQAA6hhBp46Ulhk99e5up6+Z/3s8smKHPtl7RKVlzlbdAQAAtUXQqSNVracjScdP/KbbXvtUfZ5Zx90dAADqAEGnjtRknRy6sgAAqBsEnTpSk3Vyyjuu0jOy6cYCAMCNCDp1pKr1dM5lJOXmFysr51hdVgsAgHqFoFNHqlpPpzJsDQEAgPsQdOpQVevpOMPWEAAAuA9Bp44N6Rivjx8eoLf+Xw81btSw0nJsDQEAgPsRdDwgOMiiKy5qplmjL5VFFbuyyp+npbI1BAAA7kTQ8aDKurJs1jDNu72rhnSM91LNAAAITA28XYH6ZkjHeA1Mtikr55gOFxYrNupMdxV3cgAAcD+CjhcEB1nUK6mpt6sBAEDAo+sKAAAELIIOAAAIWAQdAAAQsAg6AAAgYBF0AABAwGLWlY8oLTNMOQcAwM0IOj5g9c5cpWdkKzf/vxt6xlvDlJaazCKCAADUAl1XXrZ6Z64mLNrqEHIkKS+/WBMWbdXqnbleqhkAAP6PoONFpWVG6RnZMk5eKz+WnpGt0jJnJQAAQFUIOl6UlXOswp2csxlJufnFyso55rlKAQAQQAg6XnS4sPKQ40o5AADgiKDjRbFRYVUXqkE5AADgiKDjRSmJMYq3hqmySeQWnZl9lZIY48lqAQAQMAg6XhQcZFFaarIkVQg75c/TUpNZTwcAABcRdDyotMwoc99RvbPtR2XuO6rSMqMhHeM17/auslkdu6ds1jDNu70r6+gAAFALLBjoIVUtCjgw2cbKyAAAuJnFGBPQi7QUFBTIarUqPz9f0dHRXqlD+aKA5zZ0eYzhzg0AAI7c9ftN11UdY1FAAAC8h6BTx1gUEAAA7yHo1DEWBQQAwHsIOnWsuov97f2p0D4TCwAAuAdBp45VtShguZfW79Mtr25Rn2fWsWM5AABuQtCpY+dbFNCZvPxiTVi0lbADAIAbEHQ8oLJFAZ1hJhYAAO7DgoEecvaigJ98e0Qvrf+20rJnz8TqldTUc5UEACDAEHQ8KDjIol5JTZmJBQCAh9B15QXVnYlV3XIAAMA5go4XVDUTy6Iz+2ClJMZ4sloAAAQcgo4XnG8mVvnztNRkNvUEAKCWCDpeUtlMLJs1jE0+AQBwE68GnU2bNik1NVUJCQmyWCxauXKlw+tjx46VxWJxePTs2dM7la0DQzrG6+OHB2jJXT314s2XacldPfXxwwMIOQAAuIlXZ10VFRWpc+fOGjdunEaPHu20zJAhQ7RgwQL785CQEE9VzyPKZ2IBAAD382rQGTp0qIYOHXreMqGhobLZbB6qEQAACCQ+P0Znw4YNio2NVbt27XTXXXfp8OHD5y1fUlKigoIChwcAAKiffDroDB06VG+99ZbWrVun559/Xp999pkGDBigkpKSSt8zc+ZMWa1W+6Nly5YerDEAAPAlFmOMT2yoZLFY9Pbbb2vkyJGVlsnNzVXr1q21dOlSjRo1ymmZkpIShyBUUFCgli1bKj8/X9HR0e6uNgAAqAMFBQWyWq21/v32qy0g4uPj1bp1a+3du7fSMqGhoQoNDfVgrQAAgK/y6a6rcx09elQHDx5UfDzTrwEAQNW8ekfn119/1bff/ncX75ycHG3btk0xMTGKiYnR9OnTNXr0aMXHx2v//v169NFH1axZM11//fVerDUAAPAXXg06n3/+ufr3729/PmXKFEnSmDFjNG/ePO3YsUNvvvmmjh8/rvj4ePXv31/Lli1TVFSUt6oMAAD8iM8MRq4r7hrMBAAAPMddv99+NUYHAACgJgg6AAAgYPnV9HJ/V1pmlJVzTIcLixUbFaaUxBgFB1m8XS0AAAIWQcdDVu/MVXpGtnLzi+3H4q1hSktNZrdyAADqCF1XHrB6Z64mLNrqEHIkKS+/WBMWbdXqnbleqhkAAIHN5aDz/fffy9mELWOMvv/++1pVKpCUlhmlZ2TL2dS28mPpGdkqLQvoyW8AAHiFy0EnMTFRP//8c4Xjx44dU2JiYq0qFUiyco5VuJNzNiMpN79YWTnHPFcpAADqCZeDjjFGFkvFgbS//vqrwsLCalWpQHK4sPKQ40o5AABQfTUejFy+erHFYtHjjz+u8PBw+2ulpaX69NNPddlll7mtgv4uNqp6oa+65QAAQPXVOOh8+eWXks7c0dmxY4dCQkLsr4WEhKhz586aOnWq+2ro51ISYxRvDVNefrHTcToWSTbrmanmAADAvWocdNavXy9JGjdunF588UW2VahCcJBFaanJmrBoqyySQ9gp7/hLS01mPR0AAOqAy2N0FixY4BByCgoKtHLlSn399dduqVggGdIxXvNu7yqb1bF7ymYN07zbu7KODgAAdcTlBQNvvPFGXXXVVZo0aZJOnjyp7t27a//+/TLGaOnSpRo9erQ76+n3hnSM18BkGysjAwDgQS7f0dm0aZOuvPJKSdLbb78tY4yOHz+uuXPn6umnn3ZbBQNJcJBFvZKaasRlF6hXUlNCDgAAdczloJOfn6+YmDMDaFevXq3Ro0crPDxcw4YN0969e91WQQAAAFe5HHRatmypzMxMFRUVafXq1Ro0aJAk6ZdffmEdHQAA4BNcHqMzefJk3XbbbYqMjFSrVq3Ur18/SWe6tC699FJ31Q8AAMBlLgediRMnKiUlRQcPHtTAgQMVFHTm5tCFF17IGB0AAOATLMbZzpw1cOrUKeXk5CgpKUkNGricm+pMQUGBrFar8vPzWfMHAAA/4a7fb5fH6Jw4cUK///3vFR4erg4dOth3LL///vs1a9YslysEAADgLi4HnWnTpumrr77Shg0bHAYfX3PNNVq2bJlbKgcAAFAbLvc1rVy5UsuWLVPPnj0ddjFPTk7Wvn373FI5AACA2nD5js7PP/+s2NjYCseLioocgg8AAIC3uBx0Lr/8cr377rv25+Xh5tVXX1WvXr1qXzMAAIBacrnraubMmRoyZIiys7N1+vRpvfjii9q1a5cyMzO1ceNGd9YRAADAJS7f0endu7c++eQTnThxQklJSVqzZo3i4uKUmZmpbt26ubOOAAAALqn1Ojq+jnV0gDNKy4yyco7pcGGxYqPClJIYw8ayAHyWu36/Xe66Cg4OVm5uboUByUePHlVsbKxKS0tdrhQA91q9M1fpGdnKzS+2H4u3hiktNVlDOsZ7sWYAULdc7rqq7EZQSUmJQkJCXK4QAPdavTNXExZtdQg5kpSXX6wJi7Zq9c5cL9UMAOpeje/ozJ07V9KZWVZ/+9vfFBkZaX+ttLRUmzZtUvv27d1XQwAuKy0zSs/IlrN/lhhJFknpGdkamGyjGwtAQKpx0Pnzn/8s6cwdnfnz5ys4ONj+WkhIiNq0aaP58+e7r4YAXJaVc6zCnZyzGUm5+cXKyjmmXklNPVcxAPCQGgednJwcSVL//v21YsUKNWnSxO2VAuAehwsrDzmulAMAf1PjoNO7d2+NHDlSr7zyCiEH8HGxUWFVF6pBOQDwNzUejHz33Xfr008/VUpKitq1a6c//OEP+uijjyodnAzAe1ISYxRvDVNlo28sOjP7KiUxxpPVAgCPqXHQGTt2rJYvX64jR47ohRdeUEFBgW666SbFxsZq7Nixevvtt3XixIm6qCuAGgoOsigtNVmSKoSd8udpqckMRAYQsFyeXh4aGqprr71Wf/3rX3Xo0CH9+9//1gUXXKAnnnhCzZo10/Dhw/XJJ5+4s64AXDCkY7zm3d5VNqtj95TNGqZ5t3dlHR0AAa1OVkbet2+fVq1apZYtW+qGG25w9+lrhJWRgTNYGRmAP3HX77fLQefgwYOyWCxq0aKFJCkrK0uLFy9WcnKy7r77bpcr5G4EHQAA/I+7fr9d7rq69dZbtX79eklSXl6errnmGmVlZenRRx/Vk08+6XKFAAAA3MXloLNz506lpKRIkv7xj3/o0ksv1ebNm7V48WItXLjQXfUDAABwmcubev72228KDQ2VJH3wwQe67rrrJEnt27dXbi5758B3MDYFAOovl4NOhw4dNH/+fA0bNkxr167VU089JUk6dOiQmjZlKXn4BnbtBoD6zeWuq2eeeUZ//etf1a9fP91yyy3q3LmzJGnVqlX2Li3Am9i1GwBQq+nlpaWlKigocNgKYv/+/QoPD1dsbKxbKlhbzLqqn0rLjPo8s67SDS0tOrOOzMcPD6AbCwB8kNdnXZ08eVIlJSX2kHPgwAG98MIL2rNnj8+EHNRfNdm1GwAQuFwOOiNGjNCbb74pSTp+/Lh69Oih559/XiNHjtS8efPcVkHAFezaDQCQahF0tm7dqiuvvFKS9K9//UtxcXE6cOCA3nzzTc2dO9dtFQRcwa7dAACpFkHnxIkTioqKkiStWbNGo0aNUlBQkHr27KkDBw64rYKAK9i1GwAg1SLoXHTRRVq5cqUOHjyo999/X4MGDZIkHT58mEG/8Dp27QYASLUIOk888YSmTp2qNm3aKCUlRb169ZJ05u5Oly5d3FZBwFXs2g0AqNX08ry8POXm5qpz584KCjqTmbKyshQdHa327du7rZK1wfRysDIyAPgfr+9efrYffvhBFotFF1xwQW1P5XYEHQAA/I/X19EpKyvTk08+KavVqtatW6tVq1Zq3LixnnrqKZWVlblcIQAAAHdxea+rxx57TK+99ppmzZqlK664QsYYffLJJ5o+fbqKi4v1pz/9yZ31BAAAqDGXu64SEhI0f/58+67l5d555x1NnDhRP/74o1sqWFt0XQEA4H+83nV17NgxpwOO27dvr2PHWFYfAAB4n8tBp3PnznrppZcqHH/ppZfUqVOnWlUKAADAHVweozN79mwNGzZMH3zwgXr16iWLxaLNmzfr4MGDeu+999xZR/gYpmsDAPyFy0Gnb9+++uabb/Tyyy/r66+/ljFGo0aN0t13363p06fb98FCYFm9M1fpGdkOO4PHW8OUlprMAnwAAJ/jlnV0zvbVV1+pa9euKi0tdedpXcZgZPdZvTNXExZt1bkXTPm9HFYbBgC4i9cHI6N+KS0zSs/IrhByJNmPpWdkq7TMrbkZAIBaIeigWrJyjjl0V53LSMrNL1ZWDjPuAAC+g6CDajlcWHnIcaUcAACeUOPByKNGjTrv68ePH3e1LvBhsVFhVReqQTkAADyhxkHHarVW+frvfvc7lysE35SSGKN4a5jy8oudjtOxSLJZz0w1BwDAV9Q46CxYsKAu6gEfdfaaOTdf3kovfPCNLJJD2CmfdZWWmsx6OgAAn+LyOjoIfM7WzGkc3lCSdPzEb/ZjNtbRAQD4KIIOnKpszZz8E7/JSHrwmrZq0yyClZEBAD6NoIMKqlozxyJp6WcH9fHDAwg4AACf5tXp5Zs2bVJqaqoSEhJksVi0cuVKh9eNMZo+fboSEhLUqFEj9evXT7t27fJOZesR1swBAAQKrwadoqKiSndBl85sHDpnzhy99NJL+uyzz2Sz2TRw4EAVFhZ6uKb1C2vmAAAChVe7roYOHaqhQ4c6fc0YoxdeeEGPPfaYfe2eN954Q3FxcVq8eLHGjx/vyarWK6yZAwAIFD67MnJOTo7y8vI0aNAg+7HQ0FD17dtXmzdvrvR9JSUlKigocHigZsrXzKls9I1FZ3YsZ80cAICv89mgk5eXJ0mKi4tzOB4XF2d/zZmZM2fKarXaHy1btqzTegai4CCL0lKTJalC2GHNHACAP/HZoFPOYnH8MTXGVDh2tmnTpik/P9/+OHjwYF1XMSAN6Rivebd3lc3q2D1ls4Zp3u1dWTMHAOAXfHZ6uc1mk3Tmzk58/H9/VA8fPlzhLs/ZQkNDFRoaWuf1qw+GdIzXwGSbfWXk+rpmztmrQ9fXNgAAf+WzQScxMVE2m01r165Vly5dJEmnTp3Sxo0b9cwzz3i5dvVHcJBFvZKaersaXuNsdeh4VoIGAL/h1aDz66+/6ttvv7U/z8nJ0bZt2xQTE6NWrVpp8uTJmjFjhtq2bau2bdtqxowZCg8P16233urFWqO+qGx16Lz8Yk1YtJUuPADwA14NOp9//rn69+9vfz5lyhRJ0pgxY7Rw4UI99NBDOnnypCZOnKhffvlFPXr00Jo1axQVFeWtKqOeqM7q0OkZ2RqYbKMbCwB8mMUY4+z/5QGjoKBAVqtV+fn5io6O9nZ14Ccy9x3VLa9uqbLckrt61uuuPQCoK+76/fb5WVeAN7A6NAAEBoIO4ASrQwNAYCDoAE6wOjQABAaCDuAEq0MDQGAg6ACVYHVoAPB/PrtgIOALWB0aAPwbQQeoQn1fHRoA/BldVwAAIGARdAAAQMAi6AAAgIBF0AEAAAGLoAMAAAIWQQcAAAQsgg4AAAhYrKMDp0rLDIvkAQD8HkEHFazemav0jGzl5hfbj8Vbw5SWmsy2BwAAv0LXFRys3pmrCYu2OoQcScrLL9aERVu1emeul2oGAEDNEXRgV1pmlJ6RLePktfJj6RnZKi1zVgIAAN9D0IFdVs6xCndyzmYk5eYXKyvnmOcqBQBALRB0YHe4sPKQ40o5AAC8jaADu9ioMLeWAwDA2wg6sEtJjFG8NUyVTSK36Mzsq5TEGE9WCwAAlxF0YBccZFFaarIkVQg75c/TUpNZTwcA4DcIOnAwpGO85t3eVTarY/eUzRqmebd3ZR0dAIBfYcFAVDCkY7wGJttYGRkA4PcIOvVQdbZ3CA6yqFdSUy/VEAAA9yDo1DNs7wAAqE8Yo1OPsL0DAKC+IejUE2zvAACojwg69QTbOwAA6iOCTj3B9g4AgPqIoFNPsL0DAKA+IujUE2zvAACojwg69QTbOwAA6iOCTj3C9g4AgPqGBQPrGbZ3APxXdVY1B+CIoFMPsb0D4H9Y1RxwDV1XAODjWNUccB1BBwB8GKuaA7VD0AEAH8aq5kDtEHQAwIexqjlQOwQdAPBhrGoO1A5BBwB8GKuaA7VD0AEAH8aq5kDtEHQAwMexqjngOhYMBAA/wKrmgGsIOgDgJ1jVHKg5uq4AAEDAIugAAICARdcVUEPsIA0A/oOgA9QAO0gDgH+h6wqoJnaQBgD/Q9ABqoEdpAHAPxF0EDBKy4wy9x3VO9t+VOa+o24NHewgDQD+iTE6CAh1PXaGHaQBwD9xRwd+zxNjZ9hBGgD8E0EHfs1TY2fYQRoA/BNBB37NU2Nn2EEaAPwTQQd+zZNjZ9hBGgD8D4OR4dc8PXaGHaQBwL8QdOATXN1WoXzsTF5+sdNxOhaduePizrEz7CANAP6DoAOvq83U8PKxMxMWbZVFcgg7jJ0BADBGB17ljqnhjJ0BAFSGOzrwmqqmhlt0Zmr4wGRblXdkGDsDAHCGoAOvqcnU8OqMiWHsDADgXASdesjVgb/uxrYKAIC6RtCpZ+p6T6iaYFsFAEBdYzByPeKJPaFqgm0VAAB1jaBTT3hqT6iaYFsFAEBd8+mgM336dFksFoeHzWbzdrX8kqf2hKoppoYDAOqSz4/R6dChgz744AP78+DgYC/Wxn/58sBfpoYDAOqKzwedBg0acBfHDXx94K8rU8N9ZfYYAMB3+XzQ2bt3rxISEhQaGqoePXpoxowZuvDCCystX1JSopKSEvvzgoICT1TT53ljT6i65EuzxwAAvsunx+j06NFDb775pt5//329+uqrysvLU+/evXX06NFK3zNz5kxZrVb7o2XLlh6sse8KpIG/vjZ7DADguyzGGM9Ns6mloqIiJSUl6aGHHtKUKVOclnF2R6dly5bKz89XdHS0p6rqs/z9TkhpmVGfZ9ZVOrC6/M7Uxw8P8IvQBgBwrqCgQFartda/3z7fdXW2iIgIXXrppdq7d2+lZUJDQxUaGurBWvkXfx/46+5tIwAAgc2vgk5JSYl2796tK6+80ttV8Wv+vCeUL88eAwD4Hp8eozN16lRt3LhROTk5+vTTT3XDDTeooKBAY8aM8XbV4CW+PnsMAOBbfPqOzg8//KBbbrlFR44cUfPmzdWzZ09t2bJFrVu39nbV4CWBNnsMAFC3fDroLF261NtVgI8pnz02YdFWWSSHsONvs8cAAHXPp7uuAGfYNgIAUF0+fUcHqIy/zx4DAHgGQQd+obLtHvx19hgAwDMIOvB5/r7IITyDvc8AOEPQgU8r3+7h3BlW5ds9MCYHEmEYQOUYjAyfVVpmlJ6R7XQaefmx9IxslZb5zS4mqAPsfQbgfAg68Fk12e4B9RNhGEBVCDrwWWz3gKoQhgFUhaADn8V2D6gKYRhAVQg68Fnl2z1UNm/GojMDTtnuof4iDAOoCkGnHiotM8rcd1TvbPtRmfuO+uz4hfLtHiRVCDts9wCJMAygakwvr2f8bRpu+XYP59bZ5sN1huew9xmAqliMMb75z3k3KSgokNVqVX5+vqKjo71dHa8pLTN6ad23+vMH31R4rfwnwJfXpGExOJyPvwV4AFVz1+83QaceWL0zV9NX7VJeQUmlZSw6c5fk44cHECDglwjDQGBx1+83XVcBrrKVhc9VPg13y3dHdcVFzTxRNcCt2PsMgDMMRg5g51tMrTL3vsVKsoA/8pdJBggc/nLNcUcngFW1mJozx0/+xh5SgJ9hjBI8zZ+uOe7oBIDKUnVtFklj2XzAP7DXFzzN36457uj4ufOlalcXSTt72XzGPAC+q6q9viw684+Wgck2BmbDLfzxmuOOjh+rKlX/UlSimIgQl8/PsvmAb2OvL3iaP15zBB0/cW731KnTZVXu2vzUu7s14rIElz+TZfMB38ZeX/A0f7zm6LryA866p2IiGupY0W+Vvqc8Vbdo3KjGn1e+pg7L5gO+jb2+4Gn+eM1xR8fHVdY9db6Qc7aYiBDFW6t/wbFsPuA/2OsLnuaP1xxBxwdUNmvKlXVwzmWzNlJaarIsqrgxpvPyYR6dWu4v6zAAvoiNb+Fp/njN0XXlZeebNWVtFFLjdXDKnd39FBxkcboxZrw1TI8Pu0RNIkK9smy+P63DAPgqNr6Fp/nbNcdeV15U2fYM5THjziva6LVP9tf4vJVt0ulLewFV9d1ZsBCoGV/6+436oa6vOTb1rCZfDTqlZUZ9nllX6R0bi6QmVQw4LhcTEaJjRafsz339rkh1vjsbjAJA/camnn6uOmsRHCv6TTERIfql6JTTcTrlgWDjH/rriwO/+M2/5GqyDgMLFgIAaoOg4yV5BdUbezPysgQt+GS/LJJD2Dl70FdIgyC/CgT+uA4DAMA/MevKC1bvzNVT/95VrbIDk22ad3tX2c6ZIu7p2VHu5I/rMAAA/BN3dDysskG45zp31tTAZFvADDQsX4chL7/4vF1yvrQOAwDAPxF0PKi66+I4W4sgOMjiV91T51O+DsOERVvP2yXnr0EOAOA76LryoKoG4ZaLiQjx226p6ipfhyGQuuQAAL6HOzoeVN3BtTdd3lIDk211XBvvG9IxPqC65AAAvoeg40HVHVz7yoZ9evvLH316LRx3CaQuOQCA76HryoOq2gztbHn5xZqwaKtW78yt83oBABCouKPjorOXvm4WGSoZ6UhRyXm7X843CPdcRmcG5qZnZGtgso3uHAAAXEDQcYGzzSjPdr4tGCrbDM0ZVggGAKB26LqqofJ1cM4XUqrqdhrSMV4fPzxAk/onVeszWSEYAADXEHRqoLrr4JS/np6RrdIy56WDgyy64qLm1fpcVggGAMA1BJ0aqO46OJJjt1NlqhqcbNGZbjBWCAYAwDUEnRpwpQvpfO8pH5wsqULYYYVgAABqj6BTA650IVX1HlYIBgCg7jDrqgaq2ozybDXZmJIVggEAqBsEnRqo7jo4rnQ7sUIwAADuR9dVDVXW1XQ2up0AAPAN3NFxwbldTdVdGRkAAHgWQcdFdDUBAOD76LoCAAABi6ADAAACFkEHAAAELIIOAAAIWAQdAAAQsAg6AAAgYBF0AABAwCLoAACAgEXQAQAAASvgV0Y25szWmwUFBV6uCQAAqK7y3+3y33FXBXzQKSwslCS1bNnSyzUBAAA1VVhYKKvV6vL7Laa2UcnHlZWV6dChQ4qKipLF4rmNNgsKCtSyZUsdPHhQ0dHRHvvc+oZ29gza2TNoZ8+gnT2jtu1sjFFhYaESEhIUFOT6SJuAv6MTFBSkFi1aeO3zo6Oj+YvkAbSzZ9DOnkE7ewbt7Bm1aefa3Mkpx2BkAAAQsAg6AAAgYBF06khoaKjS0tIUGhrq7aoENNrZM2hnz6CdPYN29gxfaeeAH4wMAADqL+7oAACAgEXQAQAAAYugAwAAAhZBBwAABCyCzv955ZVXlJiYqLCwMHXr1k0fffTRectv3LhR3bp1U1hYmC688ELNnz+/Qpnly5crOTlZoaGhSk5O1ttvv+3w+qZNm5SamqqEhARZLBatXLmywjnGjh0ri8Xi8OjZs2etvqu3eKONZ86cqcsvv1xRUVGKjY3VyJEjtWfPHocyxhhNnz5dCQkJatSokfr166ddu3bV/gt7ia+2cyBdy5J32nnevHnq1KmTfQG2Xr166T//+Y9DGa5nz7Qz13Pt2/lsM2fOlMVi0eTJkx2Ou+V6NjBLly41DRs2NK+++qrJzs42DzzwgImIiDAHDhxwWv67774z4eHh5oEHHjDZ2dnm1VdfNQ0bNjT/+te/7GU2b95sgoODzYwZM8zu3bvNjBkzTIMGDcyWLVvsZd577z3z2GOPmeXLlxtJ5u23367wWWPGjDFDhgwxubm59sfRo0fd3gZ1zVttPHjwYLNgwQKzc+dOs23bNjNs2DDTqlUr8+uvv9rLzJo1y0RFRZnly5ebHTt2mJtuusnEx8ebgoKCumuQOuLL7Rwo17Ix3mvnVatWmXfffdfs2bPH7Nmzxzz66KOmYcOGZufOnfYyXM+eaWeu59q3c7msrCzTpk0b06lTJ/PAAw84vOaO65mgY4xJSUkx99xzj8Ox9u3bm0ceecRp+Yceesi0b9/e4dj48eNNz5497c9vvPFGM2TIEIcygwcPNjfffLPTc54v6IwYMaIa38K3+UIbG2PM4cOHjSSzceNGY4wxZWVlxmazmVmzZtnLFBcXG6vVaubPn1+9L+dDfLWdjQmca9kY32lnY4xp0qSJ+dvf/maM4Xr2VDsbw/XsrnYuLCw0bdu2NWvXrjV9+/Z1CDruup7rfdfVqVOn9MUXX2jQoEEOxwcNGqTNmzc7fU9mZmaF8oMHD9bnn3+u33777bxlKjvn+WzYsEGxsbFq166d7rrrLh0+fLjG5/AmX2rj/Px8SVJMTIwkKScnR3l5eQ7nCQ0NVd++fV36s/ImX27ncv5+LUu+086lpaVaunSpioqK1KtXL0lcz55q53Jcz//lajvfe++9GjZsmK655poKn+Ou67neB50jR46otLRUcXFxDsfj4uKUl5fn9D15eXlOy58+fVpHjhw5b5nKzlmZoUOH6q233tK6dev0/PPP67PPPtOAAQNUUlJSo/N4k6+0sTFGU6ZMUZ8+fdSxY0f7OcrfV93z+CpfbmcpMK5lyfvtvGPHDkVGRio0NFT33HOP3n77bSUnJ9vPUf6+6tbNV/lyO0tcz+5o56VLl2rr1q2aOXNmpZ9T/r7q1s2ZgN+9vLosFovDc2NMhWNVlT/3eE3P6cxNN91k/++OHTuqe/fuat26td59912NGjWqRufyNm+38aRJk7R9+3Z9/PHHta6bL/PVdg6ka1nyXjtffPHF2rZtm44fP67ly5drzJgx2rhxo8OPMNezY/lzj7ujnbmea9fOBw8e1AMPPKA1a9YoLCzMrXU7V72/o9OsWTMFBwdXSIeHDx+ukCLL2Ww2p+UbNGigpk2bnrdMZeesrvj4eLVu3Vp79+6t1Xk8yRfa+L777tOqVau0fv16tWjRwuFzJNXJn5Wn+XI7O+OP17Lk/XYOCQnRRRddpO7du2vmzJnq3LmzXnzxRfs5JK7nc8u7u52d4XquWTt/8cUXOnz4sLp166YGDRqoQYMG2rhxo+bOnasGDRqotLTUbddzvQ86ISEh6tatm9auXetwfO3aterdu7fT9/Tq1atC+TVr1qh79+5q2LDhectUds7qOnr0qA4ePKj4+PhanceTvNnGxhhNmjRJK1as0Lp165SYmOhQPjExUTabzeE8p06d0saNG2v9Z+VpvtzOzvjjtSz53v8zjDH27hKuZ8+0szNczzVr56uvvlo7duzQtm3b7I/u3bvrtttu07Zt2xQcHOy+67naw5YDWPnUutdee81kZ2ebyZMnm4iICLN//35jjDGPPPKIueOOO+zly6fWPfjggyY7O9u89tprFabWffLJJyY4ONjMmjXL7N6928yaNavC1LrCwkLz5Zdfmi+//NJIMnPmzDFffvmlfUpfYWGh+d///V+zefNmk5OTY9avX2969eplLrjgAr+bKuqtNp4wYYKxWq1mw4YNDtNAT5w4YS8za9YsY7VazYoVK8yOHTvMLbfc4vfTcX2tnQPpWjbGe+08bdo0s2nTJpOTk2O2b99uHn30URMUFGTWrFljL8P1XPftzPXsnnY+17mzroxxz/VM0Pk/L7/8smndurUJCQkxXbt2rTAttm/fvg7lN2zYYLp06WJCQkJMmzZtzLx58yqc85///Ke5+OKLTcOGDU379u3N8uXLHV5fv369kVThMWbMGGOMMSdOnDCDBg0yzZs3Nw0bNjStWrUyY8aMMd9//73bv78neKONnbWvJLNgwQJ7mbKyMpOWlmZsNpsJDQ01V111ldmxY4dbv7sn+WI7B9q1bIx32vnOO++0f2bz5s3N1Vdf7RByjOF69kQ7cz27p53P5SzouON6thjzfyOIAAAAAky9H6MDAAACF0EHAAAELIIOAAAIWAQdAAAQsAg6AAAgYBF0AABAwCLoAACAgEXQAQAAAYugA8Dtpk+frssuu8zb1QAAgg6AmrFYLOd9jB07VlOnTtWHH37o7apKkhYuXKiePXtKktq0aaMXXnjBrefv16+fJk+e7NZzAnCfBt6uAAD/kpuba//vZcuW6YknntCePXvsxxo1aqTIyEhFRkZ6o3oVrFq1SiNGjPB2NQB4CXd0ANSIzWazP6xWqywWS4Vj53ZdjR07ViNHjtSMGTMUFxenxo0bKz09XadPn9Yf/vAHxcTEqEWLFnr99dcdPuvHH3/UTTfdpCZNmqhp06YaMWKE9u/fb399w4YNSklJUUREhBo3bqwrrrhCBw4csL9eXFysNWvW6LrrrlO/fv104MABPfjgg/a7T+U2b96sq666So0aNVLLli11//33q6ioyP76K6+8orZt2yosLExxcXG64YYb7N9r48aNevHFF+3nPLt+ALyPoAPAI9atW6dDhw5p06ZNmjNnjqZPn67hw4erSZMm+vTTT3XPPffonnvu0cGDByVJJ06cUP/+/RUZGalNmzbp448/VmRkpIYMGaJTp07p9OnTGjlypPr27avt27crMzNTd999t0OA+fDDD2Wz2dShQwetWLFCLVq00JNPPqnc3Fz7nakdO3Zo8ODBGjVqlLZv365ly5bp448/1qRJkyRJn3/+ue6//349+eST2rNnj1avXq2rrrpKkvTiiy+qV69euuuuu+znbNmypYdbFsD50HUFwCNiYmI0d+5cBQUF6eKLL9bs2bN14sQJPfroo5KkadOmadasWfrkk0908803a+nSpQoKCtLf/vY3e3hZsGCBGjdurA0bNqh79+7Kz8/X8OHDlZSUJEm65JJLHD7znXfesXdbxcTEKDg4WFFRUbLZbPYyzz77rG699Vb7OJu2bdtq7ty56tu3r+bNm6fvv/9eERERGj58uKKiotS6dWt16dJFkmS1WhUSEqLw8HCHcwLwHdzRAeARHTp0UFDQf/+XExcXp0svvdT+PDg4WE2bNtXhw4clSV988YW+/fZbRUVF2cf8xMTEqLi4WPv27VNMTIzGjh2rwYMHKzU1VS+++KLD+CFjjDIyMnTdddedt15ffPGFFi5caP+MyMhIDR48WGVlZcrJydHAgQPVunVrXXjhhbrjjjv01ltv6cSJE25uHQB1haADwCMaNmzo8NxisTg9VlZWJkkqKytTt27dtG3bNofHN998o1tvvVXSmTs8mZmZ6t27t5YtW6Z27dppy5YtkqSsrCydOnVKffr0OW+9ysrKNH78eIfP+Oqrr7R3714lJSUpKipKW7du1ZIlSxQfH68nnnhCnTt31vHjx93UMgDqEl1XAHxS165dtWzZMsXGxio6OrrScl26dFGXLl00bdo09erVS4sXL1bPnj31zjvvaNiwYQoODraXDQkJUWlpaYXP2bVrly666KJKP6NBgwa65pprdM011ygtLU2NGzfWunXrNGrUKKfnBOA7uKMDwCfddtttatasmUaMGKGPPvpIOTk52rhxox544AH98MMPysnJ0bRp05SZmakDBw5ozZo1+uabb+zjdJxNK2/Tpo02bdqkH3/8UUeOHJEkPfzww8rMzNS9996rbdu2ae/evVq1apXuu+8+SdK///1vzZ07V9u2bdOBAwf05ptvqqysTBdffLH9nJ9++qn279+vI0eO2O9IAfANBB0APik8PFybNm1Sq1atNGrUKF1yySW68847dfLkSUVHRys8PFxff/21Ro8erXbt2unuu+/WpEmTNH78eO3bt0/ffvutBg8e7HDOJ598Uvv371dSUpKaN28uSerUqZM2btyovXv36sorr1SXLl30+OOPKz4+XpLUuHFjrVixQgMGDNAll1yi+fPna8mSJerQoYMkaerUqQoODlZycrKaN2+u77//3rMNBeC8LMYY4+1KAIA7zZkzRx988IHee+89b1cFgJdxRwdAwGnRooWmTZvm7WoA8AHc0QEAAAGLOzoAACBgEXQAAEDAIugAAICARdABAAABi6ADAAACFkEHAAAELIIOAAAIWAQdAAAQsAg6AAAgYP1/3wS55aPTQbMAAAAASUVORK5CYII=",
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "state_dict = torch.load('results/voc_fused_7_frozen_layers_300_epochs_00003_lr_0001_decay.pt')\n",
    "\n",
    "net = PrunedMyTinyYoloV2(num_classes=1)\n",
    "net.load_state_dict(state_dict)\n",
    "net.to(device)\n",
    "\n",
    "ratio = 0.03\n",
    "lr = 0.00002\n",
    "weight_decay = 0.001\n",
    "\n",
    "t1 = time.time()\n",
    "\n",
    "accuracy, times, losses, train_losses = [], [], [], []\n",
    "\n",
    "prune_every = 10\n",
    "prune_times = 40\n",
    "\n",
    "criterion = YoloLoss(anchors=net.anchors)\n",
    "\n",
    "frozen_layers = ['1', '2', '3', '4', '5', '6', '7']\n",
    "nr_frozen = len(frozen_layers)\n",
    "\n",
    "\n",
    "for key, param in net.named_parameters():\n",
    "    if any(x in key for x in frozen_layers):\n",
    "        param.requires_grad = False\n",
    "    \n",
    "optimizer = torch.optim.Adam(filter(lambda x: x.requires_grad, net.parameters()), lr=lr, weight_decay=weight_decay)\n",
    "\n",
    "\n",
    "last_ten_sds = []\n",
    "sds = []\n",
    "time_threshold = 0.0015\n",
    "\n",
    "\n",
    "#iterative pruning\n",
    "\n",
    "#acc, t = net_acc_and_time(PrunedMyTinyYoloV2, state_dict, VOCDataLoaderPerson(train=False, batch_size=1, shuffle=True), batches=8)#, device='cuda')\n",
    "#print(f\"Acc: {acc}, Time: {t}\")\n",
    "l = 0\n",
    "t = 1\n",
    "torch_input = torch.randn(1, 3, 320, 320)\n",
    "\n",
    "\n",
    "for i in range(prune_times * prune_every):\n",
    "    print(f\"Epoch {i + 1}/{prune_times * prune_every}\")\n",
    "    if i % prune_every == 0:\n",
    "        state_dict = l1_structured_pruning(net.cpu().state_dict(), ratio)\n",
    "        state_dict = densify_state_dict(state_dict)\n",
    "        net.load_state_dict(state_dict)\n",
    "        if int((i / prune_every)) % 5 == 0:\n",
    "            torch.save(state_dict, f'results/voc_pruned_{int((i / prune_every))}_7_frozen_layers_300_epochs_00003_lr_001_decay.pt')\n",
    "            onnx_program = torch.onnx.export(net, torch_input, f\"results/voc_pruned_{int((i / prune_every))}_7_frozen_layers_300_epochs_00003_lr_0001_decay.onnx\", input_names = ['input'])\n",
    "\n",
    "    net, train_loss = train(net, VOCDataLoaderPerson(train=True, batch_size=256, shuffle=True), optimizer, criterion, device=device)\n",
    "    train_losses.append(train_loss)\n",
    "\n",
    "        \n",
    "    if i % prune_every == prune_every - 1:\n",
    "        p, r, l, t  = validate(net, VOCDataLoaderPerson(train=False, batch_size=1, shuffle=True), optimizer, criterion, device=device)\n",
    "\n",
    "        acc = ap(p, r)\n",
    "        \n",
    "        \n",
    "        #accuracy.append(acc)\n",
    "        times.append(t)\n",
    "        \n",
    "        print('average time', t)\n",
    "        print('average test losses', l)\n",
    "        print('average precision', acc)\n",
    "        losses.append(l)\n",
    "        \n",
    "    print('average train losses', train_loss)\n",
    "\n",
    "    \"\"\"\n",
    "    if (l > 5):\n",
    "        break\n",
    "\n",
    "    if (t < time_threshold):\n",
    "        sds.append(state_dict)\n",
    "        time_threshold -= 0.0001\n",
    "\n",
    "    if (t < 0.001):\n",
    "        break\n",
    "\n",
    "    last_ten_sds.append(state_dict)\n",
    "    if (len(last_ten_sds) > 10):\n",
    "        last_ten_sds.pop(0)\n",
    "\n",
    "    \n",
    "    if (len(times) >= 10):\n",
    "        if (np.mean(times[-10:-5]) < np.mean(times[-5:])):\n",
    "            index = torch.argmax(torch.FloatTensor(times[-10:]))\n",
    "            best_sd = last_ten_sds[index]\n",
    "            break\"\"\"\n",
    "            \n",
    "\n",
    "    \n",
    "    \n",
    "plot_losses_over_time(losses, times)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "277daa08-34b4-47fa-994b-f5fe83f6c07a",
   "metadata": {},
   "outputs": [],
   "source": [
    "plot([(list(range(len(losses))), losses, 'loss')],\n",
    "      xlabel='index', save_path='retrainingloss.png')\n",
    "plot([(list(range(len(times))), times, 'time')],\n",
    "      xlabel='index', save_path='retrainingtime.png')\n",
    "plot([(list(range(len(train_losses))), train_losses, 'train loss')],\n",
    "      xlabel='index', save_path='retrainingtrainloss.png')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bac246a8-4085-4e8a-b0c6-7d0dca2da368",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5113b401-7e75-4b80-bb1e-8e88ef56cf21",
   "metadata": {},
   "outputs": [],
   "source": [
    "means = []\n",
    "means2 = []\n",
    "for i in range(4):\n",
    "    means.append(0.00142)\n",
    "    means2.append(0.00142)\n",
    "for i in range(4):\n",
    "    means2.append(0.00142)\n",
    "for i in range(4, len(times)):\n",
    "    means.append(np.mean(times[i - 4:i+1]))\n",
    "    means2.append(np.mean(times[i - 4:i+1]))\n",
    "\n",
    "\n",
    "for i in range(4):\n",
    "    means2.pop()\n",
    "\n",
    "'''plot([(list(range(len(means))), means, 'means')],\n",
    "      xlabel='index', save_path='retrainingmeans.png')\n",
    "plot([(list(range(len(means2))), means2, 'means2')],\n",
    "      xlabel='index', save_path='retrainingmeans2.png')\n",
    "plot([(list(range(len(times))), times, 'time')],\n",
    "      xlabel='index', save_path='retrainingtime.png')'''\n",
    "\n",
    "\n",
    "plt.plot(list(range(len(times))), times, color='b', label='times') \n",
    "plt.plot(list(range(len(means))), means, color='r', label='means') \n",
    "plt.plot(list(range(len(means2))), means2, color='g', label='means2') \n",
    "plt.grid()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "04c75829-6dcc-47b7-b980-1ada8efab069",
   "metadata": {},
   "outputs": [],
   "source": [
    "torch.save(best_sd, 'models/configs/voc_pruned4.pt')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "97d42801-ae35-48a0-a794-09be4748aae6",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}