L4Z4.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "from collections import defaultdict as dd\n",
    "from typing import List, Dict, Set\n",
    "import nltk\n",
    "from tqdm import tqdm_notebook, tnrange\n",
    "import pickle\n",
    "from termcolor import colored\n",
    "\n",
    "from enum import Enum"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "def load_word_set():\n",
    "    all_lemmas = set()\n",
    "    for line in open('Dane/polimorfologik-2.1.txt', encoding='utf-8'):\n",
    "        L = line.split(';')[1].lower()\n",
    "        all_lemmas.add(L)\n",
    "    return all_lemmas"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_normal_form(w):\n",
    "    polish_map = {\n",
    "        \"ż\": \"z\",\n",
    "        \"ź\": \"z\",\n",
    "        \"x\": \"z\",\n",
    "        \"ó\": \"o\",\n",
    "        \"ł\": \"l\",\n",
    "        \"ć\": \"c\",\n",
    "        \"ą\": \"a\",\n",
    "        \"ń\": \"n\",\n",
    "        \"ę\": \"e\",\n",
    "    }\n",
    "    ortographic_map = {\n",
    "        \"u\": \"o\",\n",
    "        \"om\": \"a\",\n",
    "        \"en\": \"e\",\n",
    "        \"em\": \"e\",\n",
    "        \"on\": \"a\",\n",
    "        \"rz\": \"e\",\n",
    "        \"ch\": \"h\",\n",
    "#         \"fk\": \"wk\",\n",
    "#         \"af\": \"aw\",\n",
    "        \"f\": \"w\",\n",
    "        \"sz\": \"z\",\n",
    "    }\n",
    "    tmp = \"\"\n",
    "    for c in w:\n",
    "        tmp += c if c not in polish_map else polish_map[c]\n",
    "    l = len(w)\n",
    "    res = \"\"\n",
    "    i = 0\n",
    "    while i < l:\n",
    "        if i < l - 1 and tmp[i:(i+2)] in ortographic_map:\n",
    "            res += ortographic_map[tmp[i:(i+2)]]\n",
    "            i += 2\n",
    "            continue\n",
    "        if tmp[i] in ortographic_map:\n",
    "            res += ortographic_map[tmp[i]]\n",
    "            i += 1\n",
    "            continue\n",
    "        res += tmp[i]\n",
    "        i += 1\n",
    "    return res"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_dictionaries():\n",
    "    ws = load_word_set()\n",
    "    res1 = dd(list)\n",
    "    res2 = dd(list)\n",
    "    for w in word_set:\n",
    "        norm_w = get_normal_form(w)\n",
    "        res1[norm_w].append(w)\n",
    "        res2[(w[0], len(w))].append(w)\n",
    "        if len(w) > 1:\n",
    "            res2[(w[1], len(w))].append(w)\n",
    "    return res1, res2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "class EditOp(Enum):\n",
    "    INS = 1\n",
    "    DEL = 2\n",
    "    CHAN = 3\n",
    "    SWAP = 4\n",
    "    SWAP1 = 5"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "def levenshtein(seq1, seq2, ins_cost=1, del_cost=1, ch_cost=1, swp_cost=1, swp1_cost=1):\n",
    "    size_x = len(seq1) + 1\n",
    "    size_y = len(seq2) + 1\n",
    "    matrix = np.zeros ((size_x, size_y))\n",
    "    matrix_op = [[[] for _ in range(size_y)] for _ in range(size_x)]\n",
    "#     print(del_cost)\n",
    "#     print(size_x)\n",
    "    for x in range(size_x):\n",
    "#         print(x)\n",
    "        matrix[x, 0] = x*del_cost\n",
    "        matrix_op[x][0] = [EditOp.DEL] * x\n",
    "    for y in range(size_y):\n",
    "        matrix[0, y] = y*ins_cost\n",
    "        matrix_op[0][y] = [EditOp.INS] * y\n",
    "\n",
    "#     print(matrix)\n",
    "    for x in range(1, size_x):\n",
    "        for y in range(1, size_y):\n",
    "#             print(f\"{x},{y}\")\n",
    "#             print(matrix[x-1, y] + del_cost)\n",
    "            matrix[x,y] = matrix[x-1, y] + del_cost\n",
    "            matrix_op[x][y] = matrix_op[x-1][y] + [EditOp.DEL]\n",
    "            cost = matrix[x, y-1] + ins_cost\n",
    "            if cost <= matrix[x, y]:\n",
    "                matrix[x, y] = cost\n",
    "                matrix_op[x][y] =  matrix_op[x][y-1] + [EditOp.INS]\n",
    "            cost = matrix[x-1, y-1] if seq1[x-1] == seq2[y-1] else matrix[x-1, y-1] + ch_cost\n",
    "            ops = matrix_op[x-1][y-1] if seq1[x-1] == seq2[y-1] else matrix_op[x-1][y-1] + [EditOp.CHAN]\n",
    "            if cost <= matrix[x, y]:\n",
    "                matrix[x, y] = cost\n",
    "                matrix_op[x][y] =  ops\n",
    "            if x > 1 and y > 1 and seq1[x-1] == seq2[y-2] and seq1[x-2] == seq2[y-1]:\n",
    "                cost = matrix[x-2, y-2] + swp_cost\n",
    "                ops = matrix_op[x-2][y-2] + [EditOp.SWAP]\n",
    "                if cost <= matrix[x, y]:\n",
    "                    matrix[x, y] = cost\n",
    "                    matrix_op[x][y] =  ops\n",
    "            if x > 2 and y > 2 and seq1[x-1] == seq2[y-3] and seq1[x-3] == seq2[y-1] and seq1[x-2] == seq2[y-2]:\n",
    "                cost = matrix[x-2, y-2] + swp1_cost\n",
    "                ops = matrix_op[x-2][y-2] + [EditOp.SWAP1]\n",
    "                if cost <= matrix[x, y]:\n",
    "                    matrix[x, y] = cost\n",
    "                    matrix_op[x][y] =  ops\n",
    "    return (matrix[size_x - 1, size_y - 1], matrix_op[size_x-1][size_y-1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "def argmin(l):\n",
    "    res = None\n",
    "    for i, el in enumerate(l):\n",
    "        if res is None or el < l[res]:\n",
    "            res = i\n",
    "    return res\n",
    "            "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "def find_closest(w, words, ins_cost=1, del_cost=1, ch_cost=1):\n",
    "    edit_distances_and_ops = [levenshtein(w, w1, ins_cost, del_cost, ch_cost) for w1 in tqdm_notebook(words)]\n",
    "    edit_distances = [el[0] for el in edit_distances_and_ops]\n",
    "    i = argmin(edit_distances)\n",
    "    return words[i], edit_distances_and_ops[i]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "def correct_word(w, norm_dicts, ins_cost=1, del_cost=1, ch_cost=1):\n",
    "    d1, d2 = norm_dicts\n",
    "    norm_w = get_normal_form(w)\n",
    "    if norm_w in d1:\n",
    "        return find_closest(w, d1[norm_w], ins_cost, del_cost, ch_cost)\n",
    "    l = len(w)\n",
    "    w_candidates = []\n",
    "    for i in range(l-1, l+2):\n",
    "        w_candidates += d2[(w[0], i)][:]\n",
    "    if len(w) > 1:\n",
    "        for i in range(l -1, l + 2):\n",
    "            w_candidates += d2[(w[1], i)]\n",
    "    return find_closest(w, w_candidates, ins_cost, del_cost, ch_cost)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "word_set = load_word_set()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "d1, d2 = get_dictionaries()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "def main(line):\n",
    "    line = nltk.word_tokenize(line)\n",
    "    correct, incorrect = line[0], line[1]\n",
    "    return correct_word(line[1], (d1, d2))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "from multiprocessing import Pool\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n",
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n",
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n",
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n",
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n",
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n",
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n",
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n",
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n",
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n"
     ]
    }
   ],
   "source": [
    "result = []\n",
    "with open(\"Dane/literowki1.txt\", \"r\") as ifile:\n",
    "    p = Pool(10)\n",
    "    result = p.map(main, [line for line in ifile])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "result[:2]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {},
   "outputs": [],
   "source": [
    "ops = []\n",
    "with open(\"Dane/literowki1.txt\", \"r\") as ifile:\n",
    "    for i, line in enumerate(ifile):\n",
    "        line = nltk.word_tokenize(line)\n",
    "        correct, incorrect = line[0], line[1]\n",
    "        ops += levenshtein(incorrect, correct)[1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "13.350877192982455\n",
      "3.2382978723404254\n",
      "1.6226012793176972\n"
     ]
    }
   ],
   "source": [
    "cnt1 = cnt2 = cnt3 = 0\n",
    "for op in ops:\n",
    "    if op == EditOp.INS:\n",
    "        cnt1 += 1\n",
    "    if op == EditOp.DEL:\n",
    "        cnt2 += 1\n",
    "    if op == EditOp.CHAN:\n",
    "        cnt3 += 1\n",
    "print(len(ops)/cnt1)\n",
    "print(len(ops)/cnt2)\n",
    "print(len(ops)/cnt3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "761"
      ]
     },
     "execution_count": 69,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(ops)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "collapsed": true,
    "jupyter": {
     "outputs_hidden": true
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "lokomotywa: lokomotywa\n",
      "lokomotywa: kolektiwa\n",
      "lokomotywa: lokomotywa\n",
      "lokomotywa: lokomotywa\n",
      "lokomotywa: lokowana\n",
      "prawdopodobieństwo: prawdopodobieństwo\n",
      "prawdopodobieństwo: prawdopodobieństwo\n",
      "prawdopodobieństwo: prawdopodobieństwo\n",
      "prawdopodobieństwo: prawdopodobieństwom\n",
      "prawdopodobieństwo: prawdopodobieństwom\n",
      "prawdopodobieństwo: prawdopodobieństwom\n",
      "prawdopodobieństwo: prawdopodobieństwo\n",
      "prawdopodobieństwo: prawdopodobieństwom\n",
      "prawdopodobieństwo: prawdopodobieństw\n",
      "prawdopodobieństwo: prawdopodobieństwo\n",
      "prawdomówny: prawdomówno\n",
      "prawdomówny: prawdomówny\n",
      "prawdomówny: prawiony\n",
      "komputerek: dompteurek\n",
      "komputerek: komputerem\n",
      "komputerek: komputerek\n",
      "komputerek: korektorek\n",
      "komputerek: komputerek\n",
      "dziewczyna: dziewczyna\n",
      "dziewczyna: dziewczyna\n",
      "dziewczyna: dziewczynia\n",
      "dziewczyna: dziewczyna\n",
      "dziewczyna: dziewczyna\n",
      "dziewczyna: dziewczyna\n",
      "dziewczyna: dziewczyna\n",
      "dziewczyna: dziewczyn\n",
      "dziewczyna: dziewczyn\n",
      "przyjaźń: przyjść\n",
      "przyjaźń: przyjaźń\n",
      "przyjaźń: przyjaźń\n",
      "przyjaźń: przyjaźń\n",
      "przyjaźń: przyjaźń\n",
      "niszczyciel: niszczcie\n",
      "niszczyciel: niszczcież\n",
      "niszczyciel: niszczcie\n",
      "niszczyciel: niszczcie\n",
      "niszczyciel: niszczyciel\n",
      "niszczyciel: niewszczęciem\n",
      "pancernik: papiernik\n",
      "pancernik: papiernik\n",
      "pancernik: pancernik\n",
      "pancernik: pancerniku\n",
      "nauczycielka: nauczycielska\n",
      "nauczycielka: nauczycielka\n",
      "nauczycielka: nauczyciela\n",
      "nauczycielka: nauczyciela\n",
      "nauczycielka: nauczycielka\n",
      "ślinianka: śliniaka\n",
      "ślinianka: śliniaka\n",
      "ślinianka: glinianka\n",
      "ślinianka: ślinianek\n",
      "ślinianka: śliniaka\n",
      "pustelnia: ostania\n",
      "pustelnia: pustelnia\n",
      "pustelnia: pustelnia\n",
      "drożdżowe: drożdżowe\n",
      "drożdżowe: drożdżowe\n",
      "drożdżowe: drożdżowe\n",
      "drożdżowe: drożdżowe\n",
      "drożdżowe: drozdowe\n",
      "szafka: szakłak\n",
      "szafka: szaka\n",
      "szafka: szafka\n",
      "szafka: szakala\n",
      "szafka: szadka\n",
      "łazienka: kazienek\n",
      "łazienka: łazienka\n",
      "łazienka: lizeska\n",
      "łazienka: łazienka\n",
      "łazienka: łysinka\n",
      "łazienka: kazienka\n",
      "łazienka: łazienka\n",
      "łazienka: łazienka\n",
      "pantera: panterka\n",
      "pantera: paletra\n",
      "pantera: pantera\n",
      "pantera: pantera\n",
      "pantera: pantera\n",
      "pantera: panterze\n",
      "pantera: patera\n",
      "bezwstydnica: bezwstydnica\n",
      "bezwstydnica: bezwstydnica\n",
      "bezwstydnica: bezwstydnica\n",
      "bezwstydnica: bezwstydnica\n",
      "bezwstydnica: bezwodnika\n",
      "plenarnej: plenarnej\n",
      "plenarnej: plenarnej\n",
      "plenarnej: plenarne\n",
      "złotousty: złotowłosy\n",
      "złotousty: złotousty\n",
      "złotousty: złotousty\n",
      "złotousty: złotousty\n",
      "złotousty: złotousty\n",
      "kałamarnica: kałamarnica\n",
      "kałamarnica: kałamarnica\n",
      "kałamarnica: katamaranach\n",
      "kałamarnica: kałamarnica\n",
      "kałamarnica: kałamarnica\n",
      "kałamarnica: kałamarnica\n",
      "kałamarnica: kalamariach\n",
      "kałamarnica: kałamarnica\n",
      "kałamarnica: kałamarnica\n",
      "kałamarnica: kanarnia\n",
      "kałamarnica: kałamucę\n",
      "ekierka: ekierek\n",
      "ekierka: egerka\n",
      "ekierka: kairka\n",
      "ekierka: ekierka\n",
      "ekierka: karierka\n",
      "ekierka: ekierka\n",
      "ekierka: kierka\n",
      "ekierka: egerka\n",
      "ekierka: ekierka\n",
      "wypączkował: wypączkował\n",
      "wypączkował: wypączkował\n",
      "wypączkował: wypączkował\n",
      "wypączkował: wyparkowa\n",
      "wypączkował: wypączkować\n",
      "górzysty: górzysty\n",
      "górzysty: górzysta\n",
      "górzysty: regresy\n",
      "górzysty: górzysty\n",
      "górzysty: górzysta\n",
      "górzysty: borzysty\n",
      "górzysty: górzysty\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: wełnonośni\n",
      "pełnomocnik: pełnomocni\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: pełnomocnik\n",
      "pełnomocnik: pełnomocnik\n",
      "górnicza: górnica\n",
      "górnicza: górnicza\n",
      "górnicza: górnicza\n",
      "górnicza: gorbusza\n",
      "górnicza: górnicza\n",
      "zabójczego: zabójczego\n",
      "zabójczego: zabójczego\n",
      "zabójczego: zabójczej\n",
      "zabójczego: zabójczego\n",
      "zabójczego: zabójczego\n",
      "zabójczego: zabójczej\n",
      "zabójczego: czatującego\n",
      "nosorożec: nosorożec\n",
      "nosorożec: nosorożec\n",
      "nosorożec: nosorożec\n",
      "nosorożec: noszowej\n",
      "nosorożec: nosorożec\n",
      "nosorożec: nosorożcem\n",
      "nosorożec: nosorożca\n",
      "nosorożec: nosorożec\n",
      "słoniątko: słońsko\n",
      "słoniątko: słoniątka\n",
      "słoniątko: słoniaki\n",
      "słoniątko: słoniątko\n",
      "słoniątko: sonatko\n",
      "słoniątko: słoniątko\n",
      "słoniątko: słoniątko\n",
      "ponaglenie: ponaginanie\n",
      "ponaglenie: ponaglenie\n",
      "ponaglenie: panczenie\n",
      "ponaglenie: ponaglenie\n",
      "ponaglenie: ponaglenie\n",
      "ponaglenie: ponaglenia\n",
      "ponaglenie: ponaglenia\n",
      "ponaglenie: ponaglenie\n",
      "mężczyzna: maszczona\n",
      "mężczyzna: mężczyzna\n",
      "mężczyzna: morszczyzn\n",
      "mężczyzna: mężczyzna\n",
      "mężczyzna: milczysz\n",
      "mężczyzna: meczyka\n",
      "mężczyzna: mężczyzna\n",
      "mężczyzna: meczyka\n",
      "mężczyzna: mężczyzna\n",
      "mężczyzna: leszczyna\n",
      "podrabiany: podganiany\n",
      "podrabiany: podwabiany\n",
      "podrabiany: podrabiany\n",
      "podrabiany: podganiany\n",
      "stanowisko: stanowisko\n",
      "stanowisko: stanińsko\n",
      "stanowisko: stanowisko\n",
      "stanowisko: stanowisko\n",
      "stanowisko: stanowisko\n",
      "stanowisko: szutrowisko\n",
      "drukarnia: drukarnia\n",
      "drukarnia: drukarnia\n",
      "drukarnia: drukarnia\n",
      "drukarnia: rurarnia\n",
      "drukarnia: druciarnia\n",
      "drukarnia: druciarnia\n",
      "drukarnia: drukarnia\n",
      "telefoniczna: telefoniczna\n",
      "telefoniczna: telefoniczna\n",
      "telefoniczna: telefoniczni\n",
      "telefoniczna: telefoniczna\n",
      "poświęcenie: posowiejecie\n",
      "poświęcenie: poświecenie\n",
      "poświęcenie: poświecenie\n",
      "poświęcenie: poświęcane\n",
      "poświęcenie: poszpeceni\n",
      "poświęcenie: poświecenie\n",
      "małżowina: marianina\n",
      "małżowina: małżowinami\n",
      "małżowina: małżowina\n",
      "małżowina: małżowina\n",
      "małżowina: malwina\n",
      "małżowina: małkowska\n",
      "małżowina: małżowina\n",
      "wstrętny: srebrny\n",
      "wstrętny: wstrętny\n",
      "wstrętny: stratny\n",
      "wstrętny: wstrętny\n",
      "wstrętny: wstrętny\n",
      "europejskich: europejskich\n",
      "europejskich: europejskich\n",
      "europejskich: europejskich\n",
      "europejskich: europejskości\n",
      "europejskich: europejczykach\n",
      "europejskich: eubejskich\n",
      "kukułka: kukuła\n",
      "kukułka: kukułka\n",
      "kukułka: kokilka\n",
      "kukułka: kulkuj\n",
      "kukułka: kokilka\n",
      "kukułka: kukułka\n",
      "postawowienie: postanowienie\n",
      "postawowienie: postawienie\n",
      "postawowienie: postanowieniem\n",
      "postawowienie: postanowieniem\n",
      "postawowienie: postanowienie\n",
      "postawowienie: postanowienie\n",
      "postawowienie: postanawianego\n",
      "spóźnienie: potnienie\n",
      "spóźnienie: spóźnianie\n",
      "spóźnienie: spomniani\n",
      "spóźnienie: spóźnienie\n",
      "spóźnienie: poróżnienie\n",
      "spóźnienie: sporogenez\n",
      "spóźnienie: spóźnienie\n",
      "spóźnienie: spóźnienie\n",
      "spóźnienie: potnienie\n",
      "spóźnienie: spóźnienie\n",
      "który: który\n",
      "który: który\n",
      "który: który\n",
      "który: który\n",
      "bezbłędnie: bezbłędnie\n",
      "bezbłędnie: bezbłędnie\n",
      "bezbłędnie: bezbłędnie\n",
      "bezbłędnie: bezbłędnie\n",
      "bezbłędnie: bezbłędnie\n",
      "bezbłędnie: bezbłędnie\n",
      "przeczytawszy: przeczytawszy\n",
      "przeczytawszy: przeczłapawszy\n",
      "przeczytawszy: przeczytawszy\n",
      "przeczytawszy: przeczytywałyby\n",
      "przeczytawszy: przeczytawszy\n",
      "przeczytawszy: przeczytawszy\n",
      "pirania: pirania\n",
      "pirania: piromania\n",
      "pirania: pirania\n",
      "pirania: piania\n",
      "szczupak: szczepak\n",
      "szczupak: szczupak\n",
      "szczupak: szczupak\n",
      "restauracja: restartująca\n",
      "restauracja: restaurująca\n",
      "restauracja: restauracjom\n",
      "restauracja: restauracja\n",
      "restauracja: restauracja\n",
      "restauracja: restauracja\n",
      "restauracja: restauracyjna\n",
      "terrorysta: tenorysta\n",
      "terrorysta: terrorysta\n",
      "terrorysta: terrorysta\n",
      "terrorysta: terrorysta\n",
      "terrorysta: taszysta\n",
      "terrorysta: rygorysta\n",
      "terrorysta: torfiasta\n",
      "terrorysta: tenorysta\n",
      "przedszkole: przedszkole\n",
      "przedszkole: przedszkole\n",
      "przedszkole: przedszkole\n",
      "przedszkole: przedszkole\n",
      "przedszkole: przedszkolem\n",
      "programowanie: przekamienienie\n",
      "programowanie: oprogramowywanie\n",
      "programowanie: oprogramowanie\n",
      "programowanie: programowanie\n",
      "programowanie: programowaniem\n",
      "programowanie: programowalnie\n",
      "programowanie: programowanie\n",
      "programowanie: programowanie\n",
      "programowanie: programowanie\n",
      "programowanie: proklamowanie\n",
      "programowanie: programowanie\n",
      "programowanie: programowanie\n",
      "programowanie: przyhamowywanie\n",
      "przemyślał: przemyślał\n",
      "przemyślał: przemysław\n",
      "przemyślał: przemysłu\n",
      "przemyślał: przemyślał\n",
      "przemyślał: przemusia\n",
      "przemyślał: przymyślą\n",
      "pudełko: pudelek\n",
      "pudełko: pudełko\n",
      "pudełko: pudelkom\n",
      "pudełko: pudelek\n",
      "pudełko: pudlego\n",
      "pudełko: pudłak\n",
      "telegram: telegram\n",
      "telegram: telegram\n",
      "telegram: telegram\n",
      "telegram: telegram\n",
      "telegram: telegram\n",
      "kalarepa: kalarepa\n",
      "kalarepa: kalatea\n",
      "ogródek: ogródek\n",
      "ogródek: ogłodek\n",
      "ogródek: ogródką\n",
      "ogródek: ordunek\n",
      "komunikacja: komunikacja\n",
      "komunikacja: komunikacja\n",
      "komunikacja: kominiakach\n",
      "komunikacja: komunikach\n",
      "komunikacja: komunikacja\n",
      "komunikacja: komunikacjom\n",
      "komunikacja: komunizacja\n",
      "ślamazarność: samarytanina\n",
      "ślamazarność: ślamazarność\n",
      "ślamazarność: ślamazarność\n",
      "ślamazarność: ślamazarom\n",
      "ślamazarność: ślamazarność\n",
      "ślamazarność: ślamazarząc\n",
      "ślamazarność: ślamazarnościom\n",
      "ślamazarność: ślamazarność\n",
      "ślamazarność: ślamazarność\n",
      "ślamazarność: ślamazarność\n",
      "wyjątkowego: wydatkowego\n",
      "wyjątkowego: wydatkowego\n",
      "wyjątkowego: wyjątkowego\n",
      "wyjątkowego: wydatkowego\n",
      "wyjątkowego: wyjazdowego\n",
      "podpuszczać: popiszczał\n",
      "podpuszczać: podpuszczać\n",
      "podpuszczać: poduszczać\n",
      "podpuszczać: poduszczać\n",
      "podpuszczać: podpuszczać\n",
      "podpuszczać: podpuszczać\n"
     ]
    }
   ],
   "source": [
    "all_c = 0\n",
    "count = 0\n",
    "with open(\"Dane/literowki1.txt\", \"r\") as ifile:\n",
    "    for i, line in enumerate(ifile):\n",
    "        line = nltk.word_tokenize(line)\n",
    "        correct, incorrect = line[0], line[1]\n",
    "        print(f\"{correct}: {result[i][0]}\")\n",
    "        if correct == result[i][0]:\n",
    "            count += 1\n",
    "        all_c += 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "363"
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "all_c"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "count"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "183"
      ]
     },
     "execution_count": 64,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "count"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/mikolaj/miniconda3/envs/IoT-Pathway/lib/python3.7/site-packages/ipykernel_launcher.py:2: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  \n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "5dbef094b40f4b4aba05effc9748c644",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, max=406510.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "lokomotywa, lokomowtuwa : lokomotywa\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "68c49fa21a0c4466a5a64d8a8d3a5d14",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, max=435137.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "lokomotywa, kolokotywa : kolokowała\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "068adbbfcfab43b4971c2e312a2baacd",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, max=406510.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "lokomotywa, lokonowaywa : lokomotywa\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "68ad249b23964664be14b86334917ef2",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, max=435137.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "lokomotywa, kolomotywa : lokomotywa\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "eae0c83b8bd842ab9cf4f88d46d46a2c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, max=311426.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "lokomotywa, lokotaywa : lokowania\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "4c7f62d9ace54bb1af2b10069ccdf5f8",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, max=142557.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "prawdopodobieństwo, prawodpodoniestso : prawdopodobieństw\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f5ed41544cb04640a9f00e12245ae8a0",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, max=54659.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "prawdopodobieństwo, prawdopopdobieństwo : prawdopodobieństwo\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "451dbb0509f946168be5e0a64177847c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, max=91000.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "prawdopodobieństwo, prawdopodobieńśtwo : prawdopodobieństwo\n"
     ]
    }
   ],
   "source": [
    "result1 = []\n",
    "with open(\"Dane/literowki1.txt\", \"r\") as ifile:\n",
    "    for line in ifile:\n",
    "        line = nltk.word_tokenize(line)\n",
    "        correct, incorrect = line[0], line[1]\n",
    "        corrected, ops = correct_word(line[1], (d1, d2), ins_cost=13.350877192982455, del_cost=3.2382978723404254\n",
    ", ch_cost=1.6226012793176972\n",
    ")\n",
    "        result1.append((corrected, ops))\n",
    "        print(f\"{line[0]}, {line[1]} : {corrected}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "result2 = []\n",
    "with open(\"Dane/literowki1.txt\", \"r\") as ifile:\n",
    "    for line in ifile:\n",
    "        line = nltk.word_tokenize(line)\n",
    "        correct, incorrect = line[0], line[1]\n",
    "        corrected, ops = correct_word(line[1], (d1, d2), ins_cost=1, del_cost=1\n",
    ", ch_cost=0.1\n",
    ")\n",
    "        result2.append((corrected, ops))\n",
    "        print(f\"{line[0]}, {line[1]} : {corrected}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pickle\n",
    "with open(\"error_correction_result.pickle\", \"wb\") as ofile:\n",
    "    pickle.dump(result, ofile)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"error_correction_result1.pickle\", \"wb\") as ofile:\n",
    "    pickle.dump(result1, ofile)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "all_c = 0\n",
    "count = 0\n",
    "with open(\"Dane/literowki1.txt\", \"r\") as ifile:\n",
    "    for i, line in enumerate(ifile):\n",
    "        line = nltk.word_tokenize(line)\n",
    "        correct, incorrect = line[0], line[1]\n",
    "        print(f\"{correct}: {result1[i][0]}\")\n",
    "        if correct == result[i][0]:\n",
    "            count += 1\n",
    "        all_c += 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'test'"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"test\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}