11_merge_informal_imperative.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import gzip\n",
    "import json\n",
    "from pprint import pprint\n",
    "import pandas as pd\n",
    "import jsonlines\n",
    "from collections import Counter\n",
    "from mltb2.text import clean_all_invisible_chars_and_whitespaces"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "def select_data(data: dict):\n",
    "    result = {}\n",
    "\n",
    "    llm_response = data[\"llm_response\"]\n",
    "\n",
    "    # ignore uncomplete response\n",
    "    if llm_response[\"finish_reason\"] != \"stop\":\n",
    "        return None\n",
    "\n",
    "    result[\"imperative_formal\"] = clean_all_invisible_chars_and_whitespaces(data[\"imperative_formal\"])\n",
    "    result[\"imperative_informal\"] = clean_all_invisible_chars_and_whitespaces(llm_response[\"content\"])\n",
    "\n",
    "    return result"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "extracted_data = []\n",
    "\n",
    "with gzip.open(\"./data/imp_to_informal_backup.jsonl.gz\", \"r\") as gzip_in:\n",
    "    jsonlines_reader = jsonlines.Reader(gzip_in)\n",
    "    for data in jsonlines_reader:\n",
    "        selected_data = select_data(data)\n",
    "        if selected_data is not None:\n",
    "            extracted_data.append(selected_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>imperative_formal</th>\n",
       "      <th>imperative_informal</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Erklären Sie, wo und wann Eugenia Gapchinska i...</td>\n",
       "      <td>Erkläre, wo und wann Eugenia Gapchinska ihr er...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Zeigen Sie auf, welche Rolle Joanna Pizoń-Świt...</td>\n",
       "      <td>Zeige auf, welche Rolle Joanna Pizoń-Świtkowsk...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Erklären Sie, wie das AN/AAR-54 mehrere Ziele ...</td>\n",
       "      <td>Erkläre, wie das AN/AAR-54 mehrere Ziele gleic...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Identifizieren Sie den Vorläufer des FHP-Modells.</td>\n",
       "      <td>Identifiziere den Vorläufer des FHP-Modells.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Schildern Sie Manfred Kummers Rolle an der Tec...</td>\n",
       "      <td>Schildere Manfred Kummers Rolle an der Technis...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741714</th>\n",
       "      <td>Nennen Sie das Geburts- und Todesdatum von Pet...</td>\n",
       "      <td>Nenne das Geburts- und Todesdatum von Peter En...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741715</th>\n",
       "      <td>Teilen Sie mit, warum Czernin seine diplomatis...</td>\n",
       "      <td>Teile mit, warum Czernin seine diplomatische L...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741716</th>\n",
       "      <td>Beschreiben Sie Hobes Tätigkeiten in Münster, ...</td>\n",
       "      <td>Beschreibe Hobes Tätigkeiten in Münster, Celle...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741717</th>\n",
       "      <td>Beschreiben Sie das Klima in der Jakutischen A...</td>\n",
       "      <td>Beschreibe das Klima in der Jakutischen Autono...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741718</th>\n",
       "      <td>Erklären Sie, wie Prüfsummen in Monotone verwe...</td>\n",
       "      <td>Erkläre, wie Prüfsummen in Monotone verwendet ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>741719 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                        imperative_formal  \\\n",
       "0       Erklären Sie, wo und wann Eugenia Gapchinska i...   \n",
       "1       Zeigen Sie auf, welche Rolle Joanna Pizoń-Świt...   \n",
       "2       Erklären Sie, wie das AN/AAR-54 mehrere Ziele ...   \n",
       "3       Identifizieren Sie den Vorläufer des FHP-Modells.   \n",
       "4       Schildern Sie Manfred Kummers Rolle an der Tec...   \n",
       "...                                                   ...   \n",
       "741714  Nennen Sie das Geburts- und Todesdatum von Pet...   \n",
       "741715  Teilen Sie mit, warum Czernin seine diplomatis...   \n",
       "741716  Beschreiben Sie Hobes Tätigkeiten in Münster, ...   \n",
       "741717  Beschreiben Sie das Klima in der Jakutischen A...   \n",
       "741718  Erklären Sie, wie Prüfsummen in Monotone verwe...   \n",
       "\n",
       "                                      imperative_informal  \n",
       "0       Erkläre, wo und wann Eugenia Gapchinska ihr er...  \n",
       "1       Zeige auf, welche Rolle Joanna Pizoń-Świtkowsk...  \n",
       "2       Erkläre, wie das AN/AAR-54 mehrere Ziele gleic...  \n",
       "3            Identifiziere den Vorläufer des FHP-Modells.  \n",
       "4       Schildere Manfred Kummers Rolle an der Technis...  \n",
       "...                                                   ...  \n",
       "741714  Nenne das Geburts- und Todesdatum von Peter En...  \n",
       "741715  Teile mit, warum Czernin seine diplomatische L...  \n",
       "741716  Beschreibe Hobes Tätigkeiten in Münster, Celle...  \n",
       "741717  Beschreibe das Klima in der Jakutischen Autono...  \n",
       "741718  Erkläre, wie Prüfsummen in Monotone verwendet ...  \n",
       "\n",
       "[741719 rows x 2 columns]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.DataFrame(extracted_data)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>imperative_formal</th>\n",
       "      <th>imperative_informal</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "Empty DataFrame\n",
       "Columns: [imperative_formal, imperative_informal]\n",
       "Index: []"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# check if there are duplicates in imperative_formal\n",
    "df[df[\"imperative_formal\"].duplicated(keep=False)]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Insight\n",
    "\n",
    "- there are no suplicate imperative_formal"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>imperative_formal</th>\n",
       "      <th>imperative_informal</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Erklären Sie, wo und wann Eugenia Gapchinska i...</td>\n",
       "      <td>Erkläre, wo und wann Eugenia Gapchinska ihr er...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Zeigen Sie auf, welche Rolle Joanna Pizoń-Świt...</td>\n",
       "      <td>Zeige auf, welche Rolle Joanna Pizoń-Świtkowsk...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Erklären Sie, wie das AN/AAR-54 mehrere Ziele ...</td>\n",
       "      <td>Erkläre, wie das AN/AAR-54 mehrere Ziele gleic...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Identifizieren Sie den Vorläufer des FHP-Modells.</td>\n",
       "      <td>Identifiziere den Vorläufer des FHP-Modells.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Schildern Sie Manfred Kummers Rolle an der Tec...</td>\n",
       "      <td>Schildere Manfred Kummers Rolle an der Technis...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741714</th>\n",
       "      <td>Nennen Sie das Geburts- und Todesdatum von Pet...</td>\n",
       "      <td>Nenne das Geburts- und Todesdatum von Peter En...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741715</th>\n",
       "      <td>Teilen Sie mit, warum Czernin seine diplomatis...</td>\n",
       "      <td>Teile mit, warum Czernin seine diplomatische L...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741716</th>\n",
       "      <td>Beschreiben Sie Hobes Tätigkeiten in Münster, ...</td>\n",
       "      <td>Beschreibe Hobes Tätigkeiten in Münster, Celle...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741717</th>\n",
       "      <td>Beschreiben Sie das Klima in der Jakutischen A...</td>\n",
       "      <td>Beschreibe das Klima in der Jakutischen Autono...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>741718</th>\n",
       "      <td>Erklären Sie, wie Prüfsummen in Monotone verwe...</td>\n",
       "      <td>Erkläre, wie Prüfsummen in Monotone verwendet ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>741597 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                        imperative_formal  \\\n",
       "0       Erklären Sie, wo und wann Eugenia Gapchinska i...   \n",
       "1       Zeigen Sie auf, welche Rolle Joanna Pizoń-Świt...   \n",
       "2       Erklären Sie, wie das AN/AAR-54 mehrere Ziele ...   \n",
       "3       Identifizieren Sie den Vorläufer des FHP-Modells.   \n",
       "4       Schildern Sie Manfred Kummers Rolle an der Tec...   \n",
       "...                                                   ...   \n",
       "741714  Nennen Sie das Geburts- und Todesdatum von Pet...   \n",
       "741715  Teilen Sie mit, warum Czernin seine diplomatis...   \n",
       "741716  Beschreiben Sie Hobes Tätigkeiten in Münster, ...   \n",
       "741717  Beschreiben Sie das Klima in der Jakutischen A...   \n",
       "741718  Erklären Sie, wie Prüfsummen in Monotone verwe...   \n",
       "\n",
       "                                      imperative_informal  \n",
       "0       Erkläre, wo und wann Eugenia Gapchinska ihr er...  \n",
       "1       Zeige auf, welche Rolle Joanna Pizoń-Świtkowsk...  \n",
       "2       Erkläre, wie das AN/AAR-54 mehrere Ziele gleic...  \n",
       "3            Identifiziere den Vorläufer des FHP-Modells.  \n",
       "4       Schildere Manfred Kummers Rolle an der Technis...  \n",
       "...                                                   ...  \n",
       "741714  Nenne das Geburts- und Todesdatum von Peter En...  \n",
       "741715  Teile mit, warum Czernin seine diplomatische L...  \n",
       "741716  Beschreibe Hobes Tätigkeiten in Münster, Celle...  \n",
       "741717  Beschreibe das Klima in der Jakutischen Autono...  \n",
       "741718  Erkläre, wie Prüfsummen in Monotone verwendet ...  \n",
       "\n",
       "[741597 rows x 2 columns]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# remove duplicates in imperative_informal\n",
    "df.drop_duplicates(\"imperative_informal\", inplace=True, keep=False)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "imperative_map = {k: v for k, v in zip(df[\"imperative_formal\"], df[\"imperative_informal\"])}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# load train data\n",
    "with gzip.GzipFile(\"./data/wikipedia-22-12-de-train-data.json.gz\", \"r\") as f:\n",
    "    train_data = json.loads(f.read().decode('utf-8'))\n",
    "assert len(train_data) == 129_591"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "# load test data\n",
    "with gzip.GzipFile(\"./data/wikipedia-22-12-de-test-data.json.gz\", \"r\") as f:\n",
    "    test_data = json.loads(f.read().decode('utf-8'))\n",
    "assert len(test_data) == 5_000"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "len all_questions 786353\n",
      "len all_imperatives 793143\n"
     ]
    }
   ],
   "source": [
    "all_questions = []\n",
    "all_imperatives = []\n",
    "\n",
    "for d in train_data:\n",
    "    if 'questions' in d:\n",
    "        all_questions.extend(d['questions'])\n",
    "    if 'imperatives' in d:\n",
    "        all_imperatives.extend(d['imperatives'])\n",
    "\n",
    "for d in test_data:\n",
    "    if 'questions' in d:\n",
    "        all_questions.extend(d['questions'])\n",
    "    if 'imperatives' in d:\n",
    "        all_imperatives.extend(d['imperatives'])\n",
    "\n",
    "print(\"len all_questions\", len(all_questions))\n",
    "print(\"len all_imperatives\", len(all_imperatives))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1663"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "counter = Counter()\n",
    "counter.update(all_questions)\n",
    "counter.update(all_imperatives)\n",
    "counter.update(df[\"imperative_informal\"].tolist())\n",
    "\n",
    "duplicates = set([item for item, count in counter.items() if count > 1])\n",
    "len(duplicates)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "def add_imperative_informal(data: list):\n",
    "    for d in data:\n",
    "        # handle questions\n",
    "        if \"questions\" in d:\n",
    "            questions = d[\"questions\"]\n",
    "            del d[\"questions\"]\n",
    "            questions = [q for q in questions if q not in duplicates]  # remove duplicates\n",
    "            if len(questions) > 0:\n",
    "                d[\"question\"] = questions\n",
    "\n",
    "        # handle imperatives\n",
    "        if \"imperatives\" in d:\n",
    "            imperative_formals = d[\"imperatives\"]\n",
    "            del d[\"imperatives\"]\n",
    "            imperative_formals = [i for i in imperative_formals if i not in duplicates]  # remove duplicates\n",
    "            if len(imperative_formals) > 0:\n",
    "                new_imperative_informals = []\n",
    "                for imperative_formal in imperative_formals:\n",
    "                    if imperative_formal in imperative_map:\n",
    "                        new_imperative_informal = imperative_map[imperative_formal]\n",
    "                        if new_imperative_informal not in duplicates:\n",
    "                            new_imperative_informals.append(new_imperative_informal)\n",
    "                if len(new_imperative_informals) > 0:\n",
    "                    d[\"imperative_informal\"] = new_imperative_informals\n",
    "                d[\"imperative_formal\"] = imperative_formals\n",
    "        assert \"question\" in d or \"imperative_informal\" in d or \"imperative_formal\" in d"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "add_imperative_informal(train_data)\n",
    "add_imperative_informal(test_data)\n",
    "assert len(train_data) == 129_591\n",
    "assert len(test_data) == 5_000"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'wiki_id': 1683529,\n",
       " 'title': '2,4-Dinitrophenylhydrazin',\n",
       " 'context': '2,4-Dinitrophenylhydrazin ist eine chemische Verbindung aus der Gruppe der aromatischen Hydrazine mit der Summenformel CHNO. Trockenes 2,4-Dinitrophenylhydrazin ist explosionsgefährlich; bei der Zersetzung entstehen nitrose Gase. Es wird mit Wasser phlegmatisiert, d. h., dem kommerziell erhältlichen Produkt werden ca. 0,5 ml Wasser pro Gramm DNPH zugesetzt, um die Substanz lager- und transportfähig zu machen (darum auch keine GHS-Gefahrstoffkenzeichnung als explosionsgefährlich). Es werden „erhebliche, negative Auswirkungen auf menschliche Gesundheit und Wasserökologie“ erwähnt. Diese eher subjektive und unbestimmte Aussage erlaubt jedoch keine Zuweisung von Gefahrenmerkmalen. Es liegt nur eine geringe akute Toxizität vor. Ähnlich wie andere als Düngemittel verwendete Stoffe, kann von negativen ökologischen Auswirkungen ausgegangen werden, wenn der Stoff ungewollt und in hoher Konzentration in die Umwelt gelangt.',\n",
       " 'context_uuid': '3cde116b-7640-4116-b435-f87e35dddd0a',\n",
       " 'question': ['Welche Summenformel hat 2,4-Dinitrophenylhydrazin?',\n",
       "  'Warum wird 2,4-Dinitrophenylhydrazin mit Wasser phlegmatisiert?',\n",
       "  'Was sind die Auswirkungen von 2,4-Dinitrophenylhydrazin auf die menschliche Gesundheit und die Wasserökologie?',\n",
       "  'Gibt es eine Gefahrenmerkmal-Zuweisung für 2,4-Dinitrophenylhydrazin?',\n",
       "  'Wie hoch ist die akute Toxizität von 2,4-Dinitrophenylhydrazin?',\n",
       "  'Welche Auswirkungen hat der ungewollte Eintrag von 2,4-Dinitrophenylhydrazin in die Umwelt?'],\n",
       " 'imperative_informal': ['Nenne die Summenformel von 2,4-Dinitrophenylhydrazin.',\n",
       "  'Erkläre, warum 2,4-Dinitrophenylhydrazin explosionsgefährlich ist.',\n",
       "  'Beschreibe den Prozess, wie 2,4-Dinitrophenylhydrazin lager- und transportfähig gemacht wird.',\n",
       "  'Äußere dich zu den Auswirkungen von 2,4-Dinitrophenylhydrazin auf die menschliche Gesundheit und die Wasserökologie.',\n",
       "  'Informiere dich über die akute Toxizität von 2,4-Dinitrophenylhydrazin.',\n",
       "  'Bewerte die ökologischen Auswirkungen, wenn der Stoff ungewollt und in hoher Konzentration in die Umwelt gelangt.'],\n",
       " 'imperative_formal': ['Nennen Sie die Summenformel von 2,4-Dinitrophenylhydrazin.',\n",
       "  'Erklären Sie, warum 2,4-Dinitrophenylhydrazin explosionsgefährlich ist.',\n",
       "  'Beschreiben Sie den Prozess, wie 2,4-Dinitrophenylhydrazin lager- und transportfähig gemacht wird.',\n",
       "  'Äußern Sie sich zu den Auswirkungen von 2,4-Dinitrophenylhydrazin auf die menschliche Gesundheit und die Wasserökologie.',\n",
       "  'Informieren Sie sich über die akute Toxizität von 2,4-Dinitrophenylhydrazin.',\n",
       "  'Bewerten Sie die ökologischen Auswirkungen, wenn der Stoff ungewollt und in hoher Konzentration in die Umwelt gelangt.']}"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_data[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'wiki_id': 6019975,\n",
       " 'title': 'A•DEvantgarde',\n",
       " 'context': 'A•DEvantgarde ist ein Zusammenschluss von Komponisten in München. Er wurde 1991 auf Initiative Wilhelm Killmayers von Moritz Eggert und Sandeep Bhagwati als eingetragener Verein \"aDEvantgarde – Projekte Neuer Musik\" gegründet. Seitdem führt aDEvantgarde alle zwei Jahre das aDEvantgarde-Festival durch. Das \"A•DEvantgarde-Festival\" fand bisher im Wechsel mit der Münchener Biennale für Neues Musiktheater statt, die immer in geraden Jahren veranstaltet wurden, während das A•DEvantgarde-Festival in ungeraden Jahren stattfindet.',\n",
       " 'context_uuid': 'd98662e3-64aa-472c-80a5-b744b4d22fc2',\n",
       " 'question': ['Wann wurde der Verein \"aDEvantgarde – Projekte Neuer Musik\" gegründet und wer waren die Initiatoren?',\n",
       "  'Was ist aDEvantgarde und wer sind seine Mitglieder?',\n",
       "  'Wie oft findet das aDEvantgarde-Festival statt und in welchem Rhythmus wechselt es mit der Münchener Biennale ab?',\n",
       "  'Wer hat den Verein aDEvantgarde ins Leben gerufen?',\n",
       "  'Was ist das Ziel von aDEvantgarde?',\n",
       "  'Wo findet das aDEvantgarde-Festival statt?'],\n",
       " 'imperative_informal': ['Nenne den Gründer des Zusammenschlusses A•DEvantgarde.',\n",
       "  'Gebe das Gründungsjahr von A•DEvantgarde an.',\n",
       "  'Erkläre, was das A•DEvantgarde-Festival ist.',\n",
       "  'Beschreibe die Häufigkeit, mit der das A•DEvantgarde-Festival stattfindet.',\n",
       "  'Identifiziere die Veranstaltung, die im Wechsel mit dem A•DEvantgarde-Festival stattfindet.',\n",
       "  'Teile mit, in welchen Jahren das A•DEvantgarde-Festival normalerweise stattfindet.'],\n",
       " 'imperative_formal': ['Nennen Sie den Gründer des Zusammenschlusses A•DEvantgarde.',\n",
       "  'Geben Sie das Gründungsjahr von A•DEvantgarde an.',\n",
       "  'Erklären Sie, was das A•DEvantgarde-Festival ist.',\n",
       "  'Beschreiben Sie die Häufigkeit, mit der das A•DEvantgarde-Festival stattfindet.',\n",
       "  'Identifizieren Sie die Veranstaltung, die im Wechsel mit dem A•DEvantgarde-Festival stattfindet.',\n",
       "  'Teilen Sie mit, in welchen Jahren das A•DEvantgarde-Festival normalerweise stattfindet.']}"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_data[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "# save train data\n",
    "with gzip.GzipFile(\"./data/wikipedia-22-12-de-train-data-v2.json.gz\", \"w\") as f:\n",
    "    f.write(json.dumps(train_data, indent=1).encode(\"utf-8\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "# save test data\n",
    "with gzip.GzipFile(\"./data/wikipedia-22-12-de-test-data-v2.json.gz\", \"w\") as f:\n",
    "    f.write(json.dumps(test_data, indent=1).encode(\"utf-8\"))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}