Example.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "import os\n",
    "import bz2\n",
    "import io\n",
    "from bz2 import BZ2File"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Transform the data\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "You can run bash commands from your notebook, just prefix the command with `!`\n",
    "\n",
    "For example, let's check free space on the disk:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Filesystem      Size  Used Avail Use% Mounted on\r\n",
      "udev             16G     0   16G   0% /dev\r\n",
      "tmpfs           3.2G  2.7M  3.2G   1% /run\r\n",
      "/dev/sda2       234G  114G  108G  52% /\r\n",
      "tmpfs            16G  321M   16G   2% /dev/shm\r\n",
      "tmpfs           5.0M  4.0K  5.0M   1% /run/lock\r\n",
      "tmpfs            16G     0   16G   0% /sys/fs/cgroup\r\n",
      "/dev/loop0      256K  256K     0 100% /snap/jq/6\r\n",
      "/dev/loop2      216M  216M     0 100% /snap/atom/236\r\n",
      "/dev/loop1       55M   55M     0 100% /snap/core18/1144\r\n",
      "/dev/loop3      4.2M  4.2M     0 100% /snap/gnome-calculator/406\r\n",
      "/dev/loop4      220M  220M     0 100% /snap/atom/238\r\n",
      "/dev/loop6      5.2M  5.2M     0 100% /snap/htop/1066\r\n",
      "/dev/loop5      150M  150M     0 100% /snap/gnome-3-28-1804/67\r\n",
      "/dev/loop7      150M  150M     0 100% /snap/slack/16\r\n",
      "/dev/loop13     1.0M  1.0M     0 100% /snap/gnome-logs/73\r\n",
      "/dev/loop8      141M  141M     0 100% /snap/gnome-3-26-1604/90\r\n",
      "/dev/loop11      43M   43M     0 100% /snap/gtk-common-themes/1313\r\n",
      "/dev/loop10     4.3M  4.3M     0 100% /snap/gnome-calculator/501\r\n",
      "/dev/loop9       90M   90M     0 100% /snap/core/7713\r\n",
      "/dev/loop14     141M  141M     0 100% /snap/gnome-3-26-1604/92\r\n",
      "/dev/loop15     147M  147M     0 100% /snap/slack/17\r\n",
      "/dev/loop16      36M   36M     0 100% /snap/gtk-common-themes/1198\r\n",
      "/dev/loop17     3.8M  3.8M     0 100% /snap/gnome-system-monitor/100\r\n",
      "/dev/loop18      11M   11M     0 100% /snap/kubectl/1189\r\n",
      "/dev/loop19      55M   55M     0 100% /snap/core18/1098\r\n",
      "/dev/loop20     185M  185M     0 100% /snap/eclipse/40\r\n",
      "/dev/loop21     1.0M  1.0M     0 100% /snap/gnome-logs/61\r\n",
      "/dev/loop22     3.8M  3.8M     0 100% /snap/gnome-system-monitor/95\r\n",
      "/dev/loop23      89M   89M     0 100% /snap/core/7396\r\n",
      "/dev/loop24     5.9M  5.9M     0 100% /snap/htop/1168\r\n",
      "/dev/loop25      15M   15M     0 100% /snap/gnome-characters/317\r\n",
      "/dev/loop26     150M  150M     0 100% /snap/gnome-3-28-1804/71\r\n",
      "/dev/loop27      15M   15M     0 100% /snap/gnome-characters/296\r\n",
      "/dev/sda1       511M  6.1M  505M   2% /boot/efi\r\n",
      "/dev/sdb1       3.6T  1.3T  2.2T  38% /media/romanell/4T\r\n",
      "tmpfs           3.2G   16K  3.2G   1% /run/user/120\r\n",
      "tmpfs           3.2G   96K  3.2G   1% /run/user/165343\r\n",
      "/dev/loop28      11M   11M     0 100% /snap/kubectl/1234\r\n"
     ]
    }
   ],
   "source": [
    "! df -h"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "whereas without `!` it won't work:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "ename": "NameError",
     "evalue": "name 'df' is not defined",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mNameError\u001b[0m                                 Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-4-c989bd551bfa>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mdf\u001b[0m \u001b[0;34m-\u001b[0m\u001b[0mh\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;31mNameError\u001b[0m: name 'df' is not defined"
     ]
    }
   ],
   "source": [
    "df -h"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "# rm data/*"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "download: 's3://impresso-public/sample-rebuilt-teaching/GDL-1900.jsonl.bz2' -> 'data/GDL-1900.jsonl.bz2'  [1 of 2]\n",
      " 72413580 of 72413580   100% in    0s    85.86 MB/s  done\n",
      "download: 's3://impresso-public/sample-rebuilt-teaching/JDG-1900.jsonl.bz2' -> 'data/JDG-1900.jsonl.bz2'  [2 of 2]\n",
      " 210016648 of 210016648   100% in    1s   101.29 MB/s  done\n"
     ]
    }
   ],
   "source": [
    "!s3cmd get s3://impresso-public/sample-rebuilt-teaching/* data/"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "/home/romanell/Documents/impresso/epfl-shs-class/data\n"
     ]
    }
   ],
   "source": [
    "cd data/"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "total 312892\r\n",
      "drwxr-xr-x 2 romanell DHLAB-unit      4096 Sep 25 13:59 \u001b[0m\u001b[01;34m.\u001b[0m/\r\n",
      "drwxr-xr-x 5 romanell DHLAB-unit      4096 Sep 25 14:30 \u001b[01;34m..\u001b[0m/\r\n",
      "-rw-r--r-- 1 romanell DHLAB-unit  72413580 Sep 25 10:33 \u001b[01;31mGDL-1900.jsonl.bz2\u001b[0m\r\n",
      "-rw-r--r-- 1 romanell DHLAB-unit  11701319 Sep 25 13:59 \u001b[01;31mGDL-1900-reduced.jsonl.bz2\u001b[0m\r\n",
      "-rw-r--r-- 1 romanell DHLAB-unit 210016648 Sep 25 10:33 \u001b[01;31mJDG-1900.jsonl.bz2\u001b[0m\r\n",
      "-rw-r--r-- 1 romanell DHLAB-unit  26243380 Sep 25 14:00 \u001b[01;31mJDG-1900-reduced.jsonl.bz2\u001b[0m\r\n"
     ]
    }
   ],
   "source": [
    "ls -la"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The command here below does the following things:\n",
    "- reads the `bz2` files in the current directory one by one\n",
    "- for each file calls `jq` and uses to reshape the JSON documents, selecting and renaming some fields\n",
    "- passes on the reshaped documents to `bzip2` which creates a new file, having same name + a `-reduced` prefix and containing the reshaped data\n",
    "\n",
    "Why is useful to do this before processing the data?\n",
    "\n",
    "Our data contain quite a lot of information that won't be useful to you. By filtering it out you reduce the size of data and speed up the processing."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1.87 s, sys: 326 ms, total: 2.19 s\n",
      "Wall time: 1min 30s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "!for f in *[0-9].jsonl.bz2; do bzcat $f | jq -c '{id: .id, type: .tp, date: .d, title: .t, fulltext: .ft}' | bzip2 > \"${f%.jsonl.bz2}-reduced.jsonl.bz2\" ; done"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "total 312888\r\n",
      "drwxr-xr-x 2 romanell DHLAB-unit      4096 Sep 25 13:16 \u001b[0m\u001b[01;34m.\u001b[0m/\r\n",
      "drwxr-xr-x 5 romanell DHLAB-unit      4096 Sep 25 13:18 \u001b[01;34m..\u001b[0m/\r\n",
      "-rw-r--r-- 1 romanell DHLAB-unit  72413580 Sep 25 10:33 \u001b[01;31mGDL-1900.jsonl.bz2\u001b[0m\r\n",
      "-rw-r--r-- 1 romanell DHLAB-unit  11701319 Sep 25 13:16 \u001b[01;31mGDL-1900-reduced.jsonl.bz2\u001b[0m\r\n",
      "-rw-r--r-- 1 romanell DHLAB-unit 210016648 Sep 25 10:33 \u001b[01;31mJDG-1900.jsonl.bz2\u001b[0m\r\n",
      "-rw-r--r-- 1 romanell DHLAB-unit  26243380 Sep 25 13:17 \u001b[01;31mJDG-1900-reduced.jsonl.bz2\u001b[0m\r\n"
     ]
    }
   ],
   "source": [
    "ls -la ./"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "/home/romanell/Documents/impresso/epfl-shs-class\n"
     ]
    }
   ],
   "source": [
    "cd ../"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Reading newspaper archive data\n",
    "\n",
    "Reminder: the data is already 'clean' and the files at hand contains only the following information:\n",
    "- id\n",
    "- date\n",
    "- title\n",
    "- type (article or advertisement)\n",
    "- fulltext"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'/home/romanell/Documents/impresso/epfl-shs-class'"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pwd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "input_dir = \"data/\" # update with your path "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# a helper function to get the lines from am archive\n",
    "def read_jsonlines(bz2_file):\n",
    "    text = bz2_file.read().decode('utf-8')\n",
    "    for line in text.split('\\n'):\n",
    "        if line != '':\n",
    "            yield line"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### reading data the classical way"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "code_folding": [
     0
    ],
    "collapsed": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1900-10-10 JDG-1900-10-10-a-i0001 BULLETIN GENÈVE, 9 octobre 1900\n",
      "1900-10-10 JDG-1900-10-10-a-i0057 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0058 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0059 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0004 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0013 Angleterre\n",
      "1900-10-10 JDG-1900-10-10-a-i0030 RÉUNiONS.-CONVOCATIONS.-CONCERTS\n",
      "1900-10-10 JDG-1900-10-10-a-i0060 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0005 NOUVELLES Df.S CANTONS\n",
      "1900-10-10 JDG-1900-10-10-a-i0031 Comité électoral démocratique\n",
      "1900-10-10 JDG-1900-10-10-a-i0061 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0032 DERNIERES DÉPÊCHES\n",
      "1900-10-10 JDG-1900-10-10-a-i0062 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0007 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0016 CHRONIQUE LOCALE\n",
      "1900-10-10 JDG-1900-10-10-a-i0033 Turquie CONSTANTINOPLE (via Sofia), 9. — Le sultan a ordonné au conseil des ministres de mettre de\n",
      "1900-10-10 JDG-1900-10-10-a-i0063 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0017 DOCTEUR GERMAINE\n",
      "1900-10-10 JDG-1900-10-10-a-i0034 Les affaires de Chine\n",
      "1900-10-10 JDG-1900-10-10-a-i0064 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0009 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0018 , . îtaîle\n",
      "1900-10-10 JDG-1900-10-10-a-i0035 Guerre angïo-transvaaMeine\n",
      "1900-10-10 JDG-1900-10-10-a-i0065 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0019 Saint-Siège\n",
      "1900-10-10 JDG-1900-10-10-a-i0066 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0037 BOURSE DE GENEVE\n",
      "1900-10-10 JDG-1900-10-10-a-i0021 Turquie\n",
      "1900-10-10 JDG-1900-10-10-a-i0038 COESMJBRCIA17X\n",
      "1900-10-10 JDG-1900-10-10-a-i0022 Autriche-Hongrie - »\n",
      "1900-10-10 JDG-1900-10-10-a-i0039 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0023 Etats des Balkans\n",
      "1900-10-10 JDG-1900-10-10-a-i0024 Etats-Unis\n",
      "1900-10-10 JDG-1900-10-10-a-i0041 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0025 Russie\n",
      "1900-10-10 JDG-1900-10-10-a-i0042 Iiprliefle (!B «Joornal de fiente», ra§ ifliraHMiir, S-ï\n",
      "1900-10-10 JDG-1900-10-10-a-i0026 Guerre anglo-transvaalienne\n",
      "1900-10-10 JDG-1900-10-10-a-i0043 A HHATTQ rendue sans médeci-A 1UUS ne, par la délicieuse REVALESCIÈRE DU BARRY\n",
      "1900-10-10 JDG-1900-10-10-a-i0044 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0045 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0046 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0047 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0048 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0049 MÉTÉOROLOGIE OBSERVATIONS DE GENÈVE\n",
      "1900-10-10 JDG-1900-10-10-a-i0050 None\n",
      "1900-10-10 JDG-1900-10-10-a-i0051 Antilles\n",
      "1900-10-10 JDG-1900-10-10-a-i0052 Amérique du Nord\n",
      "1900-10-10 JDG-1900-10-10-a-i0053 BUREAU CENTRAL DE ZURICH\n",
      "1900-10-10 JDG-1900-10-10-a-i0054 France\n",
      "1900-10-10 JDG-1900-10-10-a-i0055 Italie\n",
      "1900-10-10 JDG-1900-10-10-a-i0056 Angleterre\n",
      "1900-10-25 JDG-1900-10-25-a-i0001 GENEVE, 24 octobre 1900\n",
      "1900-10-25 JDG-1900-10-25-a-i0053 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0054 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0013 LA CHAMBRE DU ROI\n",
      "1900-10-25 JDG-1900-10-25-a-i0029 RÉUMIOKS.-COHVOCÂTIQHS.-COHCERTS\n",
      "1900-10-25 JDG-1900-10-25-a-i0055 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0004 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0056 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0031 PROPORTIONNELLE FÉDÉRALE\n",
      "1900-10-25 JDG-1900-10-25-a-i0057 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0032 DERNIÈRES DÉPÊCHES\n",
      "1900-10-25 JDG-1900-10-25-a-i0058 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0007 NOUVELLES DES CANTONS\n",
      "1900-10-25 JDG-1900-10-25-a-i0033 Les affaires de Chine\n",
      "1900-10-25 JDG-1900-10-25-a-i0059 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0008 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0018 Italie\n",
      "1900-10-25 JDG-1900-10-25-a-i0034 Guerre anglo-transvaalieme\n",
      "1900-10-25 JDG-1900-10-25-a-i0060 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0019 Angleterre\n",
      "1900-10-25 JDG-1900-10-25-a-i0061 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0010 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0020 Belgique\n",
      "1900-10-25 JDG-1900-10-25-a-i0036 BOURSE DE GENEVE\n",
      "1900-10-25 JDG-1900-10-25-a-i0062 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0021 Allemagne\n",
      "1900-10-25 JDG-1900-10-25-a-i0037 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0063 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0022 Guerre aHglo-transvaalienne\n",
      "1900-10-25 JDG-1900-10-25-a-i0038 METEOROLOGIE OBSERVATIONS DE GENÈVE\n",
      "1900-10-25 JDG-1900-10-25-a-i0023 Etats-Unis\n",
      "1900-10-25 JDG-1900-10-25-a-i0024 Japon\n",
      "1900-10-25 JDG-1900-10-25-a-i0040 La santé des enfants\n",
      "1900-10-25 JDG-1900-10-25-a-i0025 Espagne\n",
      "1900-10-25 JDG-1900-10-25-a-i0041 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0026 PRIME JOURNAL DE GENÈVE\n",
      "1900-10-25 JDG-1900-10-25-a-i0042 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0043 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0044 BATEAUX A VAPEUR\n",
      "1900-10-25 JDG-1900-10-25-a-i0045 BUREAU CENTRAL DE ZURICH 24 octobre 1900\n",
      "1900-10-25 JDG-1900-10-25-a-i0046 None\n",
      "1900-10-25 JDG-1900-10-25-a-i0047 Norvège\n",
      "1900-10-25 JDG-1900-10-25-a-i0048 Espagne\n",
      "1900-10-25 JDG-1900-10-25-a-i0049 Grèce\n",
      "1900-10-25 JDG-1900-10-25-a-i0050 Âllemâg-îLô\n",
      "1900-10-25 JDG-1900-10-25-a-i0051 Angleterre\n",
      "1900-10-25 JDG-1900-10-25-a-i0052 Italie\n",
      "1900-10-04 JDG-1900-10-04-a-i0001 GENEVE, 3 octobre 1000\n",
      "1900-10-04 JDG-1900-10-04-a-i0058 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0001 gratuitement ,la §azette seia envoyée\n",
      "1900-12-12 GDL-1900-12-12-a-i0029 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0002 A propos do régonts réformateurs\n",
      "1900-12-12 GDL-1900-12-12-a-i0009 Pays-Bas et Portugal.\n",
      "1900-12-12 GDL-1900-12-12-a-i0017 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0030 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0003 Le rachat du Central\n",
      "1900-12-12 GDL-1900-12-12-a-i0010 France.\n",
      "1900-12-12 GDL-1900-12-12-a-i0018 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0031 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0004 Au Reichstag.\n",
      "1900-12-12 GDL-1900-12-12-a-i0011 Conseils aux politiciens.\n",
      "1900-12-12 GDL-1900-12-12-a-i0019 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0032 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0005 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0012 CONFÉDÉRATION SUISSE\n",
      "1900-12-12 GDL-1900-12-12-a-i0020 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0033 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0006 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0013 CONSEIL DES ETATS Séance du 11 décembre\n",
      "1900-12-12 GDL-1900-12-12-a-i0021 Dernières dépêches\n",
      "1900-12-12 GDL-1900-12-12-a-i0034 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0007 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0014 ÇANTQN DE VAUD\n",
      "1900-12-12 GDL-1900-12-12-a-i0022 CONSEIL NATIONAL\n",
      "1900-12-12 GDL-1900-12-12-a-i0035 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0015 LAUSANNE\n",
      "1900-12-12 GDL-1900-12-12-a-i0023 LES LIVRES\n",
      "1900-12-12 GDL-1900-12-12-a-i0036 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0024 La réclame et les FÊTES DE FIN D'ANNÉE\n",
      "1900-12-12 GDL-1900-12-12-a-i0037 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0025 ABONNEMENTS A L'rTJg\n",
      "1900-12-12 GDL-1900-12-12-a-i0038 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0026 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0039 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0027 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0040 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0028 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0041 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0042 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0043 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0044 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0045 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0046 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0047 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0048 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0049 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0050 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0051 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0052 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0053 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0054 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0055 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0056 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0057 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0058 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0059 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0060 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0061 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0062 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0063 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0064 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0065 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0066 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0067 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0068 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0069 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0070 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0071 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0072 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0073 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0074 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0075 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0076 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0077 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0078 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0079 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0080 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0081 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0082 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0083 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0084 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0085 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0086 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0087 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0088 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0089 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0090 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0091 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0092 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0093 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0094 None\n",
      "1900-12-12 GDL-1900-12-12-a-i0095 None\n",
      "1900-12-10 GDL-1900-12-10-a-i0001 None\n",
      "1900-12-10 GDL-1900-12-10-a-i0034 None\n",
      "1900-12-10 GDL-1900-12-10-a-i0002 Le rachat et les obligataires;\n",
      "1900-12-10 GDL-1900-12-10-a-i0010 LETTRE DE PARIS\n",
      "1900-12-10 GDL-1900-12-10-a-i0018 Gmtçm m VAUD\n",
      "1900-12-10 GDL-1900-12-10-a-i0035 None\n",
      "1900-12-10 GDL-1900-12-10-a-i0003 Lli Jonraai âB Maronente Plantin\n"
     ]
    }
   ],
   "source": [
    "for archive in os.listdir(input_dir):\n",
    "    \n",
    "    # take only the transformed archives\n",
    "    if \"reduced\" in archive:\n",
    "        \n",
    "        # open the archive\n",
    "        f = BZ2File(os.path.join(input_dir, archive), 'r')\n",
    "        \n",
    "        # get the list of articles it contains (= a json object on each line)\n",
    "        articles = list(read_jsonlines(f))\n",
    "        \n",
    "        # load the first 100 articles as json and access their attributes\n",
    "        for a in articles[:100]:\n",
    "            \n",
    "            # decode the json string into an object (dict)\n",
    "            json_article = json.loads(a)\n",
    "            print(\n",
    "                json_article[\"date\"],\n",
    "                json_article[\"id\"],\n",
    "                json_article[\"title\"]\n",
    "            )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Reading from s3\n",
    "\n",
    "It's possible to read the data directly from S3.\n",
    "\n",
    "We set up a public bucket (~ folder) with some sample data that you can access without need for authentication. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "import dask.bag as db\n",
    "import json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "_storage_options={\n",
    "    'client_kwargs': {'endpoint_url':'https://os.zhdk.cloud.switch.ch'},\n",
    "    'anon':True\n",
    "}\n",
    "\n",
    "ci_bag = db.read_text(\n",
    "    's3://impresso-public/sample-rebuilt-teaching/*bz2',\n",
    "    storage_options=_storage_options\n",
    ").map(json.loads)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 88 ms, sys: 67.1 ms, total: 155 ms\n",
      "Wall time: 1min 38s\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "45260"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "ci_bag.count().compute()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "({'id': 'GDL-1900-12-12-a-i0001',\n",
       "  'pp': [1],\n",
       "  'd': '1900-12-12',\n",
       "  'olr': True,\n",
       "  'ts': '2019-06-17T10:02:03Z',\n",
       "  'lg': 'fr',\n",
       "  'tp': 'ar',\n",
       "  's3v': None,\n",
       "  'ppreb': [{'id': 'GDL-1900-12-12-a-p0001',\n",
       "    'n': 1,\n",
       "    't': [{'c': [471, 1240, 406, 113], 's': 0, 'l': 12},\n",
       "     {'c': [113, 1233, 15, 54], 's': 13, 'l': 1},\n",
       "     {'c': [127, 1233, 44, 54], 's': 15, 'l': 2},\n",
       "     {'c': [235, 1233, 27, 54], 's': 18, 'l': 1},\n",
       "     {'c': [262, 1233, 135, 54], 's': 20, 'l': 6},\n",
       "     {'c': [204, 1304, 67, 40], 's': 27, 'l': 4},\n",
       "     {'c': [300, 1304, 135, 40], 's': 32, 'l': 7},\n",
       "     {'c': [106, 1365, 56, 40], 's': 40, 'l': 3},\n",
       "     {'c': [175, 1365, 42, 40], 's': 44, 'l': 2},\n",
       "     {'c': [225, 1365, 75, 40], 's': 47, 'l': 4},\n",
       "     {'c': [315, 1365, 48, 40], 's': 52, 'l': 2},\n",
       "     {'c': [377, 1365, 48, 40], 's': 55, 'l': 2},\n",
       "     {'c': [438, 1365, 169, 40], 's': 58, 'l': 8},\n",
       "     {'c': [606, 1365, 10, 40], 's': 66, 'l': 1},\n",
       "     {'c': [635, 1365, 63, 40], 's': 68, 'l': 3},\n",
       "     {'c': [710, 1365, 171, 40], 's': 72, 'l': 9},\n",
       "     {'c': [106, 1412, 56, 40], 's': 82, 'l': 3},\n",
       "     {'c': [177, 1412, 221, 40], 's': 86, 'l': 12},\n",
       "     {'c': [419, 1412, 83, 40], 's': 99, 'l': 4},\n",
       "     {'c': [517, 1412, 123, 40], 's': 104, 'l': 7},\n",
       "     {'c': [654, 1412, 88, 40], 's': 112, 'l': 4},\n",
       "     {'c': [744, 1412, 10, 40], 's': 116, 'l': 1},\n",
       "     {'c': [148, 1473, 60, 40], 's': 118, 'l': 3},\n",
       "     {'c': [223, 1473, 227, 40], 's': 122, 'l': 11},\n",
       "     {'c': [471, 1473, 71, 40], 's': 134, 'l': 4},\n",
       "     {'c': [556, 1473, 94, 40], 's': 139, 'l': 5},\n",
       "     {'c': [667, 1473, 67, 40], 's': 145, 'l': 3},\n",
       "     {'c': [754, 1473, 125, 40], 's': 149, 'l': 5, 'hy1': True},\n",
       "     {'c': [106, 1521, 162, 40], 's': 149, 'l': 16, 'hy2': True},\n",
       "     {'c': [279, 1521, 46, 40], 's': 166, 'l': 2},\n",
       "     {'c': [338, 1521, 35, 40], 's': 169, 'l': 2},\n",
       "     {'c': [385, 1521, 127, 40], 's': 172, 'l': 7},\n",
       "     {'c': [527, 1521, 40, 40], 's': 180, 'l': 2},\n",
       "     {'c': [575, 1521, 160, 40], 's': 183, 'l': 8},\n",
       "     {'c': [752, 1521, 35, 40], 's': 192, 'l': 2},\n",
       "     {'c': [802, 1521, 77, 40], 's': 195, 'l': 4},\n",
       "     {'c': [106, 1569, 71, 40], 's': 200, 'l': 4},\n",
       "     {'c': [190, 1569, 52, 40], 's': 205, 'l': 3},\n",
       "     {'c': [250, 1569, 144, 40], 's': 209, 'l': 7},\n",
       "     {'c': [413, 1569, 46, 40], 's': 217, 'l': 2},\n",
       "     {'c': [471, 1569, 92, 40], 's': 220, 'l': 5},\n",
       "     {'c': [562, 1569, 10, 40], 's': 225, 'l': 1}],\n",
       "    'r': [[113, 1225, 771, 125], [104, 1358, 775, 254]]}],\n",
       "  'lb': [12, 26, 39, 81, 117, 149, 199, 226],\n",
       "  'cc': True,\n",
       "  't': 'gratuitement ,la §azette seia envoyée',\n",
       "  'pb': [27, 40, 118],\n",
       "  'rb': [40],\n",
       "  'ft': \"gratuitement , la § azette seia envoyée dès ce jour au 31 décembre, aux personnes qui s'abonneront pour l'année 1901. Les abonnements sont reçus par l'administration de la Gazette de Lausanne et dans tous les bureaux de poste. \"},)"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ci_bag.take(1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 84.3 ms, sys: 69.2 ms, total: 154 ms\n",
      "Wall time: 1min 26s\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "152542922"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "ci_bag.filter(lambda ci: 'ft' in ci).map(lambda ci: len(ci['ft'])).sum().compute()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### using dask and map\n",
    "see http://dask.pydata.org/en/latest/docs.html "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "# make sure of having these libraries in your environment ('conda install' / or 'pip install')\n",
    "from dask.diagnostics import ProgressBar\n",
    "from dask.distributed import Client, progress\n",
    "import dask.bag as db"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Helper functions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_archives(path):\n",
    "    archives = []\n",
    "    for archive in os.listdir(path):\n",
    "        if \"reduced\" in archive:\n",
    "            archives.append(os.path.join(input_dir, archive))\n",
    "    return archives"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_articles(archive_file):\n",
    "    articles = []\n",
    "    # open the archive\n",
    "    f = BZ2File(archive_file, 'r')\n",
    "    # get the list of articles it contains (= a json object on each line)\n",
    "    lines = list(read_jsonlines(f))\n",
    "    # load the articles as json and access their attributes\n",
    "    for a in lines:\n",
    "        articles.append(json.loads(a))\n",
    "    return articles"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Read and filter articles in parallel"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "# fetch only \"reduced\" bz2 files\n",
    "archives = get_archives(input_dir)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['data/JDG-1900-reduced.jsonl.bz2', 'data/GDL-1900-reduced.jsonl.bz2']"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "archives"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "bag_archives = db.from_sequence(archives)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "bag_articles = bag_archives.map(get_articles)\\\n",
    "                        .flatten()\\\n",
    "                        .filter(lambda ar: ar['fulltext'] != '')\\\n",
    "                        .repartition(npartitions=100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[########################################] | 100% Completed |  1min 59.0s\n"
     ]
    }
   ],
   "source": [
    "with ProgressBar():\n",
    "    bag_articles = bag_articles.persist()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "({'id': 'JDG-1900-10-10-a-i0001',\n",
       "  'type': 'ar',\n",
       "  'date': '1900-10-10',\n",
       "  'title': 'BULLETIN GENÈVE, 9 octobre 1900',\n",
       "  'fulltext': 'BULLETIN GENÈVE, 9 octobre 1900 Nul n\\'a jamais occupé le télégraphe plus que S. E. Li-Hung-Chang. Tous ses faits et gestes sont transmis au monde en attendant qu\\'ils soient conservés par l\\'histoire. Et il arrive que, s\\'il change d\\'avis en quelques minutes, deux dépêches contraires se suivent, pour nous l\\'apprendre, dans les colonnes des journaux. C\\'est ainsi qu\\'hier nos lecteurs ont pu lire coup sur coup que le départ de ce grand homme pour Pékin était ajourné définiment et qu\\'il était parti pour cette ville. Et une autre dépêche, datée du 8, ù-dire de deux jours plus tard, nous annonce que M de Giers est parti pour Tieh-Tsin afin de conférer avec cet encombrant mandarin. Est-ce que vraiment les actes et les paroles de ce personnage dont on ne Sait s\\'il est encore quelqu\\'un ou s\\'il ne l\\'est plus ont tant rêt pour le monde ? Il s\\'entoure d\\'un mystère dont il se fait un prestige, et le télégraphe se fait son gracieux complice. Il convient du reste de dire une fois pour toutes de ces nouvelles chinoises, qui se sui vent et môme se contredisent, qu\\'elles n\\'offrent aucune certitude et souvent aucun térêt. On se demande pourquoi l\\'on prend la peine de nous donner l\\'inventaire des armes délaissées par les Chinois, et trouvées par les Allemands à Thang-An. En quoi cela peut-il nous intéresser ? Et quant à l\\'échec subi par les Allemands au sud d «; Tien-Tsin où ils se seraient fait battre par trois mille Chinois dont les uns disent que ce sont des Boxers, les autres des vétérans de Li-Hung-Chang, nous attendrons que cette nouvelle donnée par le Standard soit confirmée par une dépêche officielle de Berlin. Et nous mettrons également en quarantaine provisoire le bruit de huit mille soldats chinois marchant sur Shanghaï, et celui d\\'un ordre donné aux troupes anglaises de se préparer à hiverner à Pékin. Et d\\'autre part, on annonce que les Russes se préparent à évacuer le capitale et que les Français, naturellement, vont les suivre. Même incertitude sur les projets de déplacement de la cour impérialechinoise. qu\\'ici on avait annoncé son intention de se fixer à Si-Ngan-Pou, au sud-ouest du coude du Hoang-Ilo et non loin de la rive méridionale du Weï-Ho. Aujourd\\'hui, d\\'après des informations venues du Japon, si nous le comprenons bien, la nouvelle résidence enco re inconnue serait probablement choisie beaucoup plus loin dans le sud, le Fils du Ciel ne pouvant jamais mettre assez de distance entre lui et ces méchants fils de là terre ou du diable qui viennent troubler son repos. A Tokio on se montre très sceptique et défiant sur les intentions du gouvernement chinois que l\\'on soupçonne de toutes les duplicités et dès intentions les plus noires au sujet des étrangers. Il serait curieux que les négociations fussent engagées à Pékin dans le seul but de gagner du temps et d\\'être rompues le jour où la cour, se croyant à l\\'abri de toute poursuite nouvelle, pourra jeter le masque et déclarer de plus loin la guerre aux étrangers. Enfin une autre dépêche annonce que des poursuites sont dirigées contre Yu, le vice-roi du Chan-Si, quel\\'on charge de tous les péchés d\\'Israël en le désignant comme l\\'ami des Boxers et l\\'organisateur des massacres. Il est possible qu\\'il en soit très innocent, mais si on l\\'en accuse, c\\'est un homme perdu. Le ministre de Chine à Washington a reçu pour instruction de donner une grande tée à cette décision d\\'un prochain départ et d\\'insister sur sa signification, qui est la rup ^ ture complète avec les Boxers. Il fait remarquer ou du moins il affirme que cette secte est inconnue dans la région où les membres de la famille impériale se préparent à chercher une résidence plus tranquille. Une des raisons que cet ambassadeur si bien ipforrnè donne de cet exode de ses \" souverains est îa crainte de maladies épidémiques qui suivent souvent les grands troubles. Si cette crainte venait à se réaliser, on ne manquerait pas, quoique la peste soit démique à Hong-Kong, de dire que ce sont les Européens qui l\\'y ont apportée. * * . tes résultats des élections anglaises connus ce matin donnaient trois cent vingtsept conservateurs et umpmstes è \\\\ us et cent soixante-quatre membres des trois oppositions réunies, se décomposant ainsi : quatre-vingt ; treize libéraux, soixante-huit nationalistes et trois socialistes. Le parti ministériel gagne vingt-trois sièges et l\\'opposition dix-huit. La majorité provisoire des premiers est de cent trente-huit mandats législatifs. » * La grève des mineurs qui, vient de se déclarer en Pensylvanie est un fait économique très grave, car il s\\'agit du chômage d\\'une grande industrie et l\\'on évalue à près de cent cinquante mille 4 e chiffre des ouvriers qui sont ou vont être en chômage. Leurs griefs . ne sont pas sans valeur : ils se plaignent de n\\'avoir aucune garantie contre \\'les exactions des compagnies, qui prétendent leur fournir à des prix tixés par elles jusqu\\'aux matières premières, c\\'est-à-dire jusqu\\'aux explosifs qu\\'ils emploient pour leur travail ; elles leur imposent leurs médecins, leurs magasins, et tout cela, disent-ilb, à des prix majorés. Il y a là de véritables abus et la presse américaine les condamne. Mais, pour le moment, cette grevé colossale n\\'est envisagée en Amériquequ\\'au point de vue de ses conséquences électorales et néralement on la considère -comme favorable aux chances de M. Bryan, l\\'ennemi des « trusts » et des grandes exploitations. En revanche, « Tammany Hall », cette exploitation plus scandaleuse encore de la chose publique au profit d\\'un syndicat de politiciens et hommes d\\'affaires, paraît, pour des raisons toutes personnelles à ceux ^ qui le dirigent, vouloir porter ses forces, à-dire le vote de l\\'Etat de New-York, au parti républicain, qui y gagnera en voix ce qu\\'il y perdra en considération. Ce « Tammany » était la plaie honteuse de la « démocratie » américaine. Si elle ! a passe au parti rival, même en y perdant la nomination d\\'un président de son choix, elle n\\'aura pas fait une mauvaise affaire. C\\'est toujours une force, môme de notre temps, d\\'être considéré comme le parti des honnêtes gens. Mais il lui faudra quelque temps pour effacer de son histoire cette tache d\\'avoir été la protégée de Tammany Hall. ¥ K D\\'après le Pester Lloyd, il se ferait en ce moment un échange de vues entre les puissances pour la convocation d\\'une conférence européenne contre les anarchistes. On ne dit pas qui en aurait pris l\\'initiative. On dit seulement que ce n\\'est pas l\\'Italie. Qu\\'y a-t-il de vrai dans cette nouvelle\\' ? Il n\\'y a pas, certes, de sujet plus actuel, et on peut bien le dire, plus brûlant. Et justement à cause de cela, on ne sait par où le prendre et nul ne se soucie d\\'y toucher. Ce n\\'est pas, du reste-, un fait sans précédent. La S. ainte-Vehme, qui est l\\'ancêtre et le modèle des cénacles anarchistes, a existé pendant près de trois siècles et elle n\\'a disparu que broyée dans la main de fer de Charles-Quint. Il est vrai qu\\'en ce temps-là il y avait moins de lois et de tribunaux qu\\'aujourd\\'hui, que leurs verdicts n\\'atteignaient pas les grands et que ces juridictions occultes frappaient quelquefois des crimes abominables qui sans cela seraient tés à jamais impunis. Mais nous n\\'en sommes plus à ce moment de l\\'histoire et ily a incompatibilité d\\'humeur entre notre civilisation toute pleine de lumière et de publicité, et ces institutions de ténè ^ bres où, sans enquête préalable, saris ins truction contradictoire, sans témoins et sans avocats, l\\'accusé, sans le savoir, est né à huis clos et exécuté par un misérable désigné par le sort, le sort qu\\'on ne peut plus appeler aveugle, car il né tombe jamais sur un des chefs. Il y a là un abus et un danger grave qui doit disparaître. Mais comment, par quels moyens ? On ne nous l\\'a pas encore dit. Il n\\'est pas facile de saisir l\\'insaisissable. Il y faudrait des polices très bien faites, c\\'est-à-dire incorruptibleset courageuses. Malheureusement ce qu\\'elles sont censées chercher, elles ne se soucient pas toujours de le trouver. *** Ce qui vient de se passer à Bruxelles dimanche ne manque pas d\\'intérêt. On sait que deux manifestations de caractères bien différents avaient été organisées ce jour-là : l\\'une toute joyeuse et pacifique pour souhaiter la bienvenue au jeune couple royal, le duc Albert de Belgique et sa jeune femme Elisabeth de Bavière, l\\'autre\\'pour réclamer à grands cris de bravoure le suffrage universel et l\\'amnistie. Il y avait toute raison de craindre que le local où devaient se rencontrer ces deux manifestations, c\\'est-à-dire la grande place, qui règne devant le palais de ja Bourse, ne, fût trop étroite popr les eontenjr toutes deux avec leurs cris opposés et qu\\'il n\\'en résultât quelque, grave bagarre ., Ajoutons que le bruit s\\'était répandu dans la ville d\\'un complot formé contre la vie du prince Albert par des anarchistes connus dont l\\'un avait été impliqué dans l\\'attentat de Sipido contre le prince de Galles. On comprend que les chefs responsables de la police bruxelloise voulussent à tout prix éviter cette tre. Le bourgmestre avait bien publié le matin une proclamation annonçant des mesures de police exceptionnelles ; mais que peuvent des mesures de ce genre contre une foule, à plus forte raison contre deux foules. Heureusement lés chefs socialistes n\\'étaient pas plus désireux que leurs adversaires habituels de prendre la responsabilité d\\'une bagarre survenant dans de telles conditions. Et de très bonne grâce, au moins beaucoup plus facilement qu\\'on ne l\\'espérait, on obtint des chefs de la Fédération qu\\'ils renverraient leur manifestation monstre à un autre jour. Le journal du parti, le Peuple, publiait à la dernière heure une note donnant le mot d\\'ordre à ses lecteurs et amis de S\\'abstenir dé toute manifestation. Quand un peuple est assez sage pour que de tels accords soient possibles, c\\'est que la situation est moins tendue qu\\'elle n\\'en a Pair. En fait, les compagnons ont ticipé, dit-on, à la fête du joyeux retour des époux royaux et l\\'on dit même que la bonne grâce de la jeune princesse a conquis sans effort Je cœur de ses futurs sujets. Les sages qui connaissent leur histoire contemporaine accepteront cet heureux présage sans se bercev de troc d\\'illusions. Ils savent que le cœur des fouies est changeant et que p \\\\ usieurs de ceux qui criaient le plus fort : « Vivent le prince et la princesse Albert !» crieront demain avec le même enthousiasme : « Vive l\\'anarchie ! » et « A bas le roi !» Mais, comme de notre temps il faut vivre au jour le jour, c\\'est au moins une bonne journée gagnée sur l\\'ennemi. L\\'ennemi dont nous parlons est la haine sociale, et c\\'est le grand fléau de notre siècle. Ajoutons, pour ne pas être optimistes, que, dans la soirée, les socialistes se sont repentis de leur sagesse et qu\\'on s\\'est un peu battu. * * Le vbl de titres qui a eu lieu au Vatican va, comme les funérailles du roi, remettre en présence lès deux pouvoirs rivaux qui se disputent la ville sainte, et dans des conditions qui les forceront peut-être à cesser de s\\'ignorer l\\'un l\\'autre, pour adopter un modus viv\\'enai. ., € eux\\'qul ont Fait le coup sont évidemment des gens qui ont leurs entrées au Vatican et qui ont pu passer devant la garde suisse sans éveiller les soupçons. Mais ils habitent probablement dans la ville et c\\'est dans la ville aussi qu\\'ils ont dû cacher leur larcin. Oomnie il s\\'agit de trois cent cinquante-sept mille huit cent dix francs, en grande partie en titres italiens et américains — preuve, pour le dire en passant, de là confiance des financiers pontificaux dans le crédit du royaume — le produit du vol n\\'est pas très facile à cacher et il ne sera pas très commode non plus dé s\\'en défaire. Cependant, pour trouver les voleurs et l\\'argent, on a besoin du concours de la police italienne et l\\'on prétend — ce dont nous\\'doutons un peu — qu\\'il lui a été formellement demandé. Si c\\'est vrai, on peut être assuré qu\\'elle y mettra tout le zèle pos sible, car si elle parvient à retrouver la somme et le voleur, cela lui tèra grattfl honneur dans le monde. La grande difficulté sera de faire les per quisitions nécessaires : dans le palais qui, gré la loi des garanties, est dans la pratique comme exterritorialisé, il n\\'y faut pas songer. Il est possible que la police pontificale commence les recherches et que, ne trouvant rien au Vatican, elle passe la, main à la police italienne, qui fouillera la ville. Il en résultera une émulationde zèle. Mais ce n\\'est pas probable. Jusqu\\'ici — car ce n\\'est pas la première fois que l\\'on vole au Vatican — on a préféré laisser le voleur et l\\'argent courir plutôt que de s\\'adresser à la police royale. Et ceux qui ont fait le coup le savent bien : ils ont lé sur cette habitude qui les rend non pas introuvables mais inviolables. Entre une police qui ne peut pas sortir et une qui ne peut pas entrer, à moins que St-Antoine de Padoue ne se môle de l\\'affaire, ils ont bien des chances de se tirer de là. Quant aux titres volés, il leur sera être plus difficile de s\\'en défaire si, comme on n\\'en saurait douter, dans une administration aussi bien ordonnée que celle du Vatican, ceux qui en avaient la garde en ont Conservé les numéros. BULLETIN GENÈVE, 9 octobre 1900 Nul n\\'a jamais occupé le télégraphe plus que S. E. Li-Hung-Chang. Tous ses faits et gestes sont transmis au monde en attendant qu\\'ils soient conservés par l\\'histoire. Et il arrive que, s\\'il change d\\'avis en quelques minutes, deux dépêches contraires se suivent, pour nous l\\'apprendre, dans les colonnes des journaux. C\\'est ainsi qu\\'hier nos lecteurs ont pu lire coup sur coup que le départ de ce grand homme pour Pékin était ajourné définiment et qu\\'il était parti pour cette ville. Et une autre dépêche, datée du 8, ù-dire de deux jours plus tard, nous annonce que M de Giers est parti pour Tieh-Tsin afin de conférer avec cet encombrant mandarin. Est-ce que vraiment les actes et les paroles de ce personnage dont on ne Sait s\\'il est encore quelqu\\'un ou s\\'il ne l\\'est plus ont tant rêt pour le monde ? Il s\\'entoure d\\'un mystère dont il se fait un prestige, et le télégraphe se fait son gracieux complice. Il convient du reste de dire une fois pour toutes de ces nouvelles chinoises, qui se sui vent et môme se contredisent, qu\\'elles n\\'offrent aucune certitude et souvent aucun térêt. On se demande pourquoi l\\'on prend la peine de nous donner l\\'inventaire des armes délaissées par les Chinois, et trouvées par les Allemands à Thang-An. En quoi cela peut-il nous intéresser ? Et quant à l\\'échec subi par les Allemands au sud d «; Tien-Tsin où ils se seraient fait battre par trois mille Chinois dont les uns disent que ce sont des Boxers, les autres des vétérans de Li-Hung-Chang, nous attendrons que cette nouvelle donnée par le Standard soit confirmée par une dépêche officielle de Berlin. Et nous mettrons également en quarantaine provisoire le bruit de huit mille soldats chinois marchant sur Shanghaï, et celui d\\'un ordre donné aux troupes anglaises de se préparer à hiverner à Pékin. Et d\\'autre part, on annonce que les Russes se préparent à évacuer le capitale et que les Français, naturellement, vont les suivre. Même incertitude sur les projets de déplacement de la cour impérialechinoise. qu\\'ici on avait annoncé son intention de se fixer à Si-Ngan-Pou, au sud-ouest du coude du Hoang-Ilo et non loin de la rive méridionale du Weï-Ho. Aujourd\\'hui, d\\'après des informations venues du Japon, si nous le comprenons bien, la nouvelle résidence enco re inconnue serait probablement choisie beaucoup plus loin dans le sud, le Fils du Ciel ne pouvant jamais mettre assez de distance entre lui et ces méchants fils de là terre ou du diable qui viennent troubler son repos. A Tokio on se montre très sceptique et défiant sur les intentions du gouvernement chinois que l\\'on soupçonne de toutes les duplicités et dès intentions les plus noires au sujet des étrangers. Il serait curieux que les négociations fussent engagées à Pékin dans le seul but de gagner du temps et d\\'être rompues le jour où la cour, se croyant à l\\'abri de toute poursuite nouvelle, pourra jeter le masque et déclarer de plus loin la guerre aux étrangers. Enfin une autre dépêche annonce que des poursuites sont dirigées contre Yu, le vice-roi du Chan-Si, quel\\'on charge de tous les péchés d\\'Israël en le désignant comme l\\'ami des Boxers et l\\'organisateur des massacres. Il est possible qu\\'il en soit très innocent, mais si on l\\'en accuse, c\\'est un homme perdu. Le ministre de Chine à Washington a reçu pour instruction de donner une grande tée à cette décision d\\'un prochain départ et d\\'insister sur sa signification, qui est la rup ^ ture complète avec les Boxers. Il fait remarquer ou du moins il affirme que cette secte est inconnue dans la région où les membres de la famille impériale se préparent à chercher une résidence plus tranquille. Une des raisons que cet ambassadeur si bien ipforrnè donne de cet exode de ses \" souverains est îa crainte de maladies épidémiques qui suivent souvent les grands troubles. Si cette crainte venait à se réaliser, on ne manquerait pas, quoique la peste soit démique à Hong-Kong, de dire que ce sont les Européens qui l\\'y ont apportée. * * . tes résultats des élections anglaises connus ce matin donnaient trois cent vingtsept conservateurs et umpmstes è \\\\ us et cent soixante-quatre membres des trois oppositions réunies, se décomposant ainsi : quatre-vingt ; treize libéraux, soixante-huit nationalistes et trois socialistes. Le parti ministériel gagne vingt-trois sièges et l\\'opposition dix-huit. La majorité provisoire des premiers est de cent trente-huit mandats législatifs. » * La grève des mineurs qui, vient de se déclarer en Pensylvanie est un fait économique très grave, car il s\\'agit du chômage d\\'une grande industrie et l\\'on évalue à près de cent cinquante mille 4 e chiffre des ouvriers qui sont ou vont être en chômage. Leurs griefs . ne sont pas sans valeur : ils se plaignent de n\\'avoir aucune garantie contre \\'les exactions des compagnies, qui prétendent leur fournir à des prix tixés par elles jusqu\\'aux matières premières, c\\'est-à-dire jusqu\\'aux explosifs qu\\'ils emploient pour leur travail ; elles leur imposent leurs médecins, leurs magasins, et tout cela, disent-ilb, à des prix majorés. Il y a là de véritables abus et la presse américaine les condamne. Mais, pour le moment, cette grevé colossale n\\'est envisagée en Amériquequ\\'au point de vue de ses conséquences électorales et néralement on la considère -comme favorable aux chances de M. Bryan, l\\'ennemi des « trusts » et des grandes exploitations. En revanche, « Tammany Hall », cette exploitation plus scandaleuse encore de la chose publique au profit d\\'un syndicat de politiciens et hommes d\\'affaires, paraît, pour des raisons toutes personnelles à ceux ^ qui le dirigent, vouloir porter ses forces, à-dire le vote de l\\'Etat de New-York, au parti républicain, qui y gagnera en voix ce qu\\'il y perdra en considération. Ce « Tammany » était la plaie honteuse de la « démocratie » américaine. Si elle ! a passe au parti rival, même en y perdant la nomination d\\'un président de son choix, elle n\\'aura pas fait une mauvaise affaire. C\\'est toujours une force, môme de notre temps, d\\'être considéré comme le parti des honnêtes gens. Mais il lui faudra quelque temps pour effacer de son histoire cette tache d\\'avoir été la protégée de Tammany Hall. ¥ K D\\'après le Pester Lloyd, il se ferait en ce moment un échange de vues entre les puissances pour la convocation d\\'une conférence européenne contre les anarchistes. On ne dit pas qui en aurait pris l\\'initiative. On dit seulement que ce n\\'est pas l\\'Italie. Qu\\'y a-t-il de vrai dans cette nouvelle\\' ? Il n\\'y a pas, certes, de sujet plus actuel, et on peut bien le dire, plus brûlant. Et justement à cause de cela, on ne sait par où le prendre et nul ne se soucie d\\'y toucher. Ce n\\'est pas, du reste-, un fait sans précédent. La S. ainte-Vehme, qui est l\\'ancêtre et le modèle des cénacles anarchistes, a existé pendant près de trois siècles et elle n\\'a disparu que broyée dans la main de fer de Charles-Quint. Il est vrai qu\\'en ce temps-là il y avait moins de lois et de tribunaux qu\\'aujourd\\'hui, que leurs verdicts n\\'atteignaient pas les grands et que ces juridictions occultes frappaient quelquefois des crimes abominables qui sans cela seraient tés à jamais impunis. Mais nous n\\'en sommes plus à ce moment de l\\'histoire et ily a incompatibilité d\\'humeur entre notre civilisation toute pleine de lumière et de publicité, et ces institutions de ténè ^ bres où, sans enquête préalable, saris ins truction contradictoire, sans témoins et sans avocats, l\\'accusé, sans le savoir, est né à huis clos et exécuté par un misérable désigné par le sort, le sort qu\\'on ne peut plus appeler aveugle, car il né tombe jamais sur un des chefs. Il y a là un abus et un danger grave qui doit disparaître. Mais comment, par quels moyens ? On ne nous l\\'a pas encore dit. Il n\\'est pas facile de saisir l\\'insaisissable. Il y faudrait des polices très bien faites, c\\'est-à-dire incorruptibleset courageuses. Malheureusement ce qu\\'elles sont censées chercher, elles ne se soucient pas toujours de le trouver. *** Ce qui vient de se passer à Bruxelles dimanche ne manque pas d\\'intérêt. On sait que deux manifestations de caractères bien différents avaient été organisées ce jour-là : l\\'une toute joyeuse et pacifique pour souhaiter la bienvenue au jeune couple royal, le duc Albert de Belgique et sa jeune femme Elisabeth de Bavière, l\\'autre\\'pour réclamer à grands cris de bravoure le suffrage universel et l\\'amnistie. Il y avait toute raison de craindre que le local où devaient se rencontrer ces deux manifestations, c\\'est-à-dire la grande place, qui règne devant le palais de ja Bourse, ne, fût trop étroite popr les eontenjr toutes deux avec leurs cris opposés et qu\\'il n\\'en résultât quelque, grave bagarre ., Ajoutons que le bruit s\\'était répandu dans la ville d\\'un complot formé contre la vie du prince Albert par des anarchistes connus dont l\\'un avait été impliqué dans l\\'attentat de Sipido contre le prince de Galles. On comprend que les chefs responsables de la police bruxelloise voulussent à tout prix éviter cette tre. Le bourgmestre avait bien publié le matin une proclamation annonçant des mesures de police exceptionnelles ; mais que peuvent des mesures de ce genre contre une foule, à plus forte raison contre deux foules. Heureusement lés chefs socialistes n\\'étaient pas plus désireux que leurs adversaires habituels de prendre la responsabilité d\\'une bagarre survenant dans de telles conditions. Et de très bonne grâce, au moins beaucoup plus facilement qu\\'on ne l\\'espérait, on obtint des chefs de la Fédération qu\\'ils renverraient leur manifestation monstre à un autre jour. Le journal du parti, le Peuple, publiait à la dernière heure une note donnant le mot d\\'ordre à ses lecteurs et amis de S\\'abstenir dé toute manifestation. Quand un peuple est assez sage pour que de tels accords soient possibles, c\\'est que la situation est moins tendue qu\\'elle n\\'en a Pair. En fait, les compagnons ont ticipé, dit-on, à la fête du joyeux retour des époux royaux et l\\'on dit même que la bonne grâce de la jeune princesse a conquis sans effort Je cœur de ses futurs sujets. Les sages qui connaissent leur histoire contemporaine accepteront cet heureux présage sans se bercev de troc d\\'illusions. Ils savent que le cœur des fouies est changeant et que p \\\\ usieurs de ceux qui criaient le plus fort : « Vivent le prince et la princesse Albert !» crieront demain avec le même enthousiasme : « Vive l\\'anarchie ! » et « A bas le roi !» Mais, comme de notre temps il faut vivre au jour le jour, c\\'est au moins une bonne journée gagnée sur l\\'ennemi. L\\'ennemi dont nous parlons est la haine sociale, et c\\'est le grand fléau de notre siècle. Ajoutons, pour ne pas être optimistes, que, dans la soirée, les socialistes se sont repentis de leur sagesse et qu\\'on s\\'est un peu battu. * * Le vbl de titres qui a eu lieu au Vatican va, comme les funérailles du roi, remettre en présence lès deux pouvoirs rivaux qui se disputent la ville sainte, et dans des conditions qui les forceront peut-être à cesser de s\\'ignorer l\\'un l\\'autre, pour adopter un modus viv\\'enai. ., € eux\\'qul ont Fait le coup sont évidemment des gens qui ont leurs entrées au Vatican et qui ont pu passer devant la garde suisse sans éveiller les soupçons. Mais ils habitent probablement dans la ville et c\\'est dans la ville aussi qu\\'ils ont dû cacher leur larcin. Oomnie il s\\'agit de trois cent cinquante-sept mille huit cent dix francs, en grande partie en titres italiens et américains — preuve, pour le dire en passant, de là confiance des financiers pontificaux dans le crédit du royaume — le produit du vol n\\'est pas très facile à cacher et il ne sera pas très commode non plus dé s\\'en défaire. Cependant, pour trouver les voleurs et l\\'argent, on a besoin du concours de la police italienne et l\\'on prétend — ce dont nous\\'doutons un peu — qu\\'il lui a été formellement demandé. Si c\\'est vrai, on peut être assuré qu\\'elle y mettra tout le zèle pos sible, car si elle parvient à retrouver la somme et le voleur, cela lui tèra grattfl honneur dans le monde. La grande difficulté sera de faire les per quisitions nécessaires : dans le palais qui, gré la loi des garanties, est dans la pratique comme exterritorialisé, il n\\'y faut pas songer. Il est possible que la police pontificale commence les recherches et que, ne trouvant rien au Vatican, elle passe la, main à la police italienne, qui fouillera la ville. Il en résultera une émulationde zèle. Mais ce n\\'est pas probable. Jusqu\\'ici — car ce n\\'est pas la première fois que l\\'on vole au Vatican — on a préféré laisser le voleur et l\\'argent courir plutôt que de s\\'adresser à la police royale. Et ceux qui ont fait le coup le savent bien : ils ont lé sur cette habitude qui les rend non pas introuvables mais inviolables. Entre une police qui ne peut pas sortir et une qui ne peut pas entrer, à moins que St-Antoine de Padoue ne se môle de l\\'affaire, ils ont bien des chances de se tirer de là. Quant aux titres volés, il leur sera être plus difficile de s\\'en défaire si, comme on n\\'en saurait douter, dans une administration aussi bien ordonnée que celle du Vatican, ceux qui en avaient la garde en ont Conservé les numéros. BULLETIN GENÈVE, 9 octobre 1900 Nul n\\'a jamais occupé le télégraphe plus que S. E. Li-Hung-Chang. Tous ses faits et gestes sont transmis au monde en attendant qu\\'ils soient conservés par l\\'histoire. Et il arrive que, s\\'il change d\\'avis en quelques minutes, deux dépêches contraires se suivent, pour nous l\\'apprendre, dans les colonnes des journaux. C\\'est ainsi qu\\'hier nos lecteurs ont pu lire coup sur coup que le départ de ce grand homme pour Pékin était ajourné définiment et qu\\'il était parti pour cette ville. Et une autre dépêche, datée du 8, ù-dire de deux jours plus tard, nous annonce que M de Giers est parti pour Tieh-Tsin afin de conférer avec cet encombrant mandarin. Est-ce que vraiment les actes et les paroles de ce personnage dont on ne Sait s\\'il est encore quelqu\\'un ou s\\'il ne l\\'est plus ont tant rêt pour le monde ? Il s\\'entoure d\\'un mystère dont il se fait un prestige, et le télégraphe se fait son gracieux complice. Il convient du reste de dire une fois pour toutes de ces nouvelles chinoises, qui se sui vent et môme se contredisent, qu\\'elles n\\'offrent aucune certitude et souvent aucun térêt. On se demande pourquoi l\\'on prend la peine de nous donner l\\'inventaire des armes délaissées par les Chinois, et trouvées par les Allemands à Thang-An. En quoi cela peut-il nous intéresser ? Et quant à l\\'échec subi par les Allemands au sud d «; Tien-Tsin où ils se seraient fait battre par trois mille Chinois dont les uns disent que ce sont des Boxers, les autres des vétérans de Li-Hung-Chang, nous attendrons que cette nouvelle donnée par le Standard soit confirmée par une dépêche officielle de Berlin. Et nous mettrons également en quarantaine provisoire le bruit de huit mille soldats chinois marchant sur Shanghaï, et celui d\\'un ordre donné aux troupes anglaises de se préparer à hiverner à Pékin. Et d\\'autre part, on annonce que les Russes se préparent à évacuer le capitale et que les Français, naturellement, vont les suivre. Même incertitude sur les projets de déplacement de la cour impérialechinoise. qu\\'ici on avait annoncé son intention de se fixer à Si-Ngan-Pou, au sud-ouest du coude du Hoang-Ilo et non loin de la rive méridionale du Weï-Ho. Aujourd\\'hui, d\\'après des informations venues du Japon, si nous le comprenons bien, la nouvelle résidence enco re inconnue serait probablement choisie beaucoup plus loin dans le sud, le Fils du Ciel ne pouvant jamais mettre assez de distance entre lui et ces méchants fils de là terre ou du diable qui viennent troubler son repos. A Tokio on se montre très sceptique et défiant sur les intentions du gouvernement chinois que l\\'on soupçonne de toutes les duplicités et dès intentions les plus noires au sujet des étrangers. Il serait curieux que les négociations fussent engagées à Pékin dans le seul but de gagner du temps et d\\'être rompues le jour où la cour, se croyant à l\\'abri de toute poursuite nouvelle, pourra jeter le masque et déclarer de plus loin la guerre aux étrangers. Enfin une autre dépêche annonce que des poursuites sont dirigées contre Yu, le vice-roi du Chan-Si, quel\\'on charge de tous les péchés d\\'Israël en le désignant comme l\\'ami des Boxers et l\\'organisateur des massacres. Il est possible qu\\'il en soit très innocent, mais si on l\\'en accuse, c\\'est un homme perdu. Le ministre de Chine à Washington a reçu pour instruction de donner une grande tée à cette décision d\\'un prochain départ et d\\'insister sur sa signification, qui est la rup ^ ture complète avec les Boxers. Il fait remarquer ou du moins il affirme que cette secte est inconnue dans la région où les membres de la famille impériale se préparent à chercher une résidence plus tranquille. Une des raisons que cet ambassadeur si bien ipforrnè donne de cet exode de ses \" souverains est îa crainte de maladies épidémiques qui suivent souvent les grands troubles. Si cette crainte venait à se réaliser, on ne manquerait pas, quoique la peste soit démique à Hong-Kong, de dire que ce sont les Européens qui l\\'y ont apportée. * * . tes résultats des élections anglaises connus ce matin donnaient trois cent vingtsept conservateurs et umpmstes è \\\\ us et cent soixante-quatre membres des trois oppositions réunies, se décomposant ainsi : quatre-vingt ; treize libéraux, soixante-huit nationalistes et trois socialistes. Le parti ministériel gagne vingt-trois sièges et l\\'opposition dix-huit. La majorité provisoire des premiers est de cent trente-huit mandats législatifs. » * La grève des mineurs qui, vient de se déclarer en Pensylvanie est un fait économique très grave, car il s\\'agit du chômage d\\'une grande industrie et l\\'on évalue à près de cent cinquante mille 4 e chiffre des ouvriers qui sont ou vont être en chômage. Leurs griefs . ne sont pas sans valeur : ils se plaignent de n\\'avoir aucune garantie contre \\'les exactions des compagnies, qui prétendent leur fournir à des prix tixés par elles jusqu\\'aux matières premières, c\\'est-à-dire jusqu\\'aux explosifs qu\\'ils emploient pour leur travail ; elles leur imposent leurs médecins, leurs magasins, et tout cela, disent-ilb, à des prix majorés. Il y a là de véritables abus et la presse américaine les condamne. Mais, pour le moment, cette grevé colossale n\\'est envisagée en Amériquequ\\'au point de vue de ses conséquences électorales et néralement on la considère -comme favorable aux chances de M. Bryan, l\\'ennemi des « trusts » et des grandes exploitations. En revanche, « Tammany Hall », cette exploitation plus scandaleuse encore de la chose publique au profit d\\'un syndicat de politiciens et hommes d\\'affaires, paraît, pour des raisons toutes personnelles à ceux ^ qui le dirigent, vouloir porter ses forces, à-dire le vote de l\\'Etat de New-York, au parti républicain, qui y gagnera en voix ce qu\\'il y perdra en considération. Ce « Tammany » était la plaie honteuse de la « démocratie » américaine. Si elle ! a passe au parti rival, même en y perdant la nomination d\\'un président de son choix, elle n\\'aura pas fait une mauvaise affaire. C\\'est toujours une force, môme de notre temps, d\\'être considéré comme le parti des honnêtes gens. Mais il lui faudra quelque temps pour effacer de son histoire cette tache d\\'avoir été la protégée de Tammany Hall. ¥ K D\\'après le Pester Lloyd, il se ferait en ce moment un échange de vues entre les puissances pour la convocation d\\'une conférence européenne contre les anarchistes. On ne dit pas qui en aurait pris l\\'initiative. On dit seulement que ce n\\'est pas l\\'Italie. Qu\\'y a-t-il de vrai dans cette nouvelle\\' ? Il n\\'y a pas, certes, de sujet plus actuel, et on peut bien le dire, plus brûlant. Et justement à cause de cela, on ne sait par où le prendre et nul ne se soucie d\\'y toucher. Ce n\\'est pas, du reste-, un fait sans précédent. La S. ainte-Vehme, qui est l\\'ancêtre et le modèle des cénacles anarchistes, a existé pendant près de trois siècles et elle n\\'a disparu que broyée dans la main de fer de Charles-Quint. Il est vrai qu\\'en ce temps-là il y avait moins de lois et de tribunaux qu\\'aujourd\\'hui, que leurs verdicts n\\'atteignaient pas les grands et que ces juridictions occultes frappaient quelquefois des crimes abominables qui sans cela seraient tés à jamais impunis. Mais nous n\\'en sommes plus à ce moment de l\\'histoire et ily a incompatibilité d\\'humeur entre notre civilisation toute pleine de lumière et de publicité, et ces institutions de ténè ^ bres où, sans enquête préalable, saris ins truction contradictoire, sans témoins et sans avocats, l\\'accusé, sans le savoir, est né à huis clos et exécuté par un misérable désigné par le sort, le sort qu\\'on ne peut plus appeler aveugle, car il né tombe jamais sur un des chefs. Il y a là un abus et un danger grave qui doit disparaître. Mais comment, par quels moyens ? On ne nous l\\'a pas encore dit. Il n\\'est pas facile de saisir l\\'insaisissable. Il y faudrait des polices très bien faites, c\\'est-à-dire incorruptibleset courageuses. Malheureusement ce qu\\'elles sont censées chercher, elles ne se soucient pas toujours de le trouver. *** Ce qui vient de se passer à Bruxelles dimanche ne manque pas d\\'intérêt. On sait que deux manifestations de caractères bien différents avaient été organisées ce jour-là : l\\'une toute joyeuse et pacifique pour souhaiter la bienvenue au jeune couple royal, le duc Albert de Belgique et sa jeune femme Elisabeth de Bavière, l\\'autre\\'pour réclamer à grands cris de bravoure le suffrage universel et l\\'amnistie. Il y avait toute raison de craindre que le local où devaient se rencontrer ces deux manifestations, c\\'est-à-dire la grande place, qui règne devant le palais de ja Bourse, ne, fût trop étroite popr les eontenjr toutes deux avec leurs cris opposés et qu\\'il n\\'en résultât quelque, grave bagarre ., Ajoutons que le bruit s\\'était répandu dans la ville d\\'un complot formé contre la vie du prince Albert par des anarchistes connus dont l\\'un avait été impliqué dans l\\'attentat de Sipido contre le prince de Galles. On comprend que les chefs responsables de la police bruxelloise voulussent à tout prix éviter cette tre. Le bourgmestre avait bien publié le matin une proclamation annonçant des mesures de police exceptionnelles ; mais que peuvent des mesures de ce genre contre une foule, à plus forte raison contre deux foules. Heureusement lés chefs socialistes n\\'étaient pas plus désireux que leurs adversaires habituels de prendre la responsabilité d\\'une bagarre survenant dans de telles conditions. Et de très bonne grâce, au moins beaucoup plus facilement qu\\'on ne l\\'espérait, on obtint des chefs de la Fédération qu\\'ils renverraient leur manifestation monstre à un autre jour. Le journal du parti, le Peuple, publiait à la dernière heure une note donnant le mot d\\'ordre à ses lecteurs et amis de S\\'abstenir dé toute manifestation. Quand un peuple est assez sage pour que de tels accords soient possibles, c\\'est que la situation est moins tendue qu\\'elle n\\'en a Pair. En fait, les compagnons ont ticipé, dit-on, à la fête du joyeux retour des époux royaux et l\\'on dit même que la bonne grâce de la jeune princesse a conquis sans effort Je cœur de ses futurs sujets. Les sages qui connaissent leur histoire contemporaine accepteront cet heureux présage sans se bercev de troc d\\'illusions. Ils savent que le cœur des fouies est changeant et que p \\\\ usieurs de ceux qui criaient le plus fort : « Vivent le prince et la princesse Albert !» crieront demain avec le même enthousiasme : « Vive l\\'anarchie ! » et « A bas le roi !» Mais, comme de notre temps il faut vivre au jour le jour, c\\'est au moins une bonne journée gagnée sur l\\'ennemi. L\\'ennemi dont nous parlons est la haine sociale, et c\\'est le grand fléau de notre siècle. Ajoutons, pour ne pas être optimistes, que, dans la soirée, les socialistes se sont repentis de leur sagesse et qu\\'on s\\'est un peu battu. * * Le vbl de titres qui a eu lieu au Vatican va, comme les funérailles du roi, remettre en présence lès deux pouvoirs rivaux qui se disputent la ville sainte, et dans des conditions qui les forceront peut-être à cesser de s\\'ignorer l\\'un l\\'autre, pour adopter un modus viv\\'enai. ., € eux\\'qul ont Fait le coup sont évidemment des gens qui ont leurs entrées au Vatican et qui ont pu passer devant la garde suisse sans éveiller les soupçons. Mais ils habitent probablement dans la ville et c\\'est dans la ville aussi qu\\'ils ont dû cacher leur larcin. Oomnie il s\\'agit de trois cent cinquante-sept mille huit cent dix francs, en grande partie en titres italiens et américains — preuve, pour le dire en passant, de là confiance des financiers pontificaux dans le crédit du royaume — le produit du vol n\\'est pas très facile à cacher et il ne sera pas très commode non plus dé s\\'en défaire. Cependant, pour trouver les voleurs et l\\'argent, on a besoin du concours de la police italienne et l\\'on prétend — ce dont nous\\'doutons un peu — qu\\'il lui a été formellement demandé. Si c\\'est vrai, on peut être assuré qu\\'elle y mettra tout le zèle pos sible, car si elle parvient à retrouver la somme et le voleur, cela lui tèra grattfl honneur dans le monde. La grande difficulté sera de faire les per quisitions nécessaires : dans le palais qui, gré la loi des garanties, est dans la pratique comme exterritorialisé, il n\\'y faut pas songer. Il est possible que la police pontificale commence les recherches et que, ne trouvant rien au Vatican, elle passe la, main à la police italienne, qui fouillera la ville. Il en résultera une émulationde zèle. Mais ce n\\'est pas probable. Jusqu\\'ici — car ce n\\'est pas la première fois que l\\'on vole au Vatican — on a préféré laisser le voleur et l\\'argent courir plutôt que de s\\'adresser à la police royale. Et ceux qui ont fait le coup le savent bien : ils ont lé sur cette habitude qui les rend non pas introuvables mais inviolables. Entre une police qui ne peut pas sortir et une qui ne peut pas entrer, à moins que St-Antoine de Padoue ne se môle de l\\'affaire, ils ont bien des chances de se tirer de là. Quant aux titres volés, il leur sera être plus difficile de s\\'en défaire si, comme on n\\'en saurait douter, dans une administration aussi bien ordonnée que celle du Vatican, ceux qui en avaient la garde en ont Conservé les numéros. '},)"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bag_articles.take(1, npartitions=10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "41908"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bag_articles.count().compute()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "articles = bag_articles.compute()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "41908"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(articles)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Compute total number of tokens (parallel)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "n_tokens = bag_articles.filter(lambda i: i['fulltext'] is not None).map(lambda ar: len(ar['fulltext'].split()))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "total_tokens = n_tokens.sum().compute()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'26,088,321'"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"{:,}\".format(total_tokens)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {
    "height": "84px",
    "width": "252px"
   },
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": "block",
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}