crispdm.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Clase 2: CRISP-DM\n",
    "**Cross Process Industry Standard Process for Data Mining**\n",
    "\n",
    "Giovanni D. Rottoli, PhD."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Contexto"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Datos, datos y más datos\n",
    "\n",
    "En la actualidad, la sociedad está *datificada*: los datos se\n",
    "están generando de forma masiva, a grandes velocidades, en\n",
    "múltiples formatos distintos, en una multiplicidad de\n",
    "escenarios.\n",
    "\n",
    "Son estas características, el volumen, la velocidad y la\n",
    "variedad, las que describen al fenómeno conocido como **Big Data**.\n",
    "\n",
    "Aprovechar estos datos para la toma de decisiones resulta una\n",
    "tarea crucial."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Herramientas\n",
    "\n",
    "La minería de datos hace referencia a los algoritmos que son utilizados para explorar el conjunto de datos y encontrar regularidades o patrones implícitos en los mismos.\n",
    "\n",
    "Estos algoritmos y métodos, basados en estadísticas, inteligencia artificial, aprendizaje automático y visualizaciones, nos permiten analizar bases de datos que resultan desproporcionadas para el análisis manual, siendo escalables para adaptarse a las necesidades asociadas al Big\n",
    "Data."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Recordemos la crisis del Software\n",
    "\n",
    "Los proyectos de software fallaban debido a que la actividad de la industria se enfocaba en la generación de código sin asegurar la calidad de las producciones.\n",
    "\n",
    "La cantidad de código sin gestionar se tornaba inmanejable.\n",
    "\n",
    "![escalated.jpg](./images/crispdm/escalated.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Ingeniería de Software\n",
    "\n",
    "La crisis del software dio origen a la Ingeniería de Software en 1980.\n",
    "\n",
    "Esta se define como la aplicación de un enfoque sistemático, disciplinado y cuantificable al desarrollo,\n",
    "operación y mantenimiento de software."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Gestión de proyectos de Ciencia de Datos\n",
    "\n",
    "De forma análoga, la aplicación apresurada de algoritmos de\n",
    "minería de datos sin considerar actividades de gestión de\n",
    "recursos conllevaría a no dar respuesta a las necesidades de los\n",
    "stakeholders de manera satisfactoria.\n",
    "\n",
    "![story.png](./images/crispdm/story.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Knowledge Discovery on Databases"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* El proceso KDD fue diseñado en el año 1996 por Fayyad y otros.\n",
    "* Marco metodológico para la aplicación de algoritmos de minería de datos.\n",
    "* Propone una diferencia conceptual entre Minería de Datos y Descubrimiento de Conocimiento.\n",
    "* Vamos por partes:\n",
    "\n",
    "####\n",
    "* Fayyad et al. (1996). The KDD Process for Extracting Useful Knowledge from Volumes of Data. COMMUNICATIONS OF THE ACM 39.11. https://sceweb.uhcl.edu/boetticher/ML_DataMining/p27-fayyad.pdf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![kdd.png](./images/introduccion/kdd.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Pasos\n",
    "\n",
    "* **Selección**: A partir de datos del dominio, se selecciona un subconjunto de ellos que serán utilizados para abordar el problema.\n",
    "* **Preprocesamiento**: se limpian los datos de errores, anomalías, ruido, y se toman decisiones sobre datos perdidos.\n",
    "* **Transformación**: Se seleccionan atributos relevantes, se reduce la dimencionalidad, se codifican los atributos, se crean atributos derivados, etc.\n",
    "* **Minería de datos**: Se deciden los modelos a crear, se seleccionan los algoritmos a aplicar, se decide el valor de los parámetros y finalmente se ejecutan sobre los datos.\n",
    "* **Evaluación**: Se interpretan los resultados y se decide si las métricas de eficiencia son adecuadas. Se descartan los patrones triviales e irrelevantes. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### Pros y Contras"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Pros:\n",
    "\n",
    "* Simple de comprender\n",
    "* Simple y rápido de implementar\n",
    "* Sistematiza el proceso de aplicación de algoritmos.\n",
    " \n",
    "#### Contras:\n",
    "\n",
    "* Modelo en cascada\n",
    "* No contempla el análisis del dominio.\n",
    "* No se evalúa en función de los problemas de dominio. \n",
    "* Orientado a la aplicación de algoritmos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## CRISP-DM"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Cross Industry Standard Process for Data Mining\n",
    "\n",
    "* Publicado en el año 1999 como un proyecto Europeo. \n",
    "* El proceso fue llevado adelante por 5 grandes compañías privadas a partir del año 1996.\n",
    "* Se integran las experiencias de múltiples empresas alrededor del mundo.\n",
    "* Diseñado como una metodología estandar para el proceso de ciencia de datos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Ciclo de Vida\n",
    "\n",
    "* Ciclo de vida iterativo-incremental.\n",
    "* 6 fases bien definidas.\n",
    "* Retroalimentaciones entre fases.\n",
    "\n",
    "![crispdm.png](./images/introduccion/crispdm.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Estructura\n",
    "\n",
    "* Estructura jerárquica.\n",
    "* Cada nivel posee distinto grado de abstracción.\n",
    "* Busca que el proceso sea replicable y se fundamenten todas las decisiones tomadas.\n",
    "\n",
    "![jerarquia.png](./images/crispdm/jerarquia.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Pros y Contras\n",
    "\n",
    "#### Pros\n",
    "\n",
    "* **General**: Es suficientemente general para distintos dominios de aplicación.\n",
    "* **Sencillez para su adopción**: Se puede implementar sin demasiado entrenamiento o incluso, sin definir roles específicos. \n",
    "* **Entendimiento del negocio**: Al partir de problemas bien definidos, aumenta la probabiliadd de éxito de los proyectos. \n",
    "* **Finalización**: Posee una fase de implementación que permite definir cómo utilizar el conocimiento adquirido y cuáles son los próximos pasos.\n",
    "* **Flexible**: Se puede adaptar según las necesidades particulares de cada equipo. Incluso existen variantes ágiles. \n",
    "* **Incremental**: el conocimiento adquirido durante la ejecución de un proyecto es útil para futuras iteraciones."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Contras\n",
    "\n",
    "* **Rigidez**: Puede degenerarse en un proceso cascada.\n",
    "* **Documentación**: Casi todas sus actividades requieren documentación. Esto puede ser clave en procesos maduros, pero no resulta deseable en equipos ágiles.\n",
    "* **Anticuado**: Se argumenta que crisp-dm es un proceso que no tiene en cuenta el BIG DATA y la necesidad de actualizar constantemente los modelos.\n",
    "* **Finalización**: Posee una fase de implementación que permite definir cómo utilizar el conocimiento adquirido y cuáles son los próximos pasos.\n",
    "* **Gestión de proyectos**: Está diseñado para equipos pequeños, por lo que no posee actividades de coordinación de equipos y recursos.  \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Fases"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### Entendimiento del Negocio\n",
    "\n",
    "![entendimiento.png](./images/crispdm/entendimiento.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "### Entendimiento de los Datos\n",
    "\n",
    "![entendimiento_datos.png](./images/crispdm/entendimiento_datos.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Preparación de los Datos\n",
    "\n",
    "![preparacion.png](./images/crispdm/preparacion.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Modelado\n",
    "\n",
    "![modelado.png](./images/crispdm/modelado.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Evaluación\n",
    "\n",
    "![evaluacion.png](./images/crispdm/evaluacion.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### Implementación o despliegue\n",
    "\n",
    "![despliegue.png](./images/crispdm/despliegue.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Fuentes a consultar:\n",
    "\n",
    "*The CRISP-DM Process Model. Discussion Paper. 1999:  https://www.keithmccormick.com/wp-content/uploads/CRISP-DM%20No%20Brand.pdf"
   ]
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}