diff --git a/01-intro.Rmd b/01-intro.Rmd
index f97dff1..9c185e8 100644
--- a/01-intro.Rmd
+++ b/01-intro.Rmd
@@ -1,6 +1,14 @@
# Introducción
-Este trabajo se trata de...
+El interés de realizar investigaciones científicas con base en la Ciencia Social Abierta ha ido aumentando en la última década. Distintos centros de investigaciones y organismos nacionales e internacionales han posicionado como un estándar mínimo de calidad, confianza y trasparencia que los(as) científicos sociales suscriban sus investigaciones bajo los principios de la Ciencia Abierta. En este libro se abordan los conceptos principales que explican de qué se trata la Ciencia Abierta, sin embargo, el objetivo final es convertirse en una guía para los(as) investigadores de las Ciencias Sociales. A partir de la revisión de los principios a los que suscriben los principales organismos internacionales y de las principales herramientas utilizadas para cumplir con este propósito es que este libro permite consolidar las experiencias actuales para transformarlas en una serie de recomendaciones que les permitan a los(as) investigadores de las Ciencias Sociales empíricas suscribirse bajo los estándares de la Ciencia Social Abierta. Este libro se guía bajo cuatro principios clave de la Ciencia Abierta y que constituyen cada uno de los capítulos tratados a continuación: 1) Transparencia; 2) Apertura de datos; 3) Reproducibilidad y 4) Publicaciones libres.
+
+En el primer capítulo se aborda uno de los principales estándares que guían este tipo de investigaciones y que tiene que ver con la transparencia. En este libro, transparencia se asocia con la apertura pública del diseño de investigación, lo que refiere a la práctica científica de abrir al público todo tipo de información que sea relevante en la ejecución del estudio, desde las hipótesis hasta el plan de análisis. Así, quienes lean los hallazgos de la investigación (tanto científicos como el público en general) podrán evaluar la credibilidad de estos y descartar la influencia de prácticas cuestionables de investigación.
+
+En el segundo capítulo se aborda un elemento clave para fomentar la colaboración en las investigaciones de las Ciencias Sociales. La publicación de los datos de investigación (open data) se suscribe como un estándar de calidad internacional que permite contribuir a que los(as) investigadores se centren en la investigación y creación de hallazgos relevantes, antes que en la producción de datos. Más aún, se señala la importancia de publicar los datos de investigación cumpliendo con estándares internacionales sobre los datos y la documentación, de modo tal que cualquier investigador sea capaz de reutilizar los datos sin la necesidad de contactarse con el equipo que los produjo y con la información suficiente para reconocer o citar el aporte del equipo productor de los datos.
+
+En el tercer capítulo se aborda la discusión existente sobre la reproducibilidad y replicabilidad de una investigación, poniendo el principal foco en la reproducibilidad de los resultados de investigación. Reproducibilidad refiere a una publicación detallada de la documentación, código y datos que permitan obtener los mismos resultados publicados por los autores, enfatizando que los análisis sean transparentes y claros con el objetivo de ser verificados por sus pares. En el escenario actual, la falta de reproducibilidad de los resultados afecta la robustez y credibilidad de la evidencia reportada por las investigaciones, principalmente por la falta de precisión en los procedimientos y las barreras de acceso a materiales clave del proceso de análisis [@freese_Replication_2017].
+
+Finalmente, el cuarto capítulo está enfocado en la parte final de una investigación y se centra en el proceso de divulgación científica. Para este propósito se abordan dos puntos clave. Por un lado, se aborda la idea de propiedad intelectual junto a los elementos centrales de la producción científica y el resguardo legal que poseen los(as) autores sobre sus investigaciones. Por otro lado, se aborda el movimiento del Open Access (OA), que tiene por objetivo promover el acceso libre a la producción de conocimiento científico digital y hacer uso de él sin restricciones de *copyright*, instalando la posibilidad de que cualquier persona pueda reutilizar la información de la investigación en cuanto a datos, procesos y resultados.
diff --git a/03b-ventajas.Rmd b/03b-ventajas.Rmd
index d52dbde..627ba4b 100644
--- a/03b-ventajas.Rmd
+++ b/03b-ventajas.Rmd
@@ -3,17 +3,17 @@
Las ventajas de la apertura de datos son varias. A continuación nos centramos en los tres puntos que consideramos más relevantes: las características éticas, la contribución a la calidad y la eficiencia científica y otros incentivos personales importantes de considerar.
-* Ética:
+* **Ética**:
- + Es justo que el público general tenga acceso a los datos producidos especialmente cuando estos son producidos con fondos públicos [@bueno_what_2017]. Cabe destacar que Chile gasta aproximadamente $668.551 MM de pesos, lo cual equivale a un 0,35% del producto interno bruto.
+ + Es justo que el público general tenga acceso a los datos producidos, especialmente cuando estos son producidos con fondos públicos [@bueno_what_2017]. Cabe destacar que Chile gasta aproximadamente $668.551 MM de pesos en investigaciones científicas, lo cual equivale a un 0,35% del producto interno bruto.
- + La apertura de los datos fomenta la ética investigativa y la confiabilidad, reduce el fraude y aumenta el valor de la sociología para los políticos y el público [@breznau_future_2019].
+ + La apertura de los datos fomenta la ética investigativa y la confiabilidad, reduce el fraude y aumenta el valor de las ciencias sociales para los políticos y el público en general [@breznau_future_2019].
* Calidad y eficiencia científica:
+ Dejar la base de datos a libre disposición permite hacer evaluaciones sobre la rigurosidad de los resultados mediante la reproducibilidad, mejorando la calidad y la confianza en la ciencia [@unesco_que_2020].
- + Fomenta que más investigadores utilicen los datos y produzcan información (Whyte y Pryor, 2011), aumentando la colaboración y con ello la innovación científica, según señala el Foro Abierto de Ciencias Latinoamérica y el Caribe CILIAC [@ramirez_ciencia_2019].
+ + Fomenta que más investigadores utilicen los datos y produzcan información [@whyte_open_2011], aumentando la colaboración y con ello la innovación científica, según señala el Foro Abierto de Ciencias Latinoamérica y el Caribe CILIAC [@ramirez_ciencia_2019].
+ Considerando que los recursos públicos asignados a investigación son escasos, la apertura de las bases de datos permite su reutilización y por ello ahorra recursos en la construcción de bases de datos, fomentando la eficiencia fiscal [@gomez_datos_2016].
@@ -25,23 +25,23 @@ Las ventajas de la apertura de datos son varias. A continuación nos centramos e
+ Publicar los datos de la investigación fomenta un mayor impacto y visibilidad. Como señala la evidencia producida por @piwowar_data_2013 una investigación que comparte sus datos puede ser citada un 30% más que una que no lo hace.
- + Compartir el diseño de investigación, las hipótesis y los datos puede fomentar comentarios constructivos respecto a la dirección de la investigación, ayudando a mejorar la calidad del material [@sharan_ten_2020].
+ + Compartir el diseño de investigación, las hipótesis y los datos puede fomentar comentarios constructivos por parte de otros/as investigadores, respecto a la dirección de la investigación, ayudando a mejorar la calidad de la publicación final [@sharan_ten_2020] y con ello, mejorar también la visibilidad e impacto de la investigación.
Pese a las ventajas otorgadas por la apertura de la información producida, los investigadores poseen reticencias a la hora de publicar abiertamente "sus" datos [@ferguson_how_2014]. Estas reticencias de los investigadores, según @sharan_ten_2020, pueden ser consideradas más bien mitos, los cuales se sustentan en prenociones que no corresponden a la realidad. A continuación, se destacan algunos de estos mitos y las razones de por qué podemos considerarlos como tal.
-**"Preocupación a las consecuencias negativas" (mal uso, consecuencias legales o comerciales).**
+**Mito 1: "Preocupación a las consecuencias negativas" (mal uso, consecuencias legales o comerciales).**
En parte este problema se soluciona mediante el uso adecuado de licencias, las cuales pueden restringir el uso para ciertos fines. Además, para disminuir el posible mal uso, la preparación de datos incluye hacer anónimos los datos. Respecto a las consecuencias legales, hay que considerar que en general estas investigaciones son financiadas con fondos públicos o por instituciones humanitarias, los cuales en el contexto actual fomentan en general la apertura de los datos.
-**Temor a la falta del reconocimiento debido de su trabajo.**
+**Mito 2: Temor a la falta del reconocimiento debido de su trabajo.**
Como señalamos anteriormente, lejos de quitarle merito a su trabajo y disminuir su reconocimiento, el preparar y publicar los datos de modo adecuado puede ayudar a difundir la investigación y aumentar el número de citas. Además, usted también puede nutrirse de las investigaciones sobre sus datos.
-**Disgusto frente a la carga de trabajo que implica preparar los datos para su publicación.**
+**Mito 3: Disgusto frente a la carga de trabajo que implica preparar los datos para su publicación.**
Sin duda esta es una aprensión comprensible, no obstante, cada vez existen más herramientas que facilitan la labor de la preparación de datos cualitativos y cuantitativos. Por ejemplo, este documento le ayudará a disminuir dicha carga. Además, hay que considerar que si bien aumenta la carga de trabajo actual, disminuye la futura en tanto la buena documentación de los datos también le permitirán a usted volver a trabajar con ellos en el futuro o con datos de otra investigación.
-**Desconocimiento de cómo y dónde compartir los datos.**
+**Mito 4: Desconocimiento de cómo y dónde compartir los datos.**
Esta razón, igual de comprensible, es parte de una cultura académica poco acostumbrada al trabajo colaborativo. Por ello, debemos aprender sobre plataformas que faciliten compartir nuestros datos de investigación. Para ello, este trabajo ofrece una guía para preparar los datos y sobre como subirlos a la plataforma de ciencia abierta Open Science Framework.
diff --git a/03c-consejos.Rmd b/03c-consejos.Rmd
index 073d73d..7ff7556 100644
--- a/03c-consejos.Rmd
+++ b/03c-consejos.Rmd
@@ -35,20 +35,21 @@ Para resguardar la calidad de nuestros datos debemos asegurar una correcta **cod
**Errores de codificación**
-Verifique cuidadosamente la coherencia entre las respuestas del cuestionario y los valores en la base de datos para el primer 5 a 10 por ciento de los registros de datos creados y luego elija registros aleatorios para controles de calidad. Posteriormente, puede realizar análisis descriptivos de distribución para evaluar si existen valores atípicos atribuibles a errores de codificación (por ejemplo 66 en la variable hijos en vez de 6). El uso de computadores y programas de encuesta y codificación puede ayudar a disminuir estos errores.
+Verifique cuidadosamente la coherencia entre las respuestas del cuestionario y los valores en la base de datos para el primer 5 a 10 por ciento de los registros de datos creados y luego elija registros aleatorios para controles de calidad. Posteriormente, puede realizar análisis descriptivos de distribución para evaluar si existen valores atípicos atribuibles a errores de codificación (por ejemplo 66 en la variable hijos en vez de 6). El uso de computadores y programas de encuesta y codificación puede ayudar a disminuir estos errores. Algunos de los serivicios recomendados son Qualtrics o SurveyMonkey, entre otros.
**Recodificación automática**
-Deje que la computadora realice codificaciones y rectificaciones complejas si es posible. Por ejemplo, para crear una serie de variables que describen la estructura familiar, escriba un código de computadora para realizar la tarea.
+Al recodificar la fuente original de datos (sin procesar), es recomendable dejar que la computadora realice codificaciones y rectificaciones complejas. Por ejemplo, para crear una serie de variables que describen la estructura familiar, escriba un código de computadora para realizar la tarea.
+
Los códigos de computadora no solo son precisos si las instrucciones son precisas, sino que también se puede cambiar fácilmente para corregir un error lógico o de programación. Incluya en la documentación los códigos utilizados para la recodificación.
**Consistencia**
-Evalué la coherencia entre las variables, identificando a quienes poseen combinaciones incoherentes. Por ejemplo, si alguien señala que su hijo no asiste a la escuela y luego responde preguntas sobre la escuela.
+Evalúe la coherencia entre las variables, identificando a quienes poseen combinaciones incoherentes. Por ejemplo, si alguien señala que su hijo no asiste a la escuela y luego responde preguntas sobre la escuela. Esto también es posible de realizar a través de filtros en un cuestionario bien diseñado.
**Identificadores individuales y grupales**
-Proporcione variables identificadoras suficientes. Es fundamental que cada sujeto posea un id, además si la encuesta es longitudinal se puede proporcionar, junto al id de encuestado, un id por cada ocasión que contesta la encuesta. Otros identificadores dependen del tema del estudio, por ejemplo, si se trabaja con escuelas, verifique que cada escuela tiene un identificador id-escuela. Si trabaja con encuestados de modo tal que dos o más son de la misma familia y cada encuestado corresponde a un núcleo familiar, indique un id para familia.
+Proporcione variables identificadoras suficientes. Es fundamental que cada sujeto posea un identificador único. Además, si la encuesta es longitudinal, se puede proporcionar junto al identificador de encuestado, un identificador por cada ocasión que contesta la encuesta. Otros identificadores dependen del tema del estudio, por ejemplo, si se trabaja con escuelas, verifique que cada escuela tiene un identificador id-escuela. Si trabaja con encuestados de modo tal que dos o más son de la misma familia y cada encuestado corresponde a un núcleo familiar, indique un único identificador para cada familia.
**Nombres de Variables**
@@ -56,13 +57,13 @@ El nombre de la variable será con lo que más se trabajará con los datos, por
Existen distintos estándares para elegir los nombres de las variables.
-1. El primero consiste en asignar un numero único anteponiendo una V de modo tal que, siendo n el número de variables, las variables se nombran como Vn según su posición (p ej. V0001, v0002,...Vn). Se antepone la V por que los softwares en general no permiten nombres de variables con solo caracteres números.
+1. El primero consiste en asignar un numero único anteponiendo una V de modo tal que, siendo n el número de variables, las variables se nombran como *Vn* según su posición (p ej. V0001, v0002,...Vn). Se antepone la V por que los softwares en general no permiten nombres de variables con solo caracteres numéricos.
2. El segundo modo utiliza letras y números para agrupar las variables según escalas o temas (por ejemplo Q1,Q2a,Q2b), si bien es un sistema que entrega más información, no informa sobre el contenido.
3. El tercero consiste en utilizar abreviaturas mnemotécnicas, es decir, nombres cortos de variables que representan el significado sustantivo de las variables facilitando su memorización y comprensión. Por ejemplo _educpadr_ como "Educación del Padre". Este tipo de nombres podrían ayudar a disminuir los errores en los análisis producidos por agregar una variable incorrecta en el código. El problema es que con la limitación de caracteres de los softwares es difícil generar abreviaturas arbitrarias que sean ampliamente reconocibles por un público diverso.
-4. El cuarto consiste en Abreviaciones compartidas y registradas. Un sistema de raíces y sufijos. Por ejemplo, todas las variables que tienen que ver con la educación pueden tener la raíz ED, y podría expresarse "Educación del Padre" como FAED, siendo esta nomenclatura previamente documentada. Esto implica una planificación previa y capacidad de organización para compartir las abreviaturas, así como herramientas para facilitar el encontrar las abreviaturas correctas en la biblioteca o documento de sufijos y prefijos.
+4. El cuarto consiste en abreviaciones compartidas y registradas. Un sistema de raíces y sufijos. Por ejemplo, todas las variables que tienen que ver con la educación pueden tener la raíz ED, y podría expresarse "Educación del Padre" como FAED, siendo esta nomenclatura previamente documentada. Esto implica una planificación previa y capacidad de organización para compartir las abreviaturas, así como herramientas para facilitar el encontrar las abreviaturas correctas en la biblioteca o documento de sufijos y prefijos.
En consideración de estas opciones expuestas por ICPSR, se recomienda utilizar la tercera, puesto que cumple con la cualidad de la primera y la segunda de identificar las variables de modo único, a la vez que cumple con el criterio de hacer más comprensible y fácil de recordar.
@@ -81,13 +82,15 @@ Junto a lo señalado por ICPSR, consideramos que al crear un nombre de la variab
+ No utilizar la letra ñ, remplazarlo por gn (agnos, en vez de años)
++ No utilizar palabras con tildes (tipo á; ü)
+
+ Remplazando espacios por guion bajo. (edad_rec)
**Etiquetas de variables**
-las variables deben ser correctamente etiquetadas. Las etiquetas deben partir con el número del ítem en el cuestionario para poder asociarlo. Luego debe darse información sobre el contenido de la variable o ingresar directamente la pregunta realizada al encuestado.
+Las variables deben ser correctamente etiquetadas. Las etiquetas deben partir con el número del ítem en el cuestionario para poder asociarlo. Luego debe darse información sobre el contenido de la variable o ingresar directamente la pregunta realizada al encuestado.
Considerando las limitaciones de caracteres de los softwares, en base a manuales universitarios de SPSS y STATA, se sugiere que las etiquetas de las variables no superen los 120 caracteres.
@@ -95,21 +98,21 @@ Considerando las limitaciones de caracteres de los softwares, en base a manuales
**Codificación**
-+ Variables de identificación. Proporcione campos al comienzo de cada registro para acomodar todas las variables de identificación. Las variables de identificación a menudo incluyen un número de estudio único y un número de encuestado para representar cada caso.
++ **Variables de identificación**. Proporcione campos al comienzo de cada registro para acomodar todas las variables de identificación. Las variables de identificación a menudo incluyen un número de estudio único y un número de encuestado para representar cada caso.
-+ Categorías de código. Las categorías de códigos deben ser mutuamente excluyentes, exhaustivas y estar definidas con precisión. Cada respuesta de la entrevista debe encajar en una y solo una categoría. La ambigüedad provocará dificultades de codificación y problemas con la interpretación de los datos.
++ **Categorías de código**. Las categorías de códigos deben ser mutuamente excluyentes, exhaustivas y estar definidas con precisión. Cada respuesta de la entrevista debe encajar en una y solo una categoría. La ambigüedad provocará dificultades de codificación y problemas con la interpretación de los datos.
-+ Conservación de la información original. Codifique tantos detalles como sea posible. Registrar datos originales, como edad e ingresos, es más útil que colapsar o poner entre corchetes la información. Con datos originales o detallados, los analistas secundarios pueden determinar otros paréntesis significativos por sí mismos en lugar de limitarse a los elegidos por otros.
++ **Conservación de la información original**. Codifique tantos detalles como sea posible. Registrar datos originales, como edad e ingresos, es más útil que colapsar o poner entre corchetes la información. Con datos originales o detallados, los analistas secundarios pueden determinar otros paréntesis significativos por sí mismos en lugar de limitarse a los elegidos por otros.
-+ Preguntas cerradas. Las respuestas a las preguntas de la encuesta que están precodificadas en el cuestionario deben conservar este esquema de codificación en los datos legibles por máquina para evitar errores y confusiones.
++ **Preguntas cerradas**. Las respuestas a las preguntas de la encuesta que están precodificadas en el cuestionario deben conservar este esquema de codificación en los datos legibles por máquina para evitar errores y confusiones.
-+ Preguntas de final abierto. Para los ítems abiertos, los investigadores pueden usar un esquema de codificación predeterminado o revisar las respuestas iniciales de la encuesta para construir un esquema de codificación basado en las categorías principales que surgen. Cualquier esquema de codificación y su derivación deben informarse en la documentación del estudio.
++ **Preguntas de final abierto**. Para los ítems abiertos, los investigadores pueden usar un esquema de codificación predeterminado o revisar las respuestas iniciales de la encuesta para construir un esquema de codificación basado en las categorías principales que surgen. Cualquier esquema de codificación y su derivación deben informarse en la documentación del estudio.
-+ Respuestas codificadas por el usuario. Cada vez más, los investigadores envían el texto completo de las respuestas a las preguntas abiertas a los archivos para que los usuarios puedan codificar estas respuestas ellos mismos. Debido a que dichas respuestas pueden contener información confidencial, deben ser revisadas por riesgo de divulgación y, si es necesario, tratadas por archivos antes de su publicación.
++ **Respuestas codificadas por el usuario**. Cada vez más, los investigadores envían el texto completo de las respuestas a las preguntas abiertas a los archivos para que los usuarios puedan codificar estas respuestas ellos mismos. Debido a que dichas respuestas pueden contener información confidencial, deben ser revisadas por riesgo de divulgación y, si es necesario, tratadas por archivos antes de su publicación.
-+ Comprobar codificación. Es una buena idea verificar el código de algunos casos durante el proceso de codificación, es decir, repetir el proceso con un codificador independiente. Por ejemplo, si se asigna más de un código a la respuesta de una entrevista, esto resalta problemas o ambigüedades en el esquema de codificación. Esta codificación de verificación proporciona un medio importante de control de calidad en el proceso de codificación.
++ **Comprobar codificación**. Es una buena idea verificar el código de algunos casos durante el proceso de codificación, es decir, repetir el proceso con un codificador independiente. Por ejemplo, si se asigna más de un código a la respuesta de una entrevista, esto resalta problemas o ambigüedades en el esquema de codificación. Esta codificación de verificación proporciona un medio importante de control de calidad en el proceso de codificación.
-+ Serie de respuestas. Si una serie de respuestas requiere más de un campo, organizar las respuestas en clasificaciones importantes significativas es útil. Respuestas dentro de cada especialidad o categoría se les asigna el mismo primer dígito. Los dígitos secundarios pueden distinguir respuestas específicas dentro de las categorías principales. Tal esquema de codificación permite el análisis de los datos utilizando agrupaciones amplias o categorías más detalladas.
++ **Serie de respuestas**. Si una serie de respuestas requiere más de un campo, organizar las respuestas en clasificaciones importantes significativas es útil. Respuestas dentro de cada especialidad o categoría se les asigna el mismo primer dígito. Los dígitos secundarios pueden distinguir respuestas específicas dentro de las categorías principales. Tal esquema de codificación permite el análisis de los datos utilizando agrupaciones amplias o categorías más detalladas.
**Identificar Casos perdidos**
@@ -128,7 +131,7 @@ ICPSR no establece un modo determinado de identificar los casos perdidos, aunque
* Datos no disponibles. La pregunta debería haberse formulado al encuestado, pero por otro motivo distinto de los enumerados anteriormente, no se dio ni registró ninguna respuesta.
-Considerando las ventajas y desventajas de las distintas formas de codificación se sugiere a título personal utilizar valores perdidos con valores altos en negativo de modo tal que sean estándar para todas las variables y no sean confundible con los valores posibles de dichas variables. Se propone utilizar los siguientes valores perdidos, usando numéricos o caracteres según corresponda.
+Considerando las ventajas y desventajas de las distintas formas de codificación se sugiere utilizar valores perdidos con valores altos en negativo de modo tal que sean estándar para todas las variables y no sean confundible con los valores posibles de dichas variables. Se propone utilizar los siguientes valores perdidos, usando numéricos o caracteres según corresponda.
| Código de texto | Código numérico |
@@ -164,11 +167,11 @@ El readme es un documento que debe responder las siguientes preguntas sobre la p
- Cómo se recopiló
-Para crear este documento se suele utilizar el formato y lenguaje Markdowm de extensión .md. Este formato posee la ventaja de no ser un formato propietario que permite incluir de modo sencillo distintos elementos útiles como enlaces, imágenes y tablas. Le recomendamos realizar la escritura en este formato. Para ello se puede escribir el documento en RStudio señalando como extensión .md o para quienes no manejen el software, pueden crear el documento en la página [Dillinger](https://dillinger.io/).
+Para crear este documento se suele utilizar el formato y lenguaje Markdown de extensión .md. Este formato posee la ventaja de no ser un formato propietario que permite incluir de modo sencillo distintos elementos útiles como enlaces, imágenes y tablas. Le recomendamos realizar la escritura en este formato. Para ello se puede escribir el documento en RStudio señalando como extensión .md o para quienes no manejen el software, pueden crear el documento en la página [Dillinger](https://dillinger.io/).
**Licencia**
-La licencia se puede crear fácilmente al publicar los datos en OSF. En la siguiente sección se señala cómo hacerlo.
+La licencia se puede crear fácilmente al publicar los datos en el Open Science Framework. En la siguiente sección se señala cómo hacerlo.
**Metadatos**
@@ -217,15 +220,14 @@ Para publicar datos cualitativos se sugiere documentar la siguiente información
**OSF y plataformas para publicar datos**
-La plataforma web Open Science Framework (OSF) ofrece gratuitamente servicios de infraestructura digital que permite un espacio de registro para las distintas etapas de un proyecto de investigación. Actualmente existen otras plataformas con objetivos similares como Zenovo, Dataverse, GitHub, Mendeley, Figshare, Dryad o ICPSR, y si bien todas son buenas herramientas, se remienda utilizar OSF por diversos motivos señalados por @kryvokhyzha_best_2019 y un documento informativo de la Librería de Universidades de la Universidad de OKLAHOMA [-@universitarias_make_2020]. En primer lugar, a diferencia de Dryad, OSF es una plataforma gratuita, con mejor estructura de repositorios y con posibilidades de corregir errores. En segundo lugar, Figshare tiene la capacidad de estructurar los repositorios en distintos componentes, pero no está optimizado para descargar muchos archivos a la vez y, además es una empresa con fines de lucro. Por su parte OSF, permite estructurar de diversos modos los repositorios, esta optimizado para descargas y es una organización sin fines de lucro que es financiada por el Centro para la Ciencia Abierta [cos](https://www.cos.io/) con recursos para 50 años más. En tercer lugar, a diferencia de Zenovo y GitHub, OSF si cuenta con estadísticas de descarga que nos permiten evaluar la visibilidad de los datos. En último lugar, GitHub si bien es una alternativa que ha sido utilizada para este fin, en realidad más que una plataforma para subir datos es una plataforma para crear códigos de forma colaborativa, usualmente de aplicaciones, además no nos permite crear de modo automático un DOI, lo cual es fundamental para cumplir con los principios FAIR.
+La plataforma web Open Science Framework (OSF) ofrece gratuitamente servicios de infraestructura digital que permite un espacio de registro para las distintas etapas de un proyecto de investigación. Actualmente existen otras plataformas con objetivos similares como Zenodo, Dataverse, GitHub, Mendeley, Figshare, Dryad o ICPSR, y si bien todas son buenas herramientas, se remienda utilizar OSF por diversos motivos señalados por @kryvokhyzha_best_2019 y un documento informativo de la Librería de Universidades de la Universidad de OKLAHOMA [-@universitarias_make_2020]. En primer lugar, a diferencia de Dryad, OSF es una plataforma gratuita, con mejor estructura de repositorios y con posibilidades de corregir errores. En segundo lugar, Figshare tiene la capacidad de estructurar los repositorios en distintos componentes, pero no está optimizado para descargar muchos archivos a la vez y, además es una empresa con fines de lucro. Por su parte OSF, permite estructurar de diversos modos los repositorios, esta optimizado para descargas y es una organización sin fines de lucro que es financiada por el Centro para la Ciencia Abierta [(cos)](https://www.cos.io/) con recursos para 50 años más. En tercer lugar, a diferencia de Zenodo y GitHub, OSF si cuenta con estadísticas de descarga que nos permiten evaluar la visibilidad de los datos. En último lugar, GitHub si bien es una alternativa que ha sido utilizada para este fin, en realidad más que una plataforma para subir datos es una plataforma para crear códigos de forma colaborativa, usualmente de aplicaciones, además no nos permite crear de modo automático un DOI, lo cual es fundamental para cumplir con los principios FAIR.
No obstante, si el equipo investigador lo considera conveniente podría subir sus datos a múltiples plataformas. En esta línea, además de OSF, recomendamos almacenar los datos paralelamente en [OpenICPSR](https://www.openicpsr.org/openicpsr/workspace?path=openICPSR) puesto que esto permitirá conectar nuestros datos con el buscador de ICPSR, el cual tiene amplia visibilidad dentro del campo de las ciencias sociales a nivel internacional.
+En esta página, un usuario puede crear un repositorio denominado proyecto, que puede contener, al mismo tiempo, componentes que pueden ser investigaciones o datos específicos dentro del proyecto. Se pueden crear más componentes de estos tipos de los componentes del proyecto. Esta estructura permite almacenar conjuntamente algunos trabajos relacionados.
-Un usuario de esta página puede crear un repositorio denominado proyecto, el cual puede contener a su vez componentes que pueden ser investigaciones o datos específicos dentro del proyecto. Se pueden crear más componentes de estos tipos dentro de los componentes del proyecto. Esta estructura permite almacenar conjuntamente trabajos relacionados.
-
-La página promueve que se registren productos de la investigación de las distintas etapas del proceso. En primer lugar, posee un espacio para los "pre-registros" que son un documento en el cual se expone brevemente el diseño de la investigación, las hipótesis y la metodología, lo cual aumenta la rigurosidad de las investigaciones.
+La plataforma promueve que se registren productos de la investigación de las distintas etapas del proceso. En primer lugar, posee un espacio para los "pre-registros" que son un documento en el cual se expone brevemente el diseño de la investigación, las hipótesis y la metodología, lo cual aumenta la rigurosidad de las investigaciones.
Ambas evaluaciones de OSF señalan que un problema es el límite de almacenamiento de solo 5gb por archivo. Este límite ha sido modificado el 5 de noviembre del 2020, agregando un límite de 5gb a los proyectos que estén privados y 50gb a los públicos. No obstante, el problema del espacio se puede resolver conectando OSF con otros servicios de almacenamiento con mayor capacidad.
@@ -236,12 +238,10 @@ __Paso 1__
Para crear los metadatos de forma muy sencilla se puede utilizar un archivo csv, que se puede editar con el programa Excel o cualquier Hoja de cálculo. A continuación, entregamos un link para descargar un csv con los campos para rellenar los metadatos, cumpliendo con los campos utilizados por Dataverse Harvard y los "Social Science and Humanities Metadata" de ICPSR.
-Para crear los metadatos usted solo debe escribir en las casillas de abajo de las categorías, la respuesta para cada uno de los campos, señalando el identificador, el Título de los datos, los autores, entre otros. Es necesario que rellene los campos en inglés. Con una traducción simple de [Google Traductor](https://translate.google.com/) o [Deepl](https://www.deepl.com/es/translator) es suficiente.
+Para crear los metadatos usted solo debe escribir en las casillas de abajo de las categorías, la respuesta para cada uno de los campos, señalando el identificador, el Título de los datos, los autores, entre otros. Es necesario que rellene los campos en inglés. Con una traducción simple de [Google Traductor](https://translate.google.com/) o [DeepL](https://www.deepl.com/es/translator) es suficiente.
Para descargar el archivo csv editable en Excel seleccione [Descargar Metadata.cvs](https://raw.githubusercontent.com/franciscomeneses/CADIS/master/metadata.csv). Si no le ofrece directamente abrirlo con Excel, puede apretar click derecho sobre el archivo, seleccionar "Abrir con", luego Excel, si no aparece seleccionamos "Elegir otra aplicación", "Más aplicaciones" y luego Excel.
-A continuación, le presentamos una tabla con cada uno de los campos que debe llenar y con qué debe rellenarlos. Después de agregar la información a los metadatos solo guarde el documento desde Excel, y este se guardará automáticamente en csv delimitado por Semi-coma (;) en codificación UTF-8 (Que permite incorporar comas a los metadatos)
-
Cabe destacar que, para el primer campo correspondiente al Identificador, antes del código entregado por OSF debe estar escrito https://doi.org/ como se muestra en el documento descargado. Esto es para cumplir con los estándares FAIR.
__Paso 2__
diff --git a/03d-estandares.Rmd b/03d-estandares.Rmd
index a7f3c5d..7a92e68 100644
--- a/03d-estandares.Rmd
+++ b/03d-estandares.Rmd
@@ -262,7 +262,7 @@ El segundo documento, escrito el 2014, se denomina "Datos Científicos Abiertos
* Utilizar repositorios interoperables: Para facilitar la recopilación automática de datos y el uso de estos desde distintos Software, se recomienda poseer buenos metadatos siguiendo los parámetros de interoperabilidad de [Dublin Core](http://dublincore.org/). Los metadatos son “los datos sobre los datos” es decir aquella información que nos permite saber a qué corresponde la base de datos, quienes y cuando la crearon entre otras informaciones relevantes. Esta página propone una decena de metadatos indispensables para la interoperabilidad (Ej. creador, colaborador, editor, título, fecha, idioma, formato, tema, descripción, identificador, relación, fuente, tipo, cobertura y derechos, entre otros) [@dublin-core_dublin_2020]. Si bien esta publicación no da cuenta de que metadatos debe ser específicamente utilizado a partir de la información anterior producida por lisa podemos decir que es beneficioso utilizar el conjunto de metadatos para social-science que es un conjunto bastante parsimonioso de información.
-**CEP**
+**Centro de estudios públicos (CEP)**
El Centro de Estudios públicos produce constantemente encuestas de opinión publica, con bastante contenido electoral. Esta es una de las bases de datos más conocidas en el campo de la sociología de Chile. Y en el último tiempo mejoro su plataforma de almacenamiento.
diff --git a/06-conclusion.Rmd b/06-conclusion.Rmd
new file mode 100644
index 0000000..3799557
--- /dev/null
+++ b/06-conclusion.Rmd
@@ -0,0 +1,11 @@
+# Conclusión
+
+Este libro se plantea como objetivo resaltar los principales elementos que revisten de importancia a la Ciencia Abierta y, a partir de ello, se pretende constituir como una guía para los científicos sociales que quieran suscribirse bajo los principios de la Ciencia Social Abierta. Los cuatro principios que guían este libro se posicionan como las prácticas y experiencias de mayor relevancia para superar la crisis de la ciencia actual [@breznau_does_2021], donde el conocimiento científico es menos confiable producto de prácticas antiéticas en el proceso de investigación.
+
+A lo largo de este libro se han señalado las principales herramientas que permitirán posicionar su investigación dentro de los márgenes de la Ciencia Abierta, como los **preregistros**, **preprints**, el uso de software libres, estándares de calidad para publicación de los datos de la investigación, entre otros. En suma, estas herramientas permiten que su investigación adquiera un estándar mínimo de calidad, robustez y confianza, siempre en miras de lograr una mayor transparencia del diseño de investigación, una correcta apertura de los datos recopilados, un proceso de análisis que sea reproducible y una publicación de hallazgos y resultados que esté abierta a la comunidad científica y al público en general.
+
+Se hace necesario avanzar en una mayor divulgación de estas prácticas y herramientas para así lograr hacer de ellas una experiencia cotidiana dentro de la investigación en las Ciencias Sociales empíricas. De esta forma, se podrán elaborar investigaciones más confiables que erradiquen las prácticas antiéticas a lo largo de todo el proceso de investigación.
+
+Finalmente, nuestra aspiración es que este trabajo quede abierto y expuesto a la crítica, comentarios y propuestas. Por esta razón es que, si bien no se ha seguido un proceso de investigación con un diseño de investigación, recopilación de datos y análisis de resultados, el texto que constituye a este libro se encuentra en un repositorio público (https://github.com/lisa-coes/lisa-book). De este modo, quien se interese por revisar, replicar o corregir lo que se expone en este libro podrá hacerlo con la mayor facilidad y transparencia posible.
+
+
diff --git a/docs/01-intro.md b/docs/01-intro.md
index f97dff1..9c185e8 100644
--- a/docs/01-intro.md
+++ b/docs/01-intro.md
@@ -1,6 +1,14 @@
# Introducción
-Este trabajo se trata de...
+El interés de realizar investigaciones científicas con base en la Ciencia Social Abierta ha ido aumentando en la última década. Distintos centros de investigaciones y organismos nacionales e internacionales han posicionado como un estándar mínimo de calidad, confianza y trasparencia que los(as) científicos sociales suscriban sus investigaciones bajo los principios de la Ciencia Abierta. En este libro se abordan los conceptos principales que explican de qué se trata la Ciencia Abierta, sin embargo, el objetivo final es convertirse en una guía para los(as) investigadores de las Ciencias Sociales. A partir de la revisión de los principios a los que suscriben los principales organismos internacionales y de las principales herramientas utilizadas para cumplir con este propósito es que este libro permite consolidar las experiencias actuales para transformarlas en una serie de recomendaciones que les permitan a los(as) investigadores de las Ciencias Sociales empíricas suscribirse bajo los estándares de la Ciencia Social Abierta. Este libro se guía bajo cuatro principios clave de la Ciencia Abierta y que constituyen cada uno de los capítulos tratados a continuación: 1) Transparencia; 2) Apertura de datos; 3) Reproducibilidad y 4) Publicaciones libres.
+
+En el primer capítulo se aborda uno de los principales estándares que guían este tipo de investigaciones y que tiene que ver con la transparencia. En este libro, transparencia se asocia con la apertura pública del diseño de investigación, lo que refiere a la práctica científica de abrir al público todo tipo de información que sea relevante en la ejecución del estudio, desde las hipótesis hasta el plan de análisis. Así, quienes lean los hallazgos de la investigación (tanto científicos como el público en general) podrán evaluar la credibilidad de estos y descartar la influencia de prácticas cuestionables de investigación.
+
+En el segundo capítulo se aborda un elemento clave para fomentar la colaboración en las investigaciones de las Ciencias Sociales. La publicación de los datos de investigación (open data) se suscribe como un estándar de calidad internacional que permite contribuir a que los(as) investigadores se centren en la investigación y creación de hallazgos relevantes, antes que en la producción de datos. Más aún, se señala la importancia de publicar los datos de investigación cumpliendo con estándares internacionales sobre los datos y la documentación, de modo tal que cualquier investigador sea capaz de reutilizar los datos sin la necesidad de contactarse con el equipo que los produjo y con la información suficiente para reconocer o citar el aporte del equipo productor de los datos.
+
+En el tercer capítulo se aborda la discusión existente sobre la reproducibilidad y replicabilidad de una investigación, poniendo el principal foco en la reproducibilidad de los resultados de investigación. Reproducibilidad refiere a una publicación detallada de la documentación, código y datos que permitan obtener los mismos resultados publicados por los autores, enfatizando que los análisis sean transparentes y claros con el objetivo de ser verificados por sus pares. En el escenario actual, la falta de reproducibilidad de los resultados afecta la robustez y credibilidad de la evidencia reportada por las investigaciones, principalmente por la falta de precisión en los procedimientos y las barreras de acceso a materiales clave del proceso de análisis [@freese_Replication_2017].
+
+Finalmente, el cuarto capítulo está enfocado en la parte final de una investigación y se centra en el proceso de divulgación científica. Para este propósito se abordan dos puntos clave. Por un lado, se aborda la idea de propiedad intelectual junto a los elementos centrales de la producción científica y el resguardo legal que poseen los(as) autores sobre sus investigaciones. Por otro lado, se aborda el movimiento del Open Access (OA), que tiene por objetivo promover el acceso libre a la producción de conocimiento científico digital y hacer uso de él sin restricciones de *copyright*, instalando la posibilidad de que cualquier persona pueda reutilizar la información de la investigación en cuanto a datos, procesos y resultados.
diff --git a/docs/02d-anexos.md b/docs/02d-anexos.md
index 680c27c..432ea98 100644
--- a/docs/02d-anexos.md
+++ b/docs/02d-anexos.md
@@ -10,127 +10,127 @@
-
Diseño y procesamiento
+
Diseño y procesamiento
Ignorar ciertos aspectos de los requerimientos de las personas participantes.
-
+
Diseño y procesamiento
Pasar por alto el uso de datos cuestionables o de interpretaciones cuestionables que otros hacen.
-
+
Diseño y procesamiento
Cambiar partes de un estudio como respuesta a la presión de una fuente de financiación
-
+
Diseño y procesamiento
Eliminar observaciones de los análisis basados en la intuición de que eran inexactos.
-
+
Diseño y procesamiento
Redondear un valor p (por ejemplo, reportar que un p-value de 0,054 es menor a 0,05)
-
+
Diseño y procesamiento
Eliminación, adición o alteración de datos después de pruebas de hipótesis.
-
+
Diseño y procesamiento
Supresión selectiva o adición de variables.
-
+
Diseño y procesamiento
Invertir la dirección o reformular hipótesis para respaldar los datos
-
Redacción, reporte y publicación
+
Redacción, reporte y publicación
Ampliar de manera innecesaria la bibliografía de un estudio.
-
+
Redacción, reporte y publicación
Tergiversar los logros de la investigación.
-
+
Redacción, reporte y publicación
Exagerar la importancia y la relevancia práctica de los resultados.
-
+
Redacción, reporte y publicación
Retener detalles de la metodología de investigación (e.g. no reportar todas las variables dependientes de un estudio)
-
+
Redacción, reporte y publicación
Retener resultados de la investigación (e.g. no presentar datos que contradicen una propia investigación previa).
-
+
Redacción, reporte y publicación
Establecer publicaciones o brindar apoyo a publicaciones que no cumplen el proceso de control de calidad de la investigación
-
+
Redacción, reporte y publicación
Publicar los mismos datos o resultados en dos o más publicaciones.
-
+
Redacción, reporte y publicación
Selectivamente reportar estudios que "funcionaron".
-
+
Redacción, reporte y publicación
Reportar hallazgos inesperados como previstos desde el principio.
-
+
Redacción, reporte y publicación
Afirmar que los resultados no se ven afectados por variables demográficas cuando uno no está realmente seguro (o sabe que lo hacen).
-
Citación y autoría
+
Citación y autoría
Manipular la autoría o denigrar el papel de otros investigadores en las publicaciones.
-
+
Citación y autoría
Asignar inapropiadamente los crédios de autoría.
-
+
Citación y autoría
Volver a publicar partes sustanciales de publicaciones propias anteriores, incluidas las traducciones, sin citar debidamente el original ("autoplagio").
-
+
Citación y autoría
Citar de forma selectiva para mejorar los propios resultados o para complacer a los editores, los revisores o los colegas.
-
+
Citación y autoría
Usar ideas de otros sin obtener permiso o dar crédito
-
+
Citación y autoría
Uso no autorizado de información confidencial en relación con la propia investigación.
-
Relaciones con otros
+
Relaciones con otros
Permitir que los patrocinadores pongan en peligro la independencia en el proceso de investigación con el fin de introducir sesgos.
-
+
Relaciones con otros
Acusar a un investigador de conducta indebida u otras infracciones de forma maliciosa.
-
+
Relaciones con otros
Retrasar u obstaculizar inadecuadamente el trabajo de otros investigadores.
-
+
Relaciones con otros
Emplear la experiencia profesional propia para alentar a que se incumpla la integridad de la investigación.
-
+
Relaciones con otros
Ignorar supuestos incumplimientos de la integridad de la investigación cometidos por terceros o encubrir reacciones inadecuadas a conductas indebidas.
-
+
Relaciones con otros
No divulgar adecuadamente la participación en empresas cuyos productos se basan en la investigación de uno.
-
+
Relaciones con otros
Relaciones con estudiantes, sujetos de investigación o clientes que pueden ser interpretadas como cuestionables.
diff --git a/docs/03b-ventajas.md b/docs/03b-ventajas.md
index d52dbde..627ba4b 100644
--- a/docs/03b-ventajas.md
+++ b/docs/03b-ventajas.md
@@ -3,17 +3,17 @@
Las ventajas de la apertura de datos son varias. A continuación nos centramos en los tres puntos que consideramos más relevantes: las características éticas, la contribución a la calidad y la eficiencia científica y otros incentivos personales importantes de considerar.
-* Ética:
+* **Ética**:
- + Es justo que el público general tenga acceso a los datos producidos especialmente cuando estos son producidos con fondos públicos [@bueno_what_2017]. Cabe destacar que Chile gasta aproximadamente $668.551 MM de pesos, lo cual equivale a un 0,35% del producto interno bruto.
+ + Es justo que el público general tenga acceso a los datos producidos, especialmente cuando estos son producidos con fondos públicos [@bueno_what_2017]. Cabe destacar que Chile gasta aproximadamente $668.551 MM de pesos en investigaciones científicas, lo cual equivale a un 0,35% del producto interno bruto.
- + La apertura de los datos fomenta la ética investigativa y la confiabilidad, reduce el fraude y aumenta el valor de la sociología para los políticos y el público [@breznau_future_2019].
+ + La apertura de los datos fomenta la ética investigativa y la confiabilidad, reduce el fraude y aumenta el valor de las ciencias sociales para los políticos y el público en general [@breznau_future_2019].
* Calidad y eficiencia científica:
+ Dejar la base de datos a libre disposición permite hacer evaluaciones sobre la rigurosidad de los resultados mediante la reproducibilidad, mejorando la calidad y la confianza en la ciencia [@unesco_que_2020].
- + Fomenta que más investigadores utilicen los datos y produzcan información (Whyte y Pryor, 2011), aumentando la colaboración y con ello la innovación científica, según señala el Foro Abierto de Ciencias Latinoamérica y el Caribe CILIAC [@ramirez_ciencia_2019].
+ + Fomenta que más investigadores utilicen los datos y produzcan información [@whyte_open_2011], aumentando la colaboración y con ello la innovación científica, según señala el Foro Abierto de Ciencias Latinoamérica y el Caribe CILIAC [@ramirez_ciencia_2019].
+ Considerando que los recursos públicos asignados a investigación son escasos, la apertura de las bases de datos permite su reutilización y por ello ahorra recursos en la construcción de bases de datos, fomentando la eficiencia fiscal [@gomez_datos_2016].
@@ -25,23 +25,23 @@ Las ventajas de la apertura de datos son varias. A continuación nos centramos e
+ Publicar los datos de la investigación fomenta un mayor impacto y visibilidad. Como señala la evidencia producida por @piwowar_data_2013 una investigación que comparte sus datos puede ser citada un 30% más que una que no lo hace.
- + Compartir el diseño de investigación, las hipótesis y los datos puede fomentar comentarios constructivos respecto a la dirección de la investigación, ayudando a mejorar la calidad del material [@sharan_ten_2020].
+ + Compartir el diseño de investigación, las hipótesis y los datos puede fomentar comentarios constructivos por parte de otros/as investigadores, respecto a la dirección de la investigación, ayudando a mejorar la calidad de la publicación final [@sharan_ten_2020] y con ello, mejorar también la visibilidad e impacto de la investigación.
Pese a las ventajas otorgadas por la apertura de la información producida, los investigadores poseen reticencias a la hora de publicar abiertamente "sus" datos [@ferguson_how_2014]. Estas reticencias de los investigadores, según @sharan_ten_2020, pueden ser consideradas más bien mitos, los cuales se sustentan en prenociones que no corresponden a la realidad. A continuación, se destacan algunos de estos mitos y las razones de por qué podemos considerarlos como tal.
-**"Preocupación a las consecuencias negativas" (mal uso, consecuencias legales o comerciales).**
+**Mito 1: "Preocupación a las consecuencias negativas" (mal uso, consecuencias legales o comerciales).**
En parte este problema se soluciona mediante el uso adecuado de licencias, las cuales pueden restringir el uso para ciertos fines. Además, para disminuir el posible mal uso, la preparación de datos incluye hacer anónimos los datos. Respecto a las consecuencias legales, hay que considerar que en general estas investigaciones son financiadas con fondos públicos o por instituciones humanitarias, los cuales en el contexto actual fomentan en general la apertura de los datos.
-**Temor a la falta del reconocimiento debido de su trabajo.**
+**Mito 2: Temor a la falta del reconocimiento debido de su trabajo.**
Como señalamos anteriormente, lejos de quitarle merito a su trabajo y disminuir su reconocimiento, el preparar y publicar los datos de modo adecuado puede ayudar a difundir la investigación y aumentar el número de citas. Además, usted también puede nutrirse de las investigaciones sobre sus datos.
-**Disgusto frente a la carga de trabajo que implica preparar los datos para su publicación.**
+**Mito 3: Disgusto frente a la carga de trabajo que implica preparar los datos para su publicación.**
Sin duda esta es una aprensión comprensible, no obstante, cada vez existen más herramientas que facilitan la labor de la preparación de datos cualitativos y cuantitativos. Por ejemplo, este documento le ayudará a disminuir dicha carga. Además, hay que considerar que si bien aumenta la carga de trabajo actual, disminuye la futura en tanto la buena documentación de los datos también le permitirán a usted volver a trabajar con ellos en el futuro o con datos de otra investigación.
-**Desconocimiento de cómo y dónde compartir los datos.**
+**Mito 4: Desconocimiento de cómo y dónde compartir los datos.**
Esta razón, igual de comprensible, es parte de una cultura académica poco acostumbrada al trabajo colaborativo. Por ello, debemos aprender sobre plataformas que faciliten compartir nuestros datos de investigación. Para ello, este trabajo ofrece una guía para preparar los datos y sobre como subirlos a la plataforma de ciencia abierta Open Science Framework.
diff --git a/docs/03c-consejos.md b/docs/03c-consejos.md
index e8cb2b6..be1668b 100644
--- a/docs/03c-consejos.md
+++ b/docs/03c-consejos.md
@@ -35,20 +35,21 @@ Para resguardar la calidad de nuestros datos debemos asegurar una correcta **cod
**Errores de codificación**
-Verifique cuidadosamente la coherencia entre las respuestas del cuestionario y los valores en la base de datos para el primer 5 a 10 por ciento de los registros de datos creados y luego elija registros aleatorios para controles de calidad. Posteriormente, puede realizar análisis descriptivos de distribución para evaluar si existen valores atípicos atribuibles a errores de codificación (por ejemplo 66 en la variable hijos en vez de 6). El uso de computadores y programas de encuesta y codificación puede ayudar a disminuir estos errores.
+Verifique cuidadosamente la coherencia entre las respuestas del cuestionario y los valores en la base de datos para el primer 5 a 10 por ciento de los registros de datos creados y luego elija registros aleatorios para controles de calidad. Posteriormente, puede realizar análisis descriptivos de distribución para evaluar si existen valores atípicos atribuibles a errores de codificación (por ejemplo 66 en la variable hijos en vez de 6). El uso de computadores y programas de encuesta y codificación puede ayudar a disminuir estos errores. Algunos de los serivicios recomendados son Qualtrics o SurveyMonkey, entre otros.
**Recodificación automática**
-Deje que la computadora realice codificaciones y rectificaciones complejas si es posible. Por ejemplo, para crear una serie de variables que describen la estructura familiar, escriba un código de computadora para realizar la tarea.
+Al recodificar la fuente original de datos (sin procesar), es recomendable dejar que la computadora realice codificaciones y rectificaciones complejas. Por ejemplo, para crear una serie de variables que describen la estructura familiar, escriba un código de computadora para realizar la tarea.
+
Los códigos de computadora no solo son precisos si las instrucciones son precisas, sino que también se puede cambiar fácilmente para corregir un error lógico o de programación. Incluya en la documentación los códigos utilizados para la recodificación.
**Consistencia**
-Evalué la coherencia entre las variables, identificando a quienes poseen combinaciones incoherentes. Por ejemplo, si alguien señala que su hijo no asiste a la escuela y luego responde preguntas sobre la escuela.
+Evalúe la coherencia entre las variables, identificando a quienes poseen combinaciones incoherentes. Por ejemplo, si alguien señala que su hijo no asiste a la escuela y luego responde preguntas sobre la escuela. Esto también es posible de realizar a través de filtros en un cuestionario bien diseñado.
**Identificadores individuales y grupales**
-Proporcione variables identificadoras suficientes. Es fundamental que cada sujeto posea un id, además si la encuesta es longitudinal se puede proporcionar, junto al id de encuestado, un id por cada ocasión que contesta la encuesta. Otros identificadores dependen del tema del estudio, por ejemplo, si se trabaja con escuelas, verifique que cada escuela tiene un identificador id-escuela. Si trabaja con encuestados de modo tal que dos o más son de la misma familia y cada encuestado corresponde a un núcleo familiar, indique un id para familia.
+Proporcione variables identificadoras suficientes. Es fundamental que cada sujeto posea un identificador único. Además, si la encuesta es longitudinal, se puede proporcionar junto al identificador de encuestado, un identificador por cada ocasión que contesta la encuesta. Otros identificadores dependen del tema del estudio, por ejemplo, si se trabaja con escuelas, verifique que cada escuela tiene un identificador id-escuela. Si trabaja con encuestados de modo tal que dos o más son de la misma familia y cada encuestado corresponde a un núcleo familiar, indique un único identificador para cada familia.
**Nombres de Variables**
@@ -56,13 +57,13 @@ El nombre de la variable será con lo que más se trabajará con los datos, por
Existen distintos estándares para elegir los nombres de las variables.
-1. El primero consiste en asignar un numero único anteponiendo una V de modo tal que, siendo n el número de variables, las variables se nombran como Vn según su posición (p ej. V0001, v0002,...Vn). Se antepone la V por que los softwares en general no permiten nombres de variables con solo caracteres números.
+1. El primero consiste en asignar un numero único anteponiendo una V de modo tal que, siendo n el número de variables, las variables se nombran como *Vn* según su posición (p ej. V0001, v0002,...Vn). Se antepone la V por que los softwares en general no permiten nombres de variables con solo caracteres numéricos.
2. El segundo modo utiliza letras y números para agrupar las variables según escalas o temas (por ejemplo Q1,Q2a,Q2b), si bien es un sistema que entrega más información, no informa sobre el contenido.
3. El tercero consiste en utilizar abreviaturas mnemotécnicas, es decir, nombres cortos de variables que representan el significado sustantivo de las variables facilitando su memorización y comprensión. Por ejemplo _educpadr_ como "Educación del Padre". Este tipo de nombres podrían ayudar a disminuir los errores en los análisis producidos por agregar una variable incorrecta en el código. El problema es que con la limitación de caracteres de los softwares es difícil generar abreviaturas arbitrarias que sean ampliamente reconocibles por un público diverso.
-4. El cuarto consiste en Abreviaciones compartidas y registradas. Un sistema de raíces y sufijos. Por ejemplo, todas las variables que tienen que ver con la educación pueden tener la raíz ED, y podría expresarse "Educación del Padre" como FAED, siendo esta nomenclatura previamente documentada. Esto implica una planificación previa y capacidad de organización para compartir las abreviaturas, así como herramientas para facilitar el encontrar las abreviaturas correctas en la biblioteca o documento de sufijos y prefijos.
+4. El cuarto consiste en abreviaciones compartidas y registradas. Un sistema de raíces y sufijos. Por ejemplo, todas las variables que tienen que ver con la educación pueden tener la raíz ED, y podría expresarse "Educación del Padre" como FAED, siendo esta nomenclatura previamente documentada. Esto implica una planificación previa y capacidad de organización para compartir las abreviaturas, así como herramientas para facilitar el encontrar las abreviaturas correctas en la biblioteca o documento de sufijos y prefijos.
En consideración de estas opciones expuestas por ICPSR, se recomienda utilizar la tercera, puesto que cumple con la cualidad de la primera y la segunda de identificar las variables de modo único, a la vez que cumple con el criterio de hacer más comprensible y fácil de recordar.
@@ -81,13 +82,15 @@ Junto a lo señalado por ICPSR, consideramos que al crear un nombre de la variab
+ No utilizar la letra ñ, remplazarlo por gn (agnos, en vez de años)
++ No utilizar palabras con tildes (tipo á; ü)
+
+ Remplazando espacios por guion bajo. (edad_rec)
**Etiquetas de variables**
-las variables deben ser correctamente etiquetadas. Las etiquetas deben partir con el número del ítem en el cuestionario para poder asociarlo. Luego debe darse información sobre el contenido de la variable o ingresar directamente la pregunta realizada al encuestado.
+Las variables deben ser correctamente etiquetadas. Las etiquetas deben partir con el número del ítem en el cuestionario para poder asociarlo. Luego debe darse información sobre el contenido de la variable o ingresar directamente la pregunta realizada al encuestado.
Considerando las limitaciones de caracteres de los softwares, en base a manuales universitarios de SPSS y STATA, se sugiere que las etiquetas de las variables no superen los 120 caracteres.
@@ -95,21 +98,21 @@ Considerando las limitaciones de caracteres de los softwares, en base a manuales
**Codificación**
-+ Variables de identificación. Proporcione campos al comienzo de cada registro para acomodar todas las variables de identificación. Las variables de identificación a menudo incluyen un número de estudio único y un número de encuestado para representar cada caso.
++ **Variables de identificación**. Proporcione campos al comienzo de cada registro para acomodar todas las variables de identificación. Las variables de identificación a menudo incluyen un número de estudio único y un número de encuestado para representar cada caso.
-+ Categorías de código. Las categorías de códigos deben ser mutuamente excluyentes, exhaustivas y estar definidas con precisión. Cada respuesta de la entrevista debe encajar en una y solo una categoría. La ambigüedad provocará dificultades de codificación y problemas con la interpretación de los datos.
++ **Categorías de código**. Las categorías de códigos deben ser mutuamente excluyentes, exhaustivas y estar definidas con precisión. Cada respuesta de la entrevista debe encajar en una y solo una categoría. La ambigüedad provocará dificultades de codificación y problemas con la interpretación de los datos.
-+ Conservación de la información original. Codifique tantos detalles como sea posible. Registrar datos originales, como edad e ingresos, es más útil que colapsar o poner entre corchetes la información. Con datos originales o detallados, los analistas secundarios pueden determinar otros paréntesis significativos por sí mismos en lugar de limitarse a los elegidos por otros.
++ **Conservación de la información original**. Codifique tantos detalles como sea posible. Registrar datos originales, como edad e ingresos, es más útil que colapsar o poner entre corchetes la información. Con datos originales o detallados, los analistas secundarios pueden determinar otros paréntesis significativos por sí mismos en lugar de limitarse a los elegidos por otros.
-+ Preguntas cerradas. Las respuestas a las preguntas de la encuesta que están precodificadas en el cuestionario deben conservar este esquema de codificación en los datos legibles por máquina para evitar errores y confusiones.
++ **Preguntas cerradas**. Las respuestas a las preguntas de la encuesta que están precodificadas en el cuestionario deben conservar este esquema de codificación en los datos legibles por máquina para evitar errores y confusiones.
-+ Preguntas de final abierto. Para los ítems abiertos, los investigadores pueden usar un esquema de codificación predeterminado o revisar las respuestas iniciales de la encuesta para construir un esquema de codificación basado en las categorías principales que surgen. Cualquier esquema de codificación y su derivación deben informarse en la documentación del estudio.
++ **Preguntas de final abierto**. Para los ítems abiertos, los investigadores pueden usar un esquema de codificación predeterminado o revisar las respuestas iniciales de la encuesta para construir un esquema de codificación basado en las categorías principales que surgen. Cualquier esquema de codificación y su derivación deben informarse en la documentación del estudio.
-+ Respuestas codificadas por el usuario. Cada vez más, los investigadores envían el texto completo de las respuestas a las preguntas abiertas a los archivos para que los usuarios puedan codificar estas respuestas ellos mismos. Debido a que dichas respuestas pueden contener información confidencial, deben ser revisadas por riesgo de divulgación y, si es necesario, tratadas por archivos antes de su publicación.
++ **Respuestas codificadas por el usuario**. Cada vez más, los investigadores envían el texto completo de las respuestas a las preguntas abiertas a los archivos para que los usuarios puedan codificar estas respuestas ellos mismos. Debido a que dichas respuestas pueden contener información confidencial, deben ser revisadas por riesgo de divulgación y, si es necesario, tratadas por archivos antes de su publicación.
-+ Comprobar codificación. Es una buena idea verificar el código de algunos casos durante el proceso de codificación, es decir, repetir el proceso con un codificador independiente. Por ejemplo, si se asigna más de un código a la respuesta de una entrevista, esto resalta problemas o ambigüedades en el esquema de codificación. Esta codificación de verificación proporciona un medio importante de control de calidad en el proceso de codificación.
++ **Comprobar codificación**. Es una buena idea verificar el código de algunos casos durante el proceso de codificación, es decir, repetir el proceso con un codificador independiente. Por ejemplo, si se asigna más de un código a la respuesta de una entrevista, esto resalta problemas o ambigüedades en el esquema de codificación. Esta codificación de verificación proporciona un medio importante de control de calidad en el proceso de codificación.
-+ Serie de respuestas. Si una serie de respuestas requiere más de un campo, organizar las respuestas en clasificaciones importantes significativas es útil. Respuestas dentro de cada especialidad o categoría se les asigna el mismo primer dígito. Los dígitos secundarios pueden distinguir respuestas específicas dentro de las categorías principales. Tal esquema de codificación permite el análisis de los datos utilizando agrupaciones amplias o categorías más detalladas.
++ **Serie de respuestas**. Si una serie de respuestas requiere más de un campo, organizar las respuestas en clasificaciones importantes significativas es útil. Respuestas dentro de cada especialidad o categoría se les asigna el mismo primer dígito. Los dígitos secundarios pueden distinguir respuestas específicas dentro de las categorías principales. Tal esquema de codificación permite el análisis de los datos utilizando agrupaciones amplias o categorías más detalladas.
**Identificar Casos perdidos**
@@ -128,7 +131,7 @@ ICPSR no establece un modo determinado de identificar los casos perdidos, aunque
* Datos no disponibles. La pregunta debería haberse formulado al encuestado, pero por otro motivo distinto de los enumerados anteriormente, no se dio ni registró ninguna respuesta.
-Considerando las ventajas y desventajas de las distintas formas de codificación se sugiere a título personal utilizar valores perdidos con valores altos en negativo de modo tal que sean estándar para todas las variables y no sean confundible con los valores posibles de dichas variables. Se propone utilizar los siguientes valores perdidos, usando numéricos o caracteres según corresponda.
+Considerando las ventajas y desventajas de las distintas formas de codificación se sugiere utilizar valores perdidos con valores altos en negativo de modo tal que sean estándar para todas las variables y no sean confundible con los valores posibles de dichas variables. Se propone utilizar los siguientes valores perdidos, usando numéricos o caracteres según corresponda.
| Código de texto | Código numérico |
@@ -164,11 +167,11 @@ El readme es un documento que debe responder las siguientes preguntas sobre la p
- Cómo se recopiló
-Para crear este documento se suele utilizar el formato y lenguaje Markdowm de extensión .md. Este formato posee la ventaja de no ser un formato propietario que permite incluir de modo sencillo distintos elementos útiles como enlaces, imágenes y tablas. Le recomendamos realizar la escritura en este formato. Para ello se puede escribir el documento en RStudio señalando como extensión .md o para quienes no manejen el software, pueden crear el documento en la página [Dillinger](https://dillinger.io/).
+Para crear este documento se suele utilizar el formato y lenguaje Markdown de extensión .md. Este formato posee la ventaja de no ser un formato propietario que permite incluir de modo sencillo distintos elementos útiles como enlaces, imágenes y tablas. Le recomendamos realizar la escritura en este formato. Para ello se puede escribir el documento en RStudio señalando como extensión .md o para quienes no manejen el software, pueden crear el documento en la página [Dillinger](https://dillinger.io/).
**Licencia**
-La licencia se puede crear fácilmente al publicar los datos en OSF. En la siguiente sección se señala cómo hacerlo.
+La licencia se puede crear fácilmente al publicar los datos en el Open Science Framework. En la siguiente sección se señala cómo hacerlo.
**Metadatos**
@@ -217,15 +220,14 @@ Para publicar datos cualitativos se sugiere documentar la siguiente información
**OSF y plataformas para publicar datos**
-La plataforma web Open Science Framework (OSF) ofrece gratuitamente servicios de infraestructura digital que permite un espacio de registro para las distintas etapas de un proyecto de investigación. Actualmente existen otras plataformas con objetivos similares como Zenovo, Dataverse, GitHub, Mendeley, Figshare, Dryad o ICPSR, y si bien todas son buenas herramientas, se remienda utilizar OSF por diversos motivos señalados por @kryvokhyzha_best_2019 y un documento informativo de la Librería de Universidades de la Universidad de OKLAHOMA [-@universitarias_make_2020]. En primer lugar, a diferencia de Dryad, OSF es una plataforma gratuita, con mejor estructura de repositorios y con posibilidades de corregir errores. En segundo lugar, Figshare tiene la capacidad de estructurar los repositorios en distintos componentes, pero no está optimizado para descargar muchos archivos a la vez y, además es una empresa con fines de lucro. Por su parte OSF, permite estructurar de diversos modos los repositorios, esta optimizado para descargas y es una organización sin fines de lucro que es financiada por el Centro para la Ciencia Abierta [cos](https://www.cos.io/) con recursos para 50 años más. En tercer lugar, a diferencia de Zenovo y GitHub, OSF si cuenta con estadísticas de descarga que nos permiten evaluar la visibilidad de los datos. En último lugar, GitHub si bien es una alternativa que ha sido utilizada para este fin, en realidad más que una plataforma para subir datos es una plataforma para crear códigos de forma colaborativa, usualmente de aplicaciones, además no nos permite crear de modo automático un DOI, lo cual es fundamental para cumplir con los principios FAIR.
+La plataforma web Open Science Framework (OSF) ofrece gratuitamente servicios de infraestructura digital que permite un espacio de registro para las distintas etapas de un proyecto de investigación. Actualmente existen otras plataformas con objetivos similares como Zenodo, Dataverse, GitHub, Mendeley, Figshare, Dryad o ICPSR, y si bien todas son buenas herramientas, se remienda utilizar OSF por diversos motivos señalados por @kryvokhyzha_best_2019 y un documento informativo de la Librería de Universidades de la Universidad de OKLAHOMA [-@universitarias_make_2020]. En primer lugar, a diferencia de Dryad, OSF es una plataforma gratuita, con mejor estructura de repositorios y con posibilidades de corregir errores. En segundo lugar, Figshare tiene la capacidad de estructurar los repositorios en distintos componentes, pero no está optimizado para descargar muchos archivos a la vez y, además es una empresa con fines de lucro. Por su parte OSF, permite estructurar de diversos modos los repositorios, esta optimizado para descargas y es una organización sin fines de lucro que es financiada por el Centro para la Ciencia Abierta [(cos)](https://www.cos.io/) con recursos para 50 años más. En tercer lugar, a diferencia de Zenodo y GitHub, OSF si cuenta con estadísticas de descarga que nos permiten evaluar la visibilidad de los datos. En último lugar, GitHub si bien es una alternativa que ha sido utilizada para este fin, en realidad más que una plataforma para subir datos es una plataforma para crear códigos de forma colaborativa, usualmente de aplicaciones, además no nos permite crear de modo automático un DOI, lo cual es fundamental para cumplir con los principios FAIR.
No obstante, si el equipo investigador lo considera conveniente podría subir sus datos a múltiples plataformas. En esta línea, además de OSF, recomendamos almacenar los datos paralelamente en [OpenICPSR](https://www.openicpsr.org/openicpsr/workspace?path=openICPSR) puesto que esto permitirá conectar nuestros datos con el buscador de ICPSR, el cual tiene amplia visibilidad dentro del campo de las ciencias sociales a nivel internacional.
+En esta página, un usuario puede crear un repositorio denominado proyecto, que puede contener, al mismo tiempo, componentes que pueden ser investigaciones o datos específicos dentro del proyecto. Se pueden crear más componentes de estos tipos de los componentes del proyecto. Esta estructura permite almacenar conjuntamente algunos trabajos relacionados.
-Un usuario de esta página puede crear un repositorio denominado proyecto, el cual puede contener a su vez componentes que pueden ser investigaciones o datos específicos dentro del proyecto. Se pueden crear más componentes de estos tipos dentro de los componentes del proyecto. Esta estructura permite almacenar conjuntamente trabajos relacionados.
-
-La página promueve que se registren productos de la investigación de las distintas etapas del proceso. En primer lugar, posee un espacio para los "pre-registros" que son un documento en el cual se expone brevemente el diseño de la investigación, las hipótesis y la metodología, lo cual aumenta la rigurosidad de las investigaciones.
+La plataforma promueve que se registren productos de la investigación de las distintas etapas del proceso. En primer lugar, posee un espacio para los "pre-registros" que son un documento en el cual se expone brevemente el diseño de la investigación, las hipótesis y la metodología, lo cual aumenta la rigurosidad de las investigaciones.
Ambas evaluaciones de OSF señalan que un problema es el límite de almacenamiento de solo 5gb por archivo. Este límite ha sido modificado el 5 de noviembre del 2020, agregando un límite de 5gb a los proyectos que estén privados y 50gb a los públicos. No obstante, el problema del espacio se puede resolver conectando OSF con otros servicios de almacenamiento con mayor capacidad.
@@ -236,12 +238,10 @@ __Paso 1__
Para crear los metadatos de forma muy sencilla se puede utilizar un archivo csv, que se puede editar con el programa Excel o cualquier Hoja de cálculo. A continuación, entregamos un link para descargar un csv con los campos para rellenar los metadatos, cumpliendo con los campos utilizados por Dataverse Harvard y los "Social Science and Humanities Metadata" de ICPSR.
-Para crear los metadatos usted solo debe escribir en las casillas de abajo de las categorías, la respuesta para cada uno de los campos, señalando el identificador, el Título de los datos, los autores, entre otros. Es necesario que rellene los campos en inglés. Con una traducción simple de [Google Traductor](https://translate.google.com/) o [Deepl](https://www.deepl.com/es/translator) es suficiente.
+Para crear los metadatos usted solo debe escribir en las casillas de abajo de las categorías, la respuesta para cada uno de los campos, señalando el identificador, el Título de los datos, los autores, entre otros. Es necesario que rellene los campos en inglés. Con una traducción simple de [Google Traductor](https://translate.google.com/) o [DeepL](https://www.deepl.com/es/translator) es suficiente.
Para descargar el archivo csv editable en Excel seleccione [Descargar Metadata.cvs](https://raw.githubusercontent.com/franciscomeneses/CADIS/master/metadata.csv). Si no le ofrece directamente abrirlo con Excel, puede apretar click derecho sobre el archivo, seleccionar "Abrir con", luego Excel, si no aparece seleccionamos "Elegir otra aplicación", "Más aplicaciones" y luego Excel.
-A continuación, le presentamos una tabla con cada uno de los campos que debe llenar y con qué debe rellenarlos. Después de agregar la información a los metadatos solo guarde el documento desde Excel, y este se guardará automáticamente en csv delimitado por Semi-coma (;) en codificación UTF-8 (Que permite incorporar comas a los metadatos)
-
Cabe destacar que, para el primer campo correspondiente al Identificador, antes del código entregado por OSF debe estar escrito https://doi.org/ como se muestra en el documento descargado. Esto es para cumplir con los estándares FAIR.
__Paso 2__
diff --git a/docs/03d-estandares.md b/docs/03d-estandares.md
index 0baf286..ec5f709 100644
--- a/docs/03d-estandares.md
+++ b/docs/03d-estandares.md
@@ -260,7 +260,7 @@ El segundo documento, escrito el 2014, se denomina "Datos Científicos Abiertos
* Utilizar repositorios interoperables: Para facilitar la recopilación automática de datos y el uso de estos desde distintos Software, se recomienda poseer buenos metadatos siguiendo los parámetros de interoperabilidad de [Dublin Core](http://dublincore.org/). Los metadatos son “los datos sobre los datos” es decir aquella información que nos permite saber a qué corresponde la base de datos, quienes y cuando la crearon entre otras informaciones relevantes. Esta página propone una decena de metadatos indispensables para la interoperabilidad (Ej. creador, colaborador, editor, título, fecha, idioma, formato, tema, descripción, identificador, relación, fuente, tipo, cobertura y derechos, entre otros) [@dublin-core_dublin_2020]. Si bien esta publicación no da cuenta de que metadatos debe ser específicamente utilizado a partir de la información anterior producida por lisa podemos decir que es beneficioso utilizar el conjunto de metadatos para social-science que es un conjunto bastante parsimonioso de información.
-**CEP**
+**Centro de estudios públicos (CEP)**
El Centro de Estudios públicos produce constantemente encuestas de opinión publica, con bastante contenido electoral. Esta es una de las bases de datos más conocidas en el campo de la sociología de Chile. Y en el último tiempo mejoro su plataforma de almacenamiento.
diff --git a/docs/06-conclusion.md b/docs/06-conclusion.md
new file mode 100644
index 0000000..3799557
--- /dev/null
+++ b/docs/06-conclusion.md
@@ -0,0 +1,11 @@
+# Conclusión
+
+Este libro se plantea como objetivo resaltar los principales elementos que revisten de importancia a la Ciencia Abierta y, a partir de ello, se pretende constituir como una guía para los científicos sociales que quieran suscribirse bajo los principios de la Ciencia Social Abierta. Los cuatro principios que guían este libro se posicionan como las prácticas y experiencias de mayor relevancia para superar la crisis de la ciencia actual [@breznau_does_2021], donde el conocimiento científico es menos confiable producto de prácticas antiéticas en el proceso de investigación.
+
+A lo largo de este libro se han señalado las principales herramientas que permitirán posicionar su investigación dentro de los márgenes de la Ciencia Abierta, como los **preregistros**, **preprints**, el uso de software libres, estándares de calidad para publicación de los datos de la investigación, entre otros. En suma, estas herramientas permiten que su investigación adquiera un estándar mínimo de calidad, robustez y confianza, siempre en miras de lograr una mayor transparencia del diseño de investigación, una correcta apertura de los datos recopilados, un proceso de análisis que sea reproducible y una publicación de hallazgos y resultados que esté abierta a la comunidad científica y al público en general.
+
+Se hace necesario avanzar en una mayor divulgación de estas prácticas y herramientas para así lograr hacer de ellas una experiencia cotidiana dentro de la investigación en las Ciencias Sociales empíricas. De esta forma, se podrán elaborar investigaciones más confiables que erradiquen las prácticas antiéticas a lo largo de todo el proceso de investigación.
+
+Finalmente, nuestra aspiración es que este trabajo quede abierto y expuesto a la crítica, comentarios y propuestas. Por esta razón es que, si bien no se ha seguido un proceso de investigación con un diseño de investigación, recopilación de datos y análisis de resultados, el texto que constituye a este libro se encuentra en un repositorio público (https://github.com/lisa-coes/lisa-book). De este modo, quien se interese por revisar, replicar o corregir lo que se expone en este libro podrá hacerlo con la mayor facilidad y transparencia posible.
+
+
diff --git a/docs/404.html b/docs/404.html
index 520c210..4e4a9a2 100644
--- a/docs/404.html
+++ b/docs/404.html
@@ -140,6 +140,7 @@
Pasar por alto el uso de datos cuestionables o de interpretaciones cuestionables que otros hacen.
+Diseño y procesamiento
+
+
Cambiar partes de un estudio como respuesta a la presión de una fuente de financiación
+Diseño y procesamiento
+
+
Eliminar observaciones de los análisis basados en la intuición de que eran inexactos.
+Diseño y procesamiento
+
+
Redondear un valor p (por ejemplo, reportar que un p-value de 0,054 es menor a 0,05)
+Diseño y procesamiento
+
+
Eliminación, adición o alteración de datos después de pruebas de hipótesis.
+Diseño y procesamiento
+
+
Supresión selectiva o adición de variables.
+Diseño y procesamiento
+
+
Invertir la dirección o reformular hipótesis para respaldar los datos
-
+
Redacción, reporte y publicación
@@ -243,51 +265,78 @@
Anexos
+Redacción, reporte y publicación
+
+
Tergiversar los logros de la investigación.
+Redacción, reporte y publicación
+
+
Exagerar la importancia y la relevancia práctica de los resultados.
+Redacción, reporte y publicación
+
+
Retener detalles de la metodología de investigación (e.g. no reportar todas las variables dependientes de un estudio)
+Redacción, reporte y publicación
+
+
Retener resultados de la investigación (e.g. no presentar datos que contradicen una propia investigación previa).
+Redacción, reporte y publicación
+
+
Establecer publicaciones o brindar apoyo a publicaciones que no cumplen el proceso de control de calidad de la investigación
+Redacción, reporte y publicación
+
+
Publicar los mismos datos o resultados en dos o más publicaciones.
+Redacción, reporte y publicación
+
+
Selectivamente reportar estudios que “funcionaron”.
+Redacción, reporte y publicación
+
+
Reportar hallazgos inesperados como previstos desde el principio.
+Redacción, reporte y publicación
+
+
Afirmar que los resultados no se ven afectados por variables demográficas cuando uno no está realmente seguro (o sabe que lo hacen).
-
+
Citación y autoría
@@ -296,31 +345,46 @@
Anexos
+Citación y autoría
+
+
Asignar inapropiadamente los crédios de autoría.
+Citación y autoría
+
+
Volver a publicar partes sustanciales de publicaciones propias anteriores, incluidas las traducciones, sin citar debidamente el original (“autoplagio”).
+Citación y autoría
+
+
Citar de forma selectiva para mejorar los propios resultados o para complacer a los editores, los revisores o los colegas.
+Citación y autoría
+
+
Usar ideas de otros sin obtener permiso o dar crédito
+Citación y autoría
+
+
Uso no autorizado de información confidencial en relación con la propia investigación.
-
+
Relaciones con otros
@@ -329,31 +393,49 @@
Anexos
+Relaciones con otros
+
+
Acusar a un investigador de conducta indebida u otras infracciones de forma maliciosa.
+Relaciones con otros
+
+
Retrasar u obstaculizar inadecuadamente el trabajo de otros investigadores.
+Relaciones con otros
+
+
Emplear la experiencia profesional propia para alentar a que se incumpla la integridad de la investigación.
+Relaciones con otros
+
+
Ignorar supuestos incumplimientos de la integridad de la investigación cometidos por terceros o encubrir reacciones inadecuadas a conductas indebidas.
+Relaciones con otros
+
+
No divulgar adecuadamente la participación en empresas cuyos productos se basan en la investigación de uno.
+Relaciones con otros
+
+
Relaciones con estudiantes, sujetos de investigación o clientes que pueden ser interpretadas como cuestionables.
Este libro se plantea como objetivo resaltar los principales elementos que revisten de importancia a la Ciencia Abierta y, a partir de ello, se pretende constituir como una guía para los científicos sociales que quieran suscribirse bajo los principios de la Ciencia Social Abierta. Los cuatro principios que guían este libro se posicionan como las prácticas y experiencias de mayor relevancia para superar la crisis de la ciencia actual (Breznau, 2021), donde el conocimiento científico es menos confiable producto de prácticas antiéticas en el proceso de investigación.
+
A lo largo de este libro se han señalado las principales herramientas que permitirán posicionar su investigación dentro de los márgenes de la Ciencia Abierta, como los preregistros, preprints, el uso de software libres, estándares de calidad para publicación de los datos de la investigación, entre otros. En suma, estas herramientas permiten que su investigación adquiera un estándar mínimo de calidad, robustez y confianza, siempre en miras de lograr una mayor transparencia del diseño de investigación, una correcta apertura de los datos recopilados, un proceso de análisis que sea reproducible y una publicación de hallazgos y resultados que esté abierta a la comunidad científica y al público en general.
+
Se hace necesario avanzar en una mayor divulgación de estas prácticas y herramientas para así lograr hacer de ellas una experiencia cotidiana dentro de la investigación en las Ciencias Sociales empíricas. De esta forma, se podrán elaborar investigaciones más confiables que erradiquen las prácticas antiéticas a lo largo de todo el proceso de investigación.
+
Finalmente, nuestra aspiración es que este trabajo quede abierto y expuesto a la crítica, comentarios y propuestas. Por esta razón es que, si bien no se ha seguido un proceso de investigación con un diseño de investigación, recopilación de datos y análisis de resultados, el texto que constituye a este libro se encuentra en un repositorio público (https://github.com/lisa-coes/lisa-book). De este modo, quien se interese por revisar, replicar o corregir lo que se expone en este libro podrá hacerlo con la mayor facilidad y transparencia posible.
Para resguardar la calidad de nuestros datos debemos asegurar una correcta codificación de las respuestas y nombramiento de las variables, ambas bases fundamentales de los datos (filas y columnas). Para esto, ICPSR propone, entre otros, los siguientes puntos:
Errores de codificación
-
Verifique cuidadosamente la coherencia entre las respuestas del cuestionario y los valores en la base de datos para el primer 5 a 10 por ciento de los registros de datos creados y luego elija registros aleatorios para controles de calidad. Posteriormente, puede realizar análisis descriptivos de distribución para evaluar si existen valores atípicos atribuibles a errores de codificación (por ejemplo 66 en la variable hijos en vez de 6). El uso de computadores y programas de encuesta y codificación puede ayudar a disminuir estos errores.
+
Verifique cuidadosamente la coherencia entre las respuestas del cuestionario y los valores en la base de datos para el primer 5 a 10 por ciento de los registros de datos creados y luego elija registros aleatorios para controles de calidad. Posteriormente, puede realizar análisis descriptivos de distribución para evaluar si existen valores atípicos atribuibles a errores de codificación (por ejemplo 66 en la variable hijos en vez de 6). El uso de computadores y programas de encuesta y codificación puede ayudar a disminuir estos errores. Algunos de los serivicios recomendados son Qualtrics o SurveyMonkey, entre otros.
Recodificación automática
-
Deje que la computadora realice codificaciones y rectificaciones complejas si es posible. Por ejemplo, para crear una serie de variables que describen la estructura familiar, escriba un código de computadora para realizar la tarea.
-Los códigos de computadora no solo son precisos si las instrucciones son precisas, sino que también se puede cambiar fácilmente para corregir un error lógico o de programación. Incluya en la documentación los códigos utilizados para la recodificación.
+
Al recodificar la fuente original de datos (sin procesar), es recomendable dejar que la computadora realice codificaciones y rectificaciones complejas. Por ejemplo, para crear una serie de variables que describen la estructura familiar, escriba un código de computadora para realizar la tarea.
+
Los códigos de computadora no solo son precisos si las instrucciones son precisas, sino que también se puede cambiar fácilmente para corregir un error lógico o de programación. Incluya en la documentación los códigos utilizados para la recodificación.
Consistencia
-
Evalué la coherencia entre las variables, identificando a quienes poseen combinaciones incoherentes. Por ejemplo, si alguien señala que su hijo no asiste a la escuela y luego responde preguntas sobre la escuela.
+
Evalúe la coherencia entre las variables, identificando a quienes poseen combinaciones incoherentes. Por ejemplo, si alguien señala que su hijo no asiste a la escuela y luego responde preguntas sobre la escuela. Esto también es posible de realizar a través de filtros en un cuestionario bien diseñado.
Identificadores individuales y grupales
-
Proporcione variables identificadoras suficientes. Es fundamental que cada sujeto posea un id, además si la encuesta es longitudinal se puede proporcionar, junto al id de encuestado, un id por cada ocasión que contesta la encuesta. Otros identificadores dependen del tema del estudio, por ejemplo, si se trabaja con escuelas, verifique que cada escuela tiene un identificador id-escuela. Si trabaja con encuestados de modo tal que dos o más son de la misma familia y cada encuestado corresponde a un núcleo familiar, indique un id para familia.
+
Proporcione variables identificadoras suficientes. Es fundamental que cada sujeto posea un identificador único. Además, si la encuesta es longitudinal, se puede proporcionar junto al identificador de encuestado, un identificador por cada ocasión que contesta la encuesta. Otros identificadores dependen del tema del estudio, por ejemplo, si se trabaja con escuelas, verifique que cada escuela tiene un identificador id-escuela. Si trabaja con encuestados de modo tal que dos o más son de la misma familia y cada encuestado corresponde a un núcleo familiar, indique un único identificador para cada familia.
Nombres de Variables
El nombre de la variable será con lo que más se trabajará con los datos, por ende, deben ser claros y utilizables por distintitos softwares.
Existen distintos estándares para elegir los nombres de las variables.
-
El primero consiste en asignar un numero único anteponiendo una V de modo tal que, siendo n el número de variables, las variables se nombran como Vn según su posición (p ej. V0001, v0002,…Vn). Se antepone la V por que los softwares en general no permiten nombres de variables con solo caracteres números.
+
El primero consiste en asignar un numero único anteponiendo una V de modo tal que, siendo n el número de variables, las variables se nombran como Vn según su posición (p ej. V0001, v0002,…Vn). Se antepone la V por que los softwares en general no permiten nombres de variables con solo caracteres numéricos.
El segundo modo utiliza letras y números para agrupar las variables según escalas o temas (por ejemplo Q1,Q2a,Q2b), si bien es un sistema que entrega más información, no informa sobre el contenido.
El tercero consiste en utilizar abreviaturas mnemotécnicas, es decir, nombres cortos de variables que representan el significado sustantivo de las variables facilitando su memorización y comprensión. Por ejemplo educpadr como “Educación del Padre”. Este tipo de nombres podrían ayudar a disminuir los errores en los análisis producidos por agregar una variable incorrecta en el código. El problema es que con la limitación de caracteres de los softwares es difícil generar abreviaturas arbitrarias que sean ampliamente reconocibles por un público diverso.
-
El cuarto consiste en Abreviaciones compartidas y registradas. Un sistema de raíces y sufijos. Por ejemplo, todas las variables que tienen que ver con la educación pueden tener la raíz ED, y podría expresarse “Educación del Padre” como FAED, siendo esta nomenclatura previamente documentada. Esto implica una planificación previa y capacidad de organización para compartir las abreviaturas, así como herramientas para facilitar el encontrar las abreviaturas correctas en la biblioteca o documento de sufijos y prefijos.
+
El cuarto consiste en abreviaciones compartidas y registradas. Un sistema de raíces y sufijos. Por ejemplo, todas las variables que tienen que ver con la educación pueden tener la raíz ED, y podría expresarse “Educación del Padre” como FAED, siendo esta nomenclatura previamente documentada. Esto implica una planificación previa y capacidad de organización para compartir las abreviaturas, así como herramientas para facilitar el encontrar las abreviaturas correctas en la biblioteca o documento de sufijos y prefijos.
En consideración de estas opciones expuestas por ICPSR, se recomienda utilizar la tercera, puesto que cumple con la cualidad de la primera y la segunda de identificar las variables de modo único, a la vez que cumple con el criterio de hacer más comprensible y fácil de recordar.
Junto a lo señalado por ICPSR, consideramos que al crear un nombre de la variable este debe ser utilizable por los distintos softwares comúnmente utilizados como SPSS, STATA y R. En vista de lo anterior sugerimos:
@@ -222,21 +223,22 @@
3.2.1.2 Datos cuantitativos:
Deben ser solo alfanuméricos (Números y letras, sin símbolos . ; , : “ $ @)
En minúscula
No utilizar la letra ñ, remplazarlo por gn (agnos, en vez de años)
+
No utilizar palabras con tildes (tipo á; ü)
Remplazando espacios por guion bajo. (edad_rec)
Etiquetas de variables
-
las variables deben ser correctamente etiquetadas. Las etiquetas deben partir con el número del ítem en el cuestionario para poder asociarlo. Luego debe darse información sobre el contenido de la variable o ingresar directamente la pregunta realizada al encuestado.
+
Las variables deben ser correctamente etiquetadas. Las etiquetas deben partir con el número del ítem en el cuestionario para poder asociarlo. Luego debe darse información sobre el contenido de la variable o ingresar directamente la pregunta realizada al encuestado.
Considerando las limitaciones de caracteres de los softwares, en base a manuales universitarios de SPSS y STATA, se sugiere que las etiquetas de las variables no superen los 120 caracteres.
Codificación
-
Variables de identificación. Proporcione campos al comienzo de cada registro para acomodar todas las variables de identificación. Las variables de identificación a menudo incluyen un número de estudio único y un número de encuestado para representar cada caso.
-
Categorías de código. Las categorías de códigos deben ser mutuamente excluyentes, exhaustivas y estar definidas con precisión. Cada respuesta de la entrevista debe encajar en una y solo una categoría. La ambigüedad provocará dificultades de codificación y problemas con la interpretación de los datos.
-
Conservación de la información original. Codifique tantos detalles como sea posible. Registrar datos originales, como edad e ingresos, es más útil que colapsar o poner entre corchetes la información. Con datos originales o detallados, los analistas secundarios pueden determinar otros paréntesis significativos por sí mismos en lugar de limitarse a los elegidos por otros.
-
Preguntas cerradas. Las respuestas a las preguntas de la encuesta que están precodificadas en el cuestionario deben conservar este esquema de codificación en los datos legibles por máquina para evitar errores y confusiones.
-
Preguntas de final abierto. Para los ítems abiertos, los investigadores pueden usar un esquema de codificación predeterminado o revisar las respuestas iniciales de la encuesta para construir un esquema de codificación basado en las categorías principales que surgen. Cualquier esquema de codificación y su derivación deben informarse en la documentación del estudio.
-
Respuestas codificadas por el usuario. Cada vez más, los investigadores envían el texto completo de las respuestas a las preguntas abiertas a los archivos para que los usuarios puedan codificar estas respuestas ellos mismos. Debido a que dichas respuestas pueden contener información confidencial, deben ser revisadas por riesgo de divulgación y, si es necesario, tratadas por archivos antes de su publicación.
-
Comprobar codificación. Es una buena idea verificar el código de algunos casos durante el proceso de codificación, es decir, repetir el proceso con un codificador independiente. Por ejemplo, si se asigna más de un código a la respuesta de una entrevista, esto resalta problemas o ambigüedades en el esquema de codificación. Esta codificación de verificación proporciona un medio importante de control de calidad en el proceso de codificación.
-
Serie de respuestas. Si una serie de respuestas requiere más de un campo, organizar las respuestas en clasificaciones importantes significativas es útil. Respuestas dentro de cada especialidad o categoría se les asigna el mismo primer dígito. Los dígitos secundarios pueden distinguir respuestas específicas dentro de las categorías principales. Tal esquema de codificación permite el análisis de los datos utilizando agrupaciones amplias o categorías más detalladas.
+
Variables de identificación. Proporcione campos al comienzo de cada registro para acomodar todas las variables de identificación. Las variables de identificación a menudo incluyen un número de estudio único y un número de encuestado para representar cada caso.
+
Categorías de código. Las categorías de códigos deben ser mutuamente excluyentes, exhaustivas y estar definidas con precisión. Cada respuesta de la entrevista debe encajar en una y solo una categoría. La ambigüedad provocará dificultades de codificación y problemas con la interpretación de los datos.
+
Conservación de la información original. Codifique tantos detalles como sea posible. Registrar datos originales, como edad e ingresos, es más útil que colapsar o poner entre corchetes la información. Con datos originales o detallados, los analistas secundarios pueden determinar otros paréntesis significativos por sí mismos en lugar de limitarse a los elegidos por otros.
+
Preguntas cerradas. Las respuestas a las preguntas de la encuesta que están precodificadas en el cuestionario deben conservar este esquema de codificación en los datos legibles por máquina para evitar errores y confusiones.
+
Preguntas de final abierto. Para los ítems abiertos, los investigadores pueden usar un esquema de codificación predeterminado o revisar las respuestas iniciales de la encuesta para construir un esquema de codificación basado en las categorías principales que surgen. Cualquier esquema de codificación y su derivación deben informarse en la documentación del estudio.
+
Respuestas codificadas por el usuario. Cada vez más, los investigadores envían el texto completo de las respuestas a las preguntas abiertas a los archivos para que los usuarios puedan codificar estas respuestas ellos mismos. Debido a que dichas respuestas pueden contener información confidencial, deben ser revisadas por riesgo de divulgación y, si es necesario, tratadas por archivos antes de su publicación.
+
Comprobar codificación. Es una buena idea verificar el código de algunos casos durante el proceso de codificación, es decir, repetir el proceso con un codificador independiente. Por ejemplo, si se asigna más de un código a la respuesta de una entrevista, esto resalta problemas o ambigüedades en el esquema de codificación. Esta codificación de verificación proporciona un medio importante de control de calidad en el proceso de codificación.
+
Serie de respuestas. Si una serie de respuestas requiere más de un campo, organizar las respuestas en clasificaciones importantes significativas es útil. Respuestas dentro de cada especialidad o categoría se les asigna el mismo primer dígito. Los dígitos secundarios pueden distinguir respuestas específicas dentro de las categorías principales. Tal esquema de codificación permite el análisis de los datos utilizando agrupaciones amplias o categorías más detalladas.
Identificar Casos perdidos
ICPSR no establece un modo determinado de identificar los casos perdidos, aunque señala las ventajas y desventajas de distintos tipos de codificación. Igualmente sugiere distintos tipos de casos perdidos que deben ser identificados. Cabe destacar que, como regla general para la preservación, los casos perdidos se deben codificar del modo más similar a las categorías de las variables, de modo tal que una variable numérica de un digito se indica con (8,9) y una variable categórica con alternativas de texto con (“No sabe”, “No responde”)
@@ -248,7 +250,7 @@
3.2.1.2 Datos cuantitativos:
Sin coincidencia. Esta situación surge cuando los datos se obtienen de diferentes fuentes (por ejemplo, un cuestionario de encuesta y una base de datos administrativa) y no se puede localizar la información de una fuente.
Datos no disponibles. La pregunta debería haberse formulado al encuestado, pero por otro motivo distinto de los enumerados anteriormente, no se dio ni registró ninguna respuesta.
-
Considerando las ventajas y desventajas de las distintas formas de codificación se sugiere a título personal utilizar valores perdidos con valores altos en negativo de modo tal que sean estándar para todas las variables y no sean confundible con los valores posibles de dichas variables. Se propone utilizar los siguientes valores perdidos, usando numéricos o caracteres según corresponda.
+
Considerando las ventajas y desventajas de las distintas formas de codificación se sugiere utilizar valores perdidos con valores altos en negativo de modo tal que sean estándar para todas las variables y no sean confundible con los valores posibles de dichas variables. Se propone utilizar los siguientes valores perdidos, usando numéricos o caracteres según corresponda.
@@ -299,9 +301,9 @@
3.2.2Documentar
Por qué se recopiló
Cómo se recopiló
-
Para crear este documento se suele utilizar el formato y lenguaje Markdowm de extensión .md. Este formato posee la ventaja de no ser un formato propietario que permite incluir de modo sencillo distintos elementos útiles como enlaces, imágenes y tablas. Le recomendamos realizar la escritura en este formato. Para ello se puede escribir el documento en RStudio señalando como extensión .md o para quienes no manejen el software, pueden crear el documento en la página Dillinger.
+
Para crear este documento se suele utilizar el formato y lenguaje Markdown de extensión .md. Este formato posee la ventaja de no ser un formato propietario que permite incluir de modo sencillo distintos elementos útiles como enlaces, imágenes y tablas. Le recomendamos realizar la escritura en este formato. Para ello se puede escribir el documento en RStudio señalando como extensión .md o para quienes no manejen el software, pueden crear el documento en la página Dillinger.
Licencia
-
La licencia se puede crear fácilmente al publicar los datos en OSF. En la siguiente sección se señala cómo hacerlo.
+
La licencia se puede crear fácilmente al publicar los datos en el Open Science Framework. En la siguiente sección se señala cómo hacerlo.
Metadatos
La creación de los metadatos requiere previamente que se cree el identificador y la página web en OSF que almacenara los datos. Por ello la creación de los metadatos será posterior a la publicación. Cabe desacatar que el modo de crear metadatos difiere según si el tipo de material es una transcripción de entrevista en PDF o una base de datos en formato sav, stat o rda.
Documentos especiales según tipo de metodología
@@ -336,17 +338,16 @@
3.2.2Documentar
3.2.3Publicar
OSF y plataformas para publicar datos
-
La plataforma web Open Science Framework (OSF) ofrece gratuitamente servicios de infraestructura digital que permite un espacio de registro para las distintas etapas de un proyecto de investigación. Actualmente existen otras plataformas con objetivos similares como Zenovo, Dataverse, GitHub, Mendeley, Figshare, Dryad o ICPSR, y si bien todas son buenas herramientas, se remienda utilizar OSF por diversos motivos señalados por Kryvokhyzha (2019) y un documento informativo de la Librería de Universidades de la Universidad de OKLAHOMA (2020). En primer lugar, a diferencia de Dryad, OSF es una plataforma gratuita, con mejor estructura de repositorios y con posibilidades de corregir errores. En segundo lugar, Figshare tiene la capacidad de estructurar los repositorios en distintos componentes, pero no está optimizado para descargar muchos archivos a la vez y, además es una empresa con fines de lucro. Por su parte OSF, permite estructurar de diversos modos los repositorios, esta optimizado para descargas y es una organización sin fines de lucro que es financiada por el Centro para la Ciencia Abierta cos con recursos para 50 años más. En tercer lugar, a diferencia de Zenovo y GitHub, OSF si cuenta con estadísticas de descarga que nos permiten evaluar la visibilidad de los datos. En último lugar, GitHub si bien es una alternativa que ha sido utilizada para este fin, en realidad más que una plataforma para subir datos es una plataforma para crear códigos de forma colaborativa, usualmente de aplicaciones, además no nos permite crear de modo automático un DOI, lo cual es fundamental para cumplir con los principios FAIR.
+
La plataforma web Open Science Framework (OSF) ofrece gratuitamente servicios de infraestructura digital que permite un espacio de registro para las distintas etapas de un proyecto de investigación. Actualmente existen otras plataformas con objetivos similares como Zenodo, Dataverse, GitHub, Mendeley, Figshare, Dryad o ICPSR, y si bien todas son buenas herramientas, se remienda utilizar OSF por diversos motivos señalados por Kryvokhyzha (2019) y un documento informativo de la Librería de Universidades de la Universidad de OKLAHOMA (2020). En primer lugar, a diferencia de Dryad, OSF es una plataforma gratuita, con mejor estructura de repositorios y con posibilidades de corregir errores. En segundo lugar, Figshare tiene la capacidad de estructurar los repositorios en distintos componentes, pero no está optimizado para descargar muchos archivos a la vez y, además es una empresa con fines de lucro. Por su parte OSF, permite estructurar de diversos modos los repositorios, esta optimizado para descargas y es una organización sin fines de lucro que es financiada por el Centro para la Ciencia Abierta (cos) con recursos para 50 años más. En tercer lugar, a diferencia de Zenodo y GitHub, OSF si cuenta con estadísticas de descarga que nos permiten evaluar la visibilidad de los datos. En último lugar, GitHub si bien es una alternativa que ha sido utilizada para este fin, en realidad más que una plataforma para subir datos es una plataforma para crear códigos de forma colaborativa, usualmente de aplicaciones, además no nos permite crear de modo automático un DOI, lo cual es fundamental para cumplir con los principios FAIR.
No obstante, si el equipo investigador lo considera conveniente podría subir sus datos a múltiples plataformas. En esta línea, además de OSF, recomendamos almacenar los datos paralelamente en OpenICPSR puesto que esto permitirá conectar nuestros datos con el buscador de ICPSR, el cual tiene amplia visibilidad dentro del campo de las ciencias sociales a nivel internacional.
-
Un usuario de esta página puede crear un repositorio denominado proyecto, el cual puede contener a su vez componentes que pueden ser investigaciones o datos específicos dentro del proyecto. Se pueden crear más componentes de estos tipos dentro de los componentes del proyecto. Esta estructura permite almacenar conjuntamente trabajos relacionados.
-
La página promueve que se registren productos de la investigación de las distintas etapas del proceso. En primer lugar, posee un espacio para los “pre-registros” que son un documento en el cual se expone brevemente el diseño de la investigación, las hipótesis y la metodología, lo cual aumenta la rigurosidad de las investigaciones.
+
En esta página, un usuario puede crear un repositorio denominado proyecto, que puede contener, al mismo tiempo, componentes que pueden ser investigaciones o datos específicos dentro del proyecto. Se pueden crear más componentes de estos tipos de los componentes del proyecto. Esta estructura permite almacenar conjuntamente algunos trabajos relacionados.
+
La plataforma promueve que se registren productos de la investigación de las distintas etapas del proceso. En primer lugar, posee un espacio para los “pre-registros” que son un documento en el cual se expone brevemente el diseño de la investigación, las hipótesis y la metodología, lo cual aumenta la rigurosidad de las investigaciones.
Ambas evaluaciones de OSF señalan que un problema es el límite de almacenamiento de solo 5gb por archivo. Este límite ha sido modificado el 5 de noviembre del 2020, agregando un límite de 5gb a los proyectos que estén privados y 50gb a los públicos. No obstante, el problema del espacio se puede resolver conectando OSF con otros servicios de almacenamiento con mayor capacidad.
Crear Metadatos para datos cualitativos o cuantitativos.
Paso 1
Para crear los metadatos de forma muy sencilla se puede utilizar un archivo csv, que se puede editar con el programa Excel o cualquier Hoja de cálculo. A continuación, entregamos un link para descargar un csv con los campos para rellenar los metadatos, cumpliendo con los campos utilizados por Dataverse Harvard y los “Social Science and Humanities Metadata” de ICPSR.
-
Para crear los metadatos usted solo debe escribir en las casillas de abajo de las categorías, la respuesta para cada uno de los campos, señalando el identificador, el Título de los datos, los autores, entre otros. Es necesario que rellene los campos en inglés. Con una traducción simple de Google Traductor o Deepl es suficiente.
+
Para crear los metadatos usted solo debe escribir en las casillas de abajo de las categorías, la respuesta para cada uno de los campos, señalando el identificador, el Título de los datos, los autores, entre otros. Es necesario que rellene los campos en inglés. Con una traducción simple de Google Traductor o DeepL es suficiente.
Para descargar el archivo csv editable en Excel seleccione Descargar Metadata.cvs. Si no le ofrece directamente abrirlo con Excel, puede apretar click derecho sobre el archivo, seleccionar “Abrir con”, luego Excel, si no aparece seleccionamos “Elegir otra aplicación”, “Más aplicaciones” y luego Excel.
-
A continuación, le presentamos una tabla con cada uno de los campos que debe llenar y con qué debe rellenarlos. Después de agregar la información a los metadatos solo guarde el documento desde Excel, y este se guardará automáticamente en csv delimitado por Semi-coma (;) en codificación UTF-8 (Que permite incorporar comas a los metadatos)
Cabe destacar que, para el primer campo correspondiente al Identificador, antes del código entregado por OSF debe estar escrito https://doi.org/ como se muestra en el documento descargado. Esto es para cumplir con los estándares FAIR.
Paso 2
Después de haber creado el documento csv con nuestra información solo debemos seleccionar al siguiente link e ir al sitio web: csvjson.com. En este sitio tenemos que apretar Select a file… y buscar el documento csv creado. Posteriormente, se debe señalar output: “Array” y “Minify”, como se señala en la imagen. Con estas opciones apretamos el botón morado >Convert bajo el cuadrado que posee nuestro documento CSV. Cuando esté listo apretamos el botón Download, como se señala en la Figura N° 3.1. El documento se descargará con el nombre csvjson, debe cambiarlo a metadata.
Utilizar una licencia de Creative Commons: permiten autorizar el uso de terceros sin perder los derechos de atribución.
Utilizar repositorios interoperables: Para facilitar la recopilación automática de datos y el uso de estos desde distintos Software, se recomienda poseer buenos metadatos siguiendo los parámetros de interoperabilidad de Dublin Core. Los metadatos son “los datos sobre los datos” es decir aquella información que nos permite saber a qué corresponde la base de datos, quienes y cuando la crearon entre otras informaciones relevantes. Esta página propone una decena de metadatos indispensables para la interoperabilidad (Ej. creador, colaborador, editor, título, fecha, idioma, formato, tema, descripción, identificador, relación, fuente, tipo, cobertura y derechos, entre otros) (Dublin-Core, 2020). Si bien esta publicación no da cuenta de que metadatos debe ser específicamente utilizado a partir de la información anterior producida por lisa podemos decir que es beneficioso utilizar el conjunto de metadatos para social-science que es un conjunto bastante parsimonioso de información.
-
CEP
+
Centro de estudios públicos (CEP)
El Centro de Estudios públicos produce constantemente encuestas de opinión publica, con bastante contenido electoral. Esta es una de las bases de datos más conocidas en el campo de la sociología de Chile. Y en el último tiempo mejoro su plataforma de almacenamiento.
Ahora la página posee un buscador de datos, un espacio para descargar una base consolidada longitudinal con los distintos estudios y un recurso para realizar gráficos en línea, lo cual fomenta la utilización por el público no especializado. Además, como siempre, la página cuenta con material suficiente para utilizar las bases de datos como las fichas técnicas, documentos de resultados y las bases de datos en distintos formatos (SPSS, STATA y R). Respecto a las bases de datos, es de las pocas analizadas que codificó las etiquetas de la base de datos en UTF-8. Como aspectos negativos se puede señalar que no se cuenta con recurso para descargar metadatos ni posee un identificador único
El interés de realizar investigaciones científicas con base en la Ciencia Social Abierta ha ido aumentando en la última década. Distintos centros de investigaciones y organismos nacionales e internacionales han posicionado como un estándar mínimo de calidad, confianza y trasparencia que los(as) científicos sociales suscriban sus investigaciones bajo los principios de la Ciencia Abierta. En este libro se abordan los conceptos principales que explican de qué se trata la Ciencia Abierta, sin embargo, el objetivo final es convertirse en una guía para los(as) investigadores de las Ciencias Sociales. A partir de la revisión de los principios a los que suscriben los principales organismos internacionales y de las principales herramientas utilizadas para cumplir con este propósito es que este libro permite consolidar las experiencias actuales para transformarlas en una serie de recomendaciones que les permitan a los(as) investigadores de las Ciencias Sociales empíricas suscribirse bajo los estándares de la Ciencia Social Abierta. Este libro se guía bajo cuatro principios clave de la Ciencia Abierta y que constituyen cada uno de los capítulos tratados a continuación: 1) Transparencia; 2) Apertura de datos; 3) Reproducibilidad y 4) Publicaciones libres.
+
En el primer capítulo se aborda uno de los principales estándares que guían este tipo de investigaciones y que tiene que ver con la transparencia. En este libro, transparencia se asocia con la apertura pública del diseño de investigación, lo que refiere a la práctica científica de abrir al público todo tipo de información que sea relevante en la ejecución del estudio, desde las hipótesis hasta el plan de análisis. Así, quienes lean los hallazgos de la investigación (tanto científicos como el público en general) podrán evaluar la credibilidad de estos y descartar la influencia de prácticas cuestionables de investigación.
+
En el segundo capítulo se aborda un elemento clave para fomentar la colaboración en las investigaciones de las Ciencias Sociales. La publicación de los datos de investigación (open data) se suscribe como un estándar de calidad internacional que permite contribuir a que los(as) investigadores se centren en la investigación y creación de hallazgos relevantes, antes que en la producción de datos. Más aún, se señala la importancia de publicar los datos de investigación cumpliendo con estándares internacionales sobre los datos y la documentación, de modo tal que cualquier investigador sea capaz de reutilizar los datos sin la necesidad de contactarse con el equipo que los produjo y con la información suficiente para reconocer o citar el aporte del equipo productor de los datos.
+
En el tercer capítulo se aborda la discusión existente sobre la reproducibilidad y replicabilidad de una investigación, poniendo el principal foco en la reproducibilidad de los resultados de investigación. Reproducibilidad refiere a una publicación detallada de la documentación, código y datos que permitan obtener los mismos resultados publicados por los autores, enfatizando que los análisis sean transparentes y claros con el objetivo de ser verificados por sus pares. En el escenario actual, la falta de reproducibilidad de los resultados afecta la robustez y credibilidad de la evidencia reportada por las investigaciones, principalmente por la falta de precisión en los procedimientos y las barreras de acceso a materiales clave del proceso de análisis (Freese & Peterson, 2017).
+
Finalmente, el cuarto capítulo está enfocado en la parte final de una investigación y se centra en el proceso de divulgación científica. Para este propósito se abordan dos puntos clave. Por un lado, se aborda la idea de propiedad intelectual junto a los elementos centrales de la producción científica y el resguardo legal que poseen los(as) autores sobre sus investigaciones. Por otro lado, se aborda el movimiento del Open Access (OA), que tiene por objetivo promover el acceso libre a la producción de conocimiento científico digital y hacer uso de él sin restricciones de copyright, instalando la posibilidad de que cualquier persona pueda reutilizar la información de la investigación en cuanto a datos, procesos y resultados.
Piwowar, H. A., & Vision, T. J. (2013). Data Reuse and the Open Data Citation Advantage. PeerJ, 1, e175. https://doi.org/10.7717/peerj.175
+
Piwowar, H. A., & Vision, T. J. (2013). Data reuse and the open data citation advantage. PeerJ, 1, e175. https://doi.org/10.7717/peerj.175
Piwowar, H., Priem, J., & Orr, R. (2019). The Future of OA: A Large-Scale Analysis Projecting Open Access Publication and Readership. BioRxiv, 795310.
@@ -529,6 +530,9 @@
Referencias
Vivalt, E. (2015). Heterogeneous Treatment Effects in Impact Evaluation. American Economic Review, 105(5), 467-470. https://doi.org/10.1257/aer.p20151015
+
Whyte, A., & Pryor, G. (2011). Open Science in Practice: Researcher Perspectives and Participation. International Journal of Digital Curation, 6(1), 199-213. https://doi.org/10.2218/ijdc.v6i1.182
+
+
Wilkinson, M., & Dumontier, M. (2016). The FAIR Guiding Principles for Scientific Data Management and Stewardship. 3(160018). https://doi.org/10.1038/sdata.2016.18
@@ -563,7 +567,7 @@
Referencias
-
+
diff --git a/docs/search_index.json b/docs/search_index.json
index 1bcdef8..daec216 100644
--- a/docs/search_index.json
+++ b/docs/search_index.json
@@ -1 +1 @@
-[["index.html", "Ciencia Social Abierta Presentación", " Ciencia Social Abierta 04 octubre 2021 Presentación "],["introducción.html", "Capítulo 1 Introducción", " Capítulo 1 Introducción Este trabajo se trata de "],["diseño-transparente.html", "Capítulo 2 Diseño transparente", " Capítulo 2 Diseño transparente Uno de los principios que guía el quehacer científico es el escepticismo organizado (Merton, 1973). Ningún hallazgo se acepta porque sí, sino que los científicos deben demostrarle a otros miembros de la comunidad científica que sus hallazgos son válidos. En orden de lograr esto es que se han desarrollado varios tipos de herramientas como los indicadores de impacto, la revisión por pares o las convenciones para el reporte de análisis estadístico. Sin embargo, casos como los de Diderik Stapel han dejado al descubierto que este tipo de herramientas pueden no ser suficientes para asegurar la credibilidad de los hallazgos científicos. Diderik Stapel fue un investigador en el campo de la psicología social. Su carrera se caracterizó por una trayectoria ejemplar: entre 1995 y 2015 publicó aproximadamente 150 artículos en revistas científicas, algunas de las más prestigiosas (e.g. Science). También, fue galardonado con el premio a la trayectoria académica por la Sociedad de Psicología Social Experimental (SSEP, por sus siglas en inglés). Stapel llegó a ser una figura reconocida en su área, sin embargo, todo cambió el año 2011 cuando se confirmó que gran parte de sus artículos contenían datos inventados. La investigación final de su caso determinó que más de 50 de sus artículos eran fraudulentos (Carey, 2011). De hecho, Stapel figura dentro de los diez investigadores con más artículos retractados (58) en Retraction Watch, una plataforma que se dedica a sistematizar y mantener una lista actualizada sobre retracciones de artículos. A efectos de este escrito, lo más destacable es que Stapel cometió mala conducta académica durante más de 15 años. ¿Cómo fue esto posible? ¿cómo ninguno de sus colegas, alumnos o coautores se dio cuenta de sus malas prácticas? La respuesta tiene que ver con el concepto central de este capítulo: por la falta de transparencia durante el proceso de investigación. Stapel se caracterizaba por hacer el trabajo solo y a puertas cerradas, es decir, nadie más que él tenía acceso a los datos brutos, ni tampoco a la ejecución de las pruebas estadísticas. Generalmente, sólo compartía con sus colegas los datos procesados y con los análisis ya efectuados. A raíz de esta forma de trabajo es que se abría la oportunidad para que Stapel inventara datos a su conveniencia. Como nadie más colaboraba con el procesamiento de datos, ni tampoco parecía extraño que así fuera, Stapel pudo sostener una trayectoria académica destacable en base a la falta de transparencia. El ejemplo de Stapel es solo una forma de poner en discusión la importancia de la transparencia en el proceso de investigación. Siguiendo esta línea, este capítulo busca presentar una primera aproximación, tanto teórica como práctica, sobre la transparencia en la investigación social. El objetivo es que investigadoras e investigadores de las ciencias sociales empíricas se introduzcan en la temática de la transparencia, así como también que conozcan las principales herramientas que se están utilizando para adoptarla. Referencias "],["sobre-la-transparencia.html", "2.1 Sobre la transparencia", " 2.1 Sobre la transparencia La transparencia es un concepto multidimensional. Elliott (2020) propone entender la transparencia en torno a cuatro preguntas: ¿por qué?, ¿quién? ¿qué? y ¿cómo? (ver Figura N° 2.1). Cada una de estas preguntas se relaciona a una dimensión. La primera pregunta (¿por qué?) se refiere a las razones y propósitos por los cuales es necesario adoptar la transparencia; la segunda pregunta (¿quién?) apunta a la audiencia que está recibiendo la información; la tercera pregunta (¿qué?) hace alusión al contenido que es transparentado y la cuarta pregunta (¿cómo?) consiste en cuatro dimensiones distintas sobre cómo adoptar la transparencia: actores, mecanismos, tiempo y espacios. También, esta taxonomía estipula una dimensión sobre las amenazas que podrían afectar a las iniciativas que busquen promover la transparencia. A raíz de estas dimensiones podemos comprender qué tipo de prácticas y situaciones caben dentro del concepto de transparencia. Figura 2.1: Taxonomía de Transparencia Basándonos en esta taxonomía, presentaremos una propuesta sobre qué se entiende por transparencia en las ciencias sociales y cómo podemos adquirir prácticas orientadas a este principio. Nuestra propuesta es entender la transparencia como la apertura pública del diseño de investigación, lo que incluye todo tipo de información importante para la ejecución del estudio, desde las hipótesis hasta el plan de análisis. Esto permitirá que las personas que lean los hallazgos de investigación (ya sean científicos o la ciudadanía) puedan evaluar la credibilidad de estos y descartar la influencia de prácticas cuestionables de investigación. Para llevar a la práctica esta propuesta, presentaremos la elaboración de preregistros como una de las principales herramientas que contribuyen a hacer público el diseño, además de otras que complementan su uso. Referencias "],["por-qué.html", "2.2 ¿Por qué?", " 2.2 ¿Por qué? La pregunta del por qué es necesario avanzar hacia la transparencia encuentra su respuesta en la existencia de prácticas de investigación que merman la credibilidad de los hallazgos científicos. A modo de entender qué es lo problemático de ciertas prácticas, es que Steneck (2006) propone el concepto de Conducta Responsable de Investigación (RCR, por sus siglas en inglés) como un ideal que engloba prácticas éticas e íntegras dentro de la investigación científica (ver Figura N° 2.2). Según este autor, la distinción entre la ética y la integridad recae en que la primera tiene que ver con seguir principios morales dentro de la investigación (e.g. usar consentimientos informados), en cambio, la segunda está más relacionada con el seguimiento de códigos de conductas y estándares profesionales (Abril Ruiz, 2019). Figura 2.2: Conducta Responsable de Investigación. Imagen de Abril Ruiz (2019) basada en Steneck (2006) Las prácticas de investigación se pueden evaluar en un continuo que representa cuánto adhieren los investigadores a los principios de integridad científica (Steneck, 2006). La Figura N° 2.3 esquematiza esta idea mostrando dos extremos, donde a la izquierda está el mejor comportamiento (RCR) y a la derecha el peor comportamiento (FFP). Las FFP son una abreviación en lengua inglesa para referirse a Fabrication, Falsification, Plagiarism (Invención, Falsificación y Plagio), también conocidas como mala conducta académica. En el medio del continuo están las prácticas cuestionables de investigación (QRP, por sus siglas en inglés) las cuales refieren a las acciones que violan los valores tradicionales de la empresa de investigación y que pueden ser perjudiciales para el proceso de investigación (National Academies of Science 1992 en Steneck, 2006, p. 58). Las QRP se caracterizan porque tienen el potencial de dañar la ciencia, en tanto las FFP la dañan directamente. Figura 2.3: Gradación del comportamiento integro en investigación. Imagen de Abril Ruiz (2019) basada en Steneck (2006) La mala conducta académica implica la violación de los principios de integridad científica. Esto se relaciona con el falseamiento de datos de cualquier forma: invención de datos, alteración de gráficos o tablas, entre otros. El caso de Diderik Stapel presentado en la introducción de este capítulo es un ejemplo que cabe dentro del concepto de mala conducta académica. Según la literatura, la prevalencia de este tipo de prácticas no es alta (e.g. Fanelli, 2009; John et al., 2012), sino que más bien son casos aislados (ver Abril Ruiz, 2019, pp. 23-128 para una revisión). En contraste, las QRP han demostrado ser más prevalentes. 2.2.1 Prácticas cuestionables de investigación (QRP) Existen una serie de estudios que han intentado medir directamente la prevalencia de estas prácticas a través de encuestas. Fanelli (2009) hizo un metaanálisis que tenía por objetivo sistematizar los resultados de estudios que hasta esa fecha habían abordado las prácticas de investigación desde encuestas cuantitativas. Los resultados mostraron que un 1.97% de investigadores había inventado datos al menos una vez (FFP) y que un 33.7% había realizado alguna vez una QRP como borrar puntos de los datos basados en un sentimiento visceral. Unos años más tarde, John et al. (2012) efectuaron otro estudio similar, demostrando que un 36.6% de quienes participaron alguna vez habían practicado alguna QRP. En detalle, analizando los porcentajes práctica a práctica los resultados muestran que el 50% de los psicólogos encuestados alguna vez reportaron selectivamente estudios que apoyaran sus hipótesis; un 35% alguna vez reportaron resultados inesperados como esperados; y un 2% alguna vez reportó datos falsos. Este estudio ha sido replicado en Italia (Agnoli et al., 2017), en Alemania (Fiedler & Schwarz, 2016) y en Brasil (Rabelo et al., 2020). Más recientemente, han emergido estudios similares en otras áreas disciplinarias. Por ejemplo, a través de encuestas online Makel et al. (2021) logran constatar que existe una prevalencia considerable de las QRP en el campo de investigación educacional. De los participantes de la muestra, un 10% admitió haber rellenado datos faltantes (NAs) y un 67% señaló alguna vez haber omitido ciertos análisis de manera intencional. Siguiendo el mismo método, en el campo de la investigación comunicacional se ha encontrado evidencia parecida: 9% de los encuestados señala haber imputado datos faltantes sin reportarlo, un 34% declaró alguna vez haber excluido casos extremos de forma arbitraria y un 60% señala no haber reportado análisis con variables clave que no funcionaron. Del mismo modo, en los estudios cuantitativos sobre criminología existe un uso extendido de las QRP: un 87% de la muestra de Chin et al. (2021) ha utilizado múltiples QRP, siendo el reporte selectivo de resultados el más común (53%). Por último, fuera del área de las ciencias sociales, pero siguiendo la misma línea, Fraser et al. (2018) también encuentran evidencia a favor de la existencia de distintas QRP en el campo de la ecología y evolución. Los estudios mencionados arriba corresponden a la evidencia existente sobre la medición de QRP a través de encuestas. A modo de resumen, la Tabla N° 2.1 adaptada del trabajo de Chin et al. (2021) agrupa la información que hemos revisado (y más), ordenándose por prácticas, campos de estudio y los artículos correspondientes a cada campo de estudio. Los números dentro de las casillas representan el porcentaje de prevalencia de cada práctica reportado por los participantes del estudio, y entre paréntesis el número de casos de la muestra. Los guiones significan que este estudio no incluyó esa práctica en el cuestionario. Tabla 2.1: Porcentajes de prevelanecia por QRP según distintos trabajos.. Práctica Psicología Psicología Psicología Ecología Evolución Educación Comunicación John et al. (2012) Agnoli et al. (2017) Rabelo et al. (2020) Fraser et al. (2018) Fraser et al. (2018) Makel et al. (2021) Bakker et al. (2020) Omitir estudios o variables ni significativas 46 (485) 40 (217) 55 (232) - - 62 (783) 60 Subreportar resultados 63 (486) 48 (219) 22 (232) 64 64 67 (871) 64 Subreportar condiciones 28 (484) 16 (219) 35 (232) - - - - Muestreo selectivo 56 (490) 53 (221) 22 (232) 37 51 29 (806) 23 Excluir datos selectivamente 38 (484) 40 (219) 20 (232) 24 24 25 (806) 34 Excluir covariables selectivamente - - - - - 42 (773) 46 Cambiar análisis selectivamente - - - - - 50 (811) 45 HARK 27 (489) 37 (219) 9 (232) 49 54 46 (880) 46 Redondear valores p 22 (499) 22 (221) 18 (232) 27 18 29 (806) 24 Mal orientar respecto a los efectos de sociodemográficos 3 (499) 3 (223) 4 (232) - - - - Esconder problemas - - - - - 24 (889) - Esconder imputaciones 1 (495) 2 (220) 1 (232) 5 2 10 (898) 9 Como se observa en la Tabla N° 2.1, las encuestas sobre QRP han incluido varias prácticas relativas al tratamiento y análisis de los datos. No obstante, consideramos que existen tres términos que, en su mayoría, logran sintetizar esta tabla y que están relacionados a la transparencia en los diseños de investigación. Estas son: 1) los sesgos de publicación, 2) el p-hacking y el 3) HARKing. Sesgo de publicación El sesgo de publicación ocurre cuando el criterio determinante para que un artículo sea publicado es que sus resultados sean significativos, en desmedro de la publicación de resultados no significativos. Un ejemplo ilustrativo que usan Christensen et al. (2019) para explicar esta práctica es el cómic xkcd titulado Significant. Este cómic (Figura N 2.4) muestra cómo es que un hallazgo de investigación sufre del sesgo de publicación. Al publicarse únicamente el resultado significativo e ignorándose los otros 19 no significativos, cualquier lector tendería a pensar que efectivamente las gominolas verdes causan acné, cuando probablemente sea una coincidencia. El trabajo de Rosenthal (1979) fue de los primeros en llamar la atención respecto de esta práctica, adjudicando el concepto de file drawer problem (en español: problema del cajón de archivos), el que hace alusión a los resultados que se pierden o quedan archivados dentro de un cuerpo de literatura. Desde ese estudio en adelante varios autores han contribuido con evidencia empírica sobre el sesgo de publicación. Por ejemplo, el estudio de Franco et al. (2014) logra cuantificar esta situación encontrando que los resultados nulos tienen un 40% menos de probabilidades de ser publicados en revistas científicas, en comparación a estudios con resultados significativos. Es más, muchas veces los resultados nulos ni siquiera llegan a ser escritos: más de un 60% de los experimentos que componen la muestra del estudio de Franco et al. (2014) nunca llegaron a ser escritos, en contraste con el 10% de resultados significativos. Figura 2.4: Comic Significant de xkcd El principal problema del sesgo de publicación es que puede impactar en la credibilidad de cuerpos enteros de literatura. Por ejemplo, en economía se han hecho varios metaanálisis que han buscado estimar el sesgo de publicación en distintos cuerpos de literatura (e.g. Brodeur et al., 2016; Viscusi, 2014; Vivalt, 2015). Uno de los trabajos más concluyentes es el de Doucouliagos & Stanley (2013), quienes efectúan un metaanálisis de 87 artículos de metaanálisis en economía. En este trabajo encuentran que más de la mitad de los cuerpos de literatura revisados sufren de un sesgo sustancial o severo. Si bien en economía se ha avanzado mucho en este tipo de estudios, también a partir del desarrollo de distintos métodos de detección, se ha podido diagnosticar el sesgo de publicación en importantes revistas en sociología y ciencias políticas (A. Gerber & Malhotra, 2008; A. S. Gerber & Malhotra, 2008). P-hacking Otra práctica bastante cuestionada es el p-hacking. El p-hacking suele englobar muchas de las prácticas que vimos en un inicio, especialmente las que refieren al manejo de datos: excluir datos arbitrariamente, redondear un valor p, recolectar más datos posterior a hacer pruebas de hipótesis, entre otras. Lo que tienen todas estas prácticas en común y lo que define el p-hacking es que se da cuando el procesamiento de los datos tiene por objetivo obtener resultados significativos. Si el sesgo de publicación afecta la credibilidad de un cuerpo de literatura, el p-hacking afecta a la credibilidad de los artículos mismos, ya que al forzar la significancia estadística la probabilidad de que en realidad estemos frente a un falso positivo aumenta. Un trabajo que da sustento a esta idea es el de Simmons et al. (2011), quienes calculan la posibilidad de obtener un falso positivo (error Tipo I) de acuerdo con el nivel de grados de libertad que son utilizados por parte de los investigadores. El resultado principal es que a medida que aumenta el uso de grados de libertad, la posibilidad de obtener un falso positivo aumenta progresivamente. El p-hacking también contribuye a sesgar cuerpos enteros de literatura. Para diagnosticar esto se ha utilizado una herramienta denominada p-curve, la cual describe la densidad de los p-values reportados en una literatura, aprovechando el hecho de que si la hipótesis nula no se rechaza (es decir, sin efecto), los p-values deben distribuirse uniformemente entre 0 y 1 (Christensen et al., 2019, p. 67.). De esta manera, en cuerpos de literatura que no sufran de p-hacking, la distribución de valores p debería estar cargada a la izquierda (siendo precisos, asimétrica a la derecha), en cambio, si existe sesgo por p-hacking la distribución de p-values estaría cargada a la derecha (asimetría a la izquierda). Simonsohn et al. (2014) proponen esta herramienta y la prueban en dos muestras de artículos de la Journal of Personality and Social Psychology (JPSP). Las pruebas estadísticas consistieron en confirmar que la primera muestra de artículos (que presentaban signos de p-hacking) estaba sesgada, en cambio la segunda muestra (sin indicios de p-hacking), no lo estaba. Los resultados corroboraron las hipótesis, esto es: los artículos que presentaban solamente resultados con covariables resultaron tener una p-curve cargada a la derecha (asimétrica a la izquierda). HARKing Por último, pero no menos importante, está la práctica del HARKing. El nombre es una nomenclatura en lengua inglesa: Hypothesizing After the Results are Known, que literalmente significa establecer las hipótesis del estudio una vez que se conocen los resultados (Kerr, 1998). El principal problema de esta práctica es que confunde los dos tipos de razonamiento que están a la base de la ciencia: el exploratorio y el confirmatorio. El objetivo principal del razonamiento exploratorio es plantear hipótesis a partir del análisis de los datos, en cambio, el razonamiento confirmatorio busca plantear hipótesis basado en teoría y contrastar esas hipótesis con datos empíricos. Como señala Nosek et al. (2018), cuando se confunden ambos tipos de análisis y se hace pasar un razonamiento exploratorio como confirmatorio se está cometiendo un sesgo inherente, ya que se está generando un razonamiento circular: se plantean hipótesis a partir del comportamiento de los datos y se confirman las hipótesis con esos mismos datos Referencias "],["qué-y-quién.html", "2.3 ¿Qué? y ¿Quién?", " 2.3 ¿Qué? y ¿Quién? Preguntarse por el qué es básicamente cuestionarse sobre lo que se está poniendo a disposición del escrutinio público. Dentro de la literatura sobre ciencia abierta, son varios los contenidos que pueden ser transparentados. Por ejemplo, la apertura de los datos es una alternativa que, ciertamente, contribuye a hacer un estudio más transparente (Miguel et al., 2014). Al estar los datos abiertos al público, la posibilidad de escrutinio por parte de las audiencias es mayor. Otro ejemplo es la idea de disclosure, la cual se refiere a la declaración que hacen los investigadores respecto a si la investigación cuenta con conflictos de interés o si está sesgada de alguna manera. En base a esta idea, recientemente han emergido propuestas cómo las de OBoyle et al. (2017) que, además de la declaración de conflicto interés, llaman a adoptar declaraciones relacionadas a las QRP. Básicamente declarar si se ha cometido QRP o no durante el transcurso de la investigación. No obstante, la apertura pública de los diseños de investigación es, sin duda, la práctica que mejor representa la transparencia en el último tiempo. Como hemos revisado anteriormente, existe una emergente preocupación en las ciencias sociales respecto a la credibilidad de los hallazgos científicos y la influencia que pueden tener las QRP. En disciplinas como la psicología la apertura de los diseños de investigación ha sido la principal herramienta ante el diagnóstico que una parte considerable de los hallazgos eran irreproducibles o irreplicables (Camerer et al., 2018; Motyl et al., 2017; Wingen et al., 2020). Ante un diagnóstico similar en sociología (Breznau et al., 2021), en ciencias de la gestión (Byington & Felps, 2017) y en economía (Gall et al., 2017), por dar algunos ejemplos, también se ha reconocido la apertura del diseño de investigación como una herramienta importante para avanzar hacia la transparencia. A razón de esto, es que nuestra propuesta se focaliza en la apertura de los diseños de investigación y el uso de preregistros. Además de preguntarse por los contenidos que se transparentan, también es relevante hacer un alcance respecto al quién. Esto es tener en consideración quiénes van a recibir la información que sea transparentada. En principio, los hallazgos de la investigación científica son un bien público -o están pensados para serlo-. Si bien en algunos países o áreas especificas del conocimiento el financiamiento de la ciencia es por parte de privados, la investigación en ciencias sociales en Chile se financia con los impuestos de los habitantes. Organismos como la Agencia Nacional de Investigación y Desarrollo de Chile (ANID), quienes están encargados de la administración de fondos para la ciencia, tienen un rol público, por lo que los hallazgos no solo sirven para alimentar el avance del conocimiento dentro de la academia, sino que también son insumos relevantes para los tomadores de decisiones y/o para cualquier ciudadano que se podría beneficiar de esos hallazgos. En consiguiente, cualquier tipo de información que sea transparente es un insumo más para que distintos tipos de audiencias puedan beneficiarse de hallazgos más creíbles y robustos. Ya sean investigadores, tomadores de decisión o la ciudadanía. Referencias "],["cómo.html", "2.4 ¿Cómo?", " 2.4 ¿Cómo? Una buena forma de introducir el cómo adoptar la transparencia son las Transparency and Openess Promotion (TOP) Guidelines (Guías para la Promoción de la Transparencia y la Accesibilidad). Las TOP Guidelines son una iniciativa del Centro para la Ciencia Abierta (COS, por sus siglas en inglés) que busca fomentar la ciencia abierta a partir de la adopción de distintos principios. Su objetivo es que tanto los investigadores como las revistas científicas adhieran a prácticas transparentes. Los principios van desde temas de citación, hasta la replicabilidad (ver el detalle sobre esta propuesta en https://osf.io/9f6gx/). Si bien esta es una iniciativa que incluye principios que escapan del enfoque de este capítulo, es un buen punto de partida ya que permite situar la transparencia en el diseño de investigación y el uso de preregistros como parte de una red de principios más grandes a instalar en la ciencia. Además, permite dar cuenta que ya existe un conjunto de actores preocupados por temáticas de ciencia abierta, que han reconocido la transparencia en los diseños de investigación como un principio importante por adoptar. En lo que sigue, revisaremos cómo los preregistros logran fomentar la transparencia en los diseños de investigación. 2.4.1 Preregistros Los preregistros son una marca temporal sobre las decisiones del diseño, el método y el análisis de un artículo científico y se suelen hacer antes del levantamiento de datos (Stewart et al., 2020). Básicamente, preregistrar un estudio implica que un grupo de investigadores dejarán por escrito una pauta de investigación, la cual seguirán cuando desarrollen la investigación, especialmente la recopilación y el análisis de los datos. El objetivo del preregistro es reducir el margen de flexibilidad que tienen los investigadores a la hora de analizar los datos. El que exista una guía sobre qué hipótesis probar y qué análisis realizar hace menos probable que los científicos recurran en prácticas como el sesgo de publicación, p haking o el HARKing. Como vimos, el sesgo de publicación se trata de publicar selectivamente los resultados de investigación: resultados que no hayan sido significativos, o hipótesis que no funcionaron simplemente se omiten. Sin embargo, cuando existe un documento como un preregistro, el cual deja estipulado claramente las hipótesis que deben ponerse a prueba y los análisis que se emplearán para ello, se torna más difícil reportar selectivamente los resultados. Dicho de otra forma, cuando existe una pauta a la cual apegarse, la discrecionalidad en el reporte de los resultados disminuye. En el caso del p-hacking, el efecto del preregistro es parecido. El p-hacking consiste en abusar de las pruebas estadísticas para obtener resultados significativos. Abusar en el sentido de buscar toda vía posible para obtener un valor p que confirme las hipótesis planteadas. El hecho de preregistrar el plan de análisis y el procesamiento que se le efectuará a las variables permite evitar este tipo de búsqueda intencionada: como hay una guía que seguir, cualquier desviación debe ser justificada. En esta misma línea, un preregistro evita el HARKing ya que las hipótesis están previamente planteadas y no es posible cambiarlas una vez que se han visto los resultados. En suma, el plantear un registro a priori de la investigación, disminuye la flexibilidad que suele dar paso a las QRP. Existen resquemores respecto del uso de preregistros de los que es preciso hacerse cargo. Una de las principales preocupaciones es que el uso de preregistros tendería a coartar la creatividad y la producción de conocimiento exploratorio (Moore, 2016). La lógica es que, como cada parte de la investigación debe ser registrada detalladamente previo a la recopilación, no queda espacio para la espontaneidad durante el análisis de datos. Sin embargo, más que inhibir la investigación exploratoria, el objetivo de preregistar un estudio es separar la investigación confirmatoria (pruebas de hipótesis) y la exploratoria (generación de hipótesis) (Nosek et al., 2018). En ese sentido, es posible la investigación exploratoria bajo el modelo de preregistros, solo que hay que especificarla como tal. Una segunda creencia es que realizar un preregistro añade un nivel de escrutinio mayor del necesario, es decir, como se conoce cada detalle, la investigación se vuelve un blanco fácil de críticas. Sin embargo, la situación es todo lo contrario (Moore, 2016). Por ejemplo, haber preregistrado un plan de análisis para una regresión logística binaria con datos que originalmente eran ordinales hará más creíble los resultados, ya que quienes evalúen la investigación tendrán pruebas de que el nivel de medición no se cambió solo para obtener resultados significativos. Una tercera idea en torno a los preregistros es que conllevan una gran inversión de tiempo y energía. Si bien es cierto que se añade un paso más al proceso de investigación, el avance en la temática ha logrado que existan una variedad de plantillas que hacen el proceso más rápido y eficiente. Desde una lógica racional, el tiempo que toma este paso nuevo en la investigación es un costo bajo en contraste a los beneficios que trae. La característica más importante de los preregistros es que sean elaborados previo al análisis de datos y deseablemente previo a su recopilación. Este requisito es lo que permite asegurar la credibilidad de los resultados, ya que si no hay datos que alterar, entonces las probabilidades de que ocurra una QRP son básicamente nulas. Generalmente, para las ciencias médicas o la psicología experimental (disciplinas donde cada vez se usan más los preregistros), esto no suele ser un problema ya que se utilizan diseños experimentales. Estos se apegan al método científico clásico: se plantean hipótesis basadas en la teoría, se diseña un experimento para probar esas hipótesis y luego se recopilan y analizan los datos para ver si dan soporte a las hipótesis planteadas. Sin embargo, en muchas disciplinas de las ciencias sociales los diseños experimentales son una pequeña fracción del conjunto de la literatura (e.g. según Card et al., 2011, en 2010, solo un 3% de los artículos en las mejores revistas de economía eran experimentales), y lo que prima son los diseños observacionales con datos secundarios. A diferencia de los estudios experimentales, en los estudios con datos preexistentes se afecta el principal componente de credibilidad de los preregistros. Nada puede asegurar que los datos fueron analizados antes de la escritura del preregistro y que, por ejemplo, las hipótesis se están planteando una vez conocidos los patrones significativos (HARKing). De ahí que nace la pregunta sobre la posibilidad de utilizar preregistros en estudios con datos preexistentes. En la literatura sobre preregistros se han discutido los desafíos que implica preregistrar estudios que utilicen datos preexistentes (e.g. Editors, 2014). Existen posturas que proponen que, en realidad, no existe una forma creíble para preregistrar este tipo de estudios (Christensen & Miguel, 2018). No obstante, otras posturas han profundizado en las situaciones en las que aún es posible preregistrar estudios con datos elaborados previamente. Burlig (2018) propone tres escenarios donde el preregistro de datos observacionales es valioso. El primero es, básicamente, cuando los investigadores que diseñaron la investigación generan sus propios datos, en este caso, los investigadores sí pueden elaborar un preregistro previo a la recolección de datos. El segundo escenario se da cuando se preregistra un estudio que tiene como objeto de interés un suceso que aún no ha ocurrido, lo que se conoce como estudios prospectivos. Por ejemplo, un grupo de investigadores puede estar interesado en el efecto que tendrá la introducción de una ley en las prácticas sociales, o el efecto de un tratado en las variaciones del PIB. Para esos casos, el preregistro aún mantiene su validez original ya que, si bien los datos ya existen, no es posible hacer los análisis antes del preregistro porque el evento de interés no ha ocurrido. El tercer escenario ocurre cuando los datos existen, pero no están abiertos al público. En estos casos, es la accesibilidad lo que determina la credibilidad del preregistro. Por ejemplo, el grupo de investigadores que elaboraron los datos pueden establecer que serán accesibles con previo contacto y que se solicitará un preregistro. Por ende, en orden de analizar los datos, los investigadores interesados deberán elaborar un preregistro para utilizar los datos. Conforme a lo anterior, Mertens & Krypotos (2019) proponen dos prácticas para asegurar la credibilidad de un preregistro con datos secundarios. Primero, que el grupo de investigadores que analiza los datos sea distinto e independiente de quien propuso el diseño de investigación y segundo, que el equipo realice sintaxis de análisis con datos simulados, con tal de demostrar que las hipótesis ya existían previas a acceder a los datos. Estas propuestas muestran que el requisito sobre la temporalidad del preregistro puede. La recomendación más transversal y a la vez simple para preregistrar análisis con datos secundarios, es ser sincero y claro respecto a lo que se ha hecho y lo que no (Lindsay, 2020 ; Nosek et al., 2018). Por ejemplo, reportar si es que se ha leído el reporte descriptivo sobre la base de datos o si se tiene conocimiento de algún tipo de patrón de los datos. Es preciso transparentar cualquier tipo de aproximación a los datos previo haberlos analizado. Para lograr este nivel de detalle y ser eficiente con los tiempos y la comunicación hacia otros investigadores, es que existen plantillas predeterminadas para preregistrar distintos tipos de artículos en diferentes situaciones. En la siguiente sección presentaremos las plantillas más usadas. Referencias "],["herramientas-para-los-diseños-transparentes.html", "2.5 Herramientas para los diseños transparentes", " 2.5 Herramientas para los diseños transparentes Nuestra principal apuesta para promover la transparencia en los diseños de investigación son los preregistros, por lo que es a lo que le dedicaremos más espacio de esta sección. De todos modos, también revisaremos un par de herramientas que pueden complementar el uso de preregistros. Esperamos que, posterior a esta sección, el lector pueda ser capaz de utilizar estas herramientas para sus investigaciones. 2.5.1 Plantillas de preregistro En la práctica, preregistrar un artículo es básicamente sintetizar la información importante sobre nuestra investigación en una plantilla estandarizada y alojar ese documento en un lugar público. Por lo que el primer paso para elaborar un preregistro es elegir la plantilla correcta. Existen plantillas estandarizadas que están estructuradas de tal forma que son útiles para preregistrar estudios de cualquier disciplina, así como también existen plantillas dedicadas a una disciplina o a situaciones particulares. En este apartado presentaremos plantillas bajo cuatro categorías: a) plantillas genéricas, b) plantillas para experimentos y previas a recolección de datos, c) plantillas para datos existentes/secundarios, c) plantillas para estudios de replicación y d) plantillas para registered reports. Además de proveer una descripción de cada una, orientaremos al lector para elegir una plantilla de acuerdo al tipo de investigación que está desarrollando. El Open Science Framework (OSF), que en español se traduce como un marco de referencia para la ciencia abierta, actúa cómo una herramienta y un repositorio que alberga las plantillas que trataremos en esta sección (y más). Para ver todas las plantillas disponibles en OSF hacer clic en el siguiente enlace: https://osf.io/zab38/wiki/home/. 2.5.1.1 Plantillas Genéricas Las plantillas genéricas son aquellas que pueden ser utilizadas independientemente de las características del estudio, ya que suelen incluir campos que abordan distintos tipos de situaciones (e.g. si un estudio es experimental o observacional). Acá revisaremos dos plantillas genéricas, la plantilla estándar de AsPredicted, y la plantilla estándar de OSF. AsPredicted La plantilla de AsPredicted es quizás una de las más conocidas para hacer preregistros, dado que está estandarizada y puede ser utilizada en cualquier disciplina. Recomendamos utilizarla cuando lo que se busque es optimizar tiempo y energías. La plantilla cuenta solamente con nueve preguntas clave que aplican a cualquier tipo de artículo. Esta plantilla la podemos encontrar tanto en OSF, como en la página de AsPredicted, en este caso, mostraremos cómo es el proceso en la página original. Partimos por entrar a la página de AsPredicted, donde veremos algo similar a la Figura N° 2.5. Acá se nos da la opción de crear un preregistro, de ver los que ya hemos hecho (si es que ese es el caso) y también una breve descripción de AsPredicted. A grandes rasgos, la página nos dice que AsPredicted es una plataforma que busca facilitar el preregistro de estudios por parte de los investigadores a través de nueve simples preguntas. La página genera un documento .pdf y una URL asociada. También, cuenta cómo funciona el preregistro. Básicamente, un autor elabora un preregistro de un estudio y los coautores reciben un mail para aprobar ese preregistro. Una vez aprobado por todos los autores, el preregistro queda alojado en la plataforma de manera privada, y no cambia hasta que un autor decida hacerlo público. Además, en caso de que el estudio entre en revisión por pares, se puede enviar una versión anónima del preregistro. Por último, nos entrega una recomendación sobre qué hacer en el caso de que el proceso de investigación no haya podido apegarse totalmente a lo predicho. Figura 2.5: Botón para comenzar un preregistro Para elaborar un preregistro debemos hacer click en el rectángulo azul que dice Create. Una vez hecho eso, nos pedirá una dirección de email para continuar. Cuando ingresemos un email, nos enviará un enlace al email que hayamos ingresado, con ese enlace podremos comenzar el preregistro. Una vez hayamos entrado en el enlace, veremos la plantilla de preregistro. Lo primero que aparece es una sección donde debemos escribir los emails de los autores colaboradores del estudio. También, nos da la opción de añadir otros emails además del que hemos introducido. Una vez pasada esta parte, ya nos encontramos con las preguntas del preregistro, que son las siguientes: Recogida de datos. ¿Se han recogido ya datos para este estudio? Hipótesis. ¿Cuál es la pregunta principal que se plantea o la hipótesis que se pone a prueba en este estudio? Variable dependiente. Describa la(s) variable(s) dependiente(s) clave especificando cómo se medirán. Condiciones. ¿Cuántos y qué condiciones se asignarán a los participantes? Análisis. Especifique exactamente qué análisis realizará para examinar la pregunta/hipótesis principal. Valores atípicos y exclusiones. Describa exactamente cómo se definirán y tratarán los valores atípicos, así como su(s) regla(s) precisa(s) para excluir las observaciones. Tamaño de la muestra. ¿Cuántas observaciones se recogerán o qué determinará el tamaño de la muestra? Otros. ¿Hay algo más que quiera preinscribir? Nombre. Poner un título a este preregistro de AsPredicted Finalmente. A efectos de registro, indíquenos el tipo de estudio que está preinscribiendo. Las preguntas son bastante autoexplicativas, pero no está de más entregar algunos detalles adicionales. En la pregunta de recolección de datos, las opciones son tres: Sí, se han recolectado datos, No, no se han recolectado datos y Es complicado. Es importante mencionar que, en esta plantilla, la respuesta de que se han recolectado datos no es válida, por lo que si se está llevando a cabo un estudio con datos secundarios hay que responder Es complicado y en la pregunta 8 de la plantilla especificar por qué este preregistro sigue siendo válido pese a que los datos son preexistentes. Otro detalle importante es que cada pregunta está pensada para ser respuesta en aproximadamente una oración. Esta plantilla tiene el objetivo de ser lo más eficiente posible, por lo que, en general, se recomienda que todo el documento no pase de los 3200 caracteres. Otro detalle que especificar es que la pregunta acerca del tipo de estudio que se está preregistrando también es semicerrada, tenemos las opciones de: Proyecto de clase, Experimento, Encuesta, Estudio observacional y Otro. Es responsabilidad de quien hace el preregistro el seleccionar la opción que más se asemeje a su situación. Por último, es importante señalar que el preregistro, al menos en la página de AsPredicted, solo puede ser rellenado en inglés, por lo que en caso de utilizar otro idioma solicitará traducirlo. OSF Estándar La plantilla estándar de OSF también es de carácter general y busca abarcar distintas situaciones y tipos de estudios. La diferencia que tiene con la plantilla de AsPredicted es que contiene más preguntas y más detalladas. Por ejemplo, contiene preguntas relativas a en qué momento específico se está efectuando el preregistro (i.e antes de recopilar los datos, antes de cualquier observación humana a los datos, antes de acceder a los datos, entre otros) o si se harán transformaciones de las variables y su nivel de medición. La plantilla puede verse en este enlace: https://osf.io/preprints/metaarxiv/epgjd/. A continuación, veremos el inicio del proceso para registrar en OSF, el cual sirve tanto para la plantilla estándar como para otras que veremos más adelante. El primer paso es acceder a la sección específica de preregistros de la página de OSF, la cual se encuentra en el siguiente enlace: https://osf.io/prereg/ (para usar este servicio es necesario tener una cuenta). Si entramos al enlace, la apariencia de la página será algo similar a la Figura N° 2.6. Seleccionemos Start a new preregistration, le damos un nombre al proyecto y hacemos click en Continue. En la página siguiente, podemos ver que hemos creado un proyecto nuevo en OSF, el cual nos da la opción de preregistrarlo haciendo click en el botón New registration. Figura 2.6: Opciones para comenzar un preregistro en OSF En la Figura N° 2.7 podemos ver dos cosas. Primero, la descripción de lo que está haciendo OSF al comenzar un nuevo preregistro, lo que en pocas palabras es una versión no modificable del proyecto al momento que hacemos el preregistro. En otras palabras, es una versión congelada del proyecto en OSF. Segundo, también se aprecia una serie de opciones para preregistrar, estas son las plantillas que mencionamos anteriormente. OSF nos ofrece distintas plantillas de acuerdo con el carácter que tiene nuestro estudio. Figura 2.7: Opciones de plantilla de pre-reistro El primer paso es escoger la plantilla de acuerdo a la situación en la que nos encontremos. En este caso, seleccionamos la plantilla estándar de OSF. Una vez hayamos hecho eso, será necesario llenar los metadatos del estudio (e.g. Figura N° 2.8). Esta sección es transversal a todas las plantillas y consiste en registrar el título, descripción, contribuyentes, entre otras cosas que ayudan a identificar el proyecto. Figura 2.8: Ejemplo de campos de metadatos para rellenar Una vez hayamos rellenado los campos correspondientes a los metadatos, podemos rellenar la plantilla de preregistro. Con los campos rellenados podremos proceder a preregistrar nuestro proyecto. 2.5.1.2 Plantillas para diseños experimentales y previas a recolección de datos Considerando que el sentido original de un preregistro es que sea elaborado previo a la recolección y análisis de los datos, en principio cualquier plantilla genérica podría servir. Por ejemplo, la plantilla estándar de OSF ofrece preguntas detalladas que refieren al uso de diseños experimentales (i.e. cuáles son las condiciones de tratamiento o quiénes están al tanto de las manipulaciones experimentales del estudio). Sin embargo, OSF ofrece una vía alternativa para preregistrar estudios previo a la recolección de datos a través de la plantilla OSF-Standard Pre-Data Collection pre-registration. Esta plantilla es un complemento de la plantilla estándar y se utiliza solamente si es que el preregistro original está archivado en un documento. Esto quiere decir que, en el caso de que el equipo de investigación no haya usado el flujo de preregistro de OSF, sino que ya cuenta con un archivo que alberga el preregistro del estudio, entonces puede escoger esta plantilla de complemento para no efectuar todo el proceso de nuevo. Esta plantilla agrega algunas preguntas cruciales sobre la recopilación de datos, siendo las siguientes: ¿Ha comenzado la recogida de datos para este proyecto? No, la recopilación de datos no ha comenzado Sí, la recopilación de datos está en curso o se ha completado ¿Ha mirado los datos? Sí No Otros comentarios 2.5.1.3 Plantillas para datos secundarios En el último tiempo se ha comenzado a considerar cómo es que investigadores de las ciencias sociales empíricas que trabajan con datos preexistentes pueden, de todas maneras, preregistrar sus estudios para asegurar la credibilidad de sus hallazgos. Si bien OSF cuenta con una plantilla tipo para este tipo de situaciones (ver en https://osf.io/x4gzt/), nosotros recomendamos la plantilla de Mertens & Krypotos (2019) dada la simpleza y exhaustividad de sus preguntas. La plantilla de Mertens & Krypotos (2019) se puede ver en el siguiente enlace: ttps://osf.io/p26rq/. Esta plantilla está dirigida a investigadores que usen datos secundarios. Hace más simple el proceso de preregistro al enfocarse en las preguntas que se asemejan realmente a la situación del investigador que trabaja con grandes encuestas o datos administrativos, lo cual es muchas veces el caso en disciplinas como sociología, ciencias políticas o economía. Esta plantilla cuenta con las siguientes diez preguntas: ¿Cuál es la hipótesis que se investigará? ¿Cómo se operacionalizarán las variables cruciales? ¿Cuál es la fuente de los datos incluidos en los análisis? ¿Cómo se obtendrán estos datos? ¿Hay algún criterio de exclusión de los datos? ¿Cuáles son los análisis estadísticos previstos? ¿Cuáles son los criterios para confirmar y desconfirmar las hipótesis? ¿Se han validado los análisis con un subconjunto de datos? En caso afirmativo, facilite los archivos de datos y la sintaxis de los mismos. ¿Qué se sabe sobre los datos que podría ser relevante para las hipótesis probadas? Facilite un breve calendario para los diferentes pasos del prerregistro. Como podemos ver, además de los campos que se pueden encontrar en cualquier plantilla como la especificación de las hipótesis del estudio o los criterios de exclusión de datos, esta plantilla hace preguntas relativas al nivel de conocimiento previo de los datos. Por ejemplo, en la pregunta 4 solicita especificar la fuente de los datos. Como son datos secundarios, esto implica detallar cómo se accederá o serán solicitados los datos: si es que es necesario rellenar algún formulario o contactar a alguien en específico para obtener acceso. También, en la pregunta 9 se solicita describir cualquier conocimiento de algún patrón en los datos que sea relevante para la pregunta de investigación (e.g. la media o la mediana de una variable). Estos son ejemplos de preguntas que hacen esta plantilla útil para los investigadores que trabajen con datos preexistentes y que quieran preregistrar sus estudios. 2.5.1.4 Plantillas para estudios de replicación Tratar en extenso qué es y cómo se hace un estudio de replicación escapa de los objetivos de este capítulo, sin embargo, es una práctica de la ciencia abierta que no podemos dejar fuera ya que también cuenta con una plantilla para prerregistro. Replicar un estudio significa regenerar los hallazgos de un estudio, siguiendo sus hipótesis y plan de análisis, pero con datos distintos. OSF ofrece dos plantillas para investigadores que tienen el objetivo de replicar un estudio. La primera es una plantilla para estudios de replicación previo a su ejecución, la cual incluye una serie de preguntas relativas al estudio original, por ejemplo, qué efecto se está buscando replicar, por qué es importante replicarlo o en qué área geográfica fue conducido el estudio original. Esta plantilla se puede ver en el siguiente enlace: https://osf.io/4jd46/. La segunda plantilla es para estudios de replicación que ya han sido completados. En este caso, las pvreguntas están relacionadas a los hallazgos del estudio de replicación, por ejemplo, cuál fue el efecto obtenido en la replicación y si se considera que este efecto logra replicar los resultados originales o no. El enlace para esta plantilla se puede encontrar en este enlace: https://osf.io/9rp6j/. 2.5.1.5 Plantillas para registered reports Cómo veremos en la siguiente sección, los registered reports son un modelo alternativo de publicación donde el diseño del estudio pasa por un proceso de revisión por pares, a diferencia del modelo tradicional donde el documento que pasa por revisión por pares es el artículo finalizado. La plantilla que ofrece OSF es para estudios que han sido aceptados en la revisión por pares en una revista académica que cuenta con el modelo de registered reports. El objetivo de esta plantilla es poder dejar un registro público sobre el artículo en proceso, por lo que la plantilla de preregistro consta de, básicamente, una sección para el título del artículo, la fecha de aceptación, el manuscrito y archivos complementarios. Esta plantilla se puede ver en este enlace: https://osf.io/gm36s/. Referencias "],["otras-herramientas.html", "2.6 Otras herramientas", " 2.6 Otras herramientas Sí bien los preregistros son una de las herramientas que más ha ido tomando protagonismo para promover la transparencia, existen otras. Específicamente, queremos mencionar dos de ellas: el modelo de registered reports (en español, informes registrados) y la transparency checklist (en español, lista de transparencia). 2.6.1 Registered Reports El modelo de registered reports es una alternativa al modelo tradicional de publicación. Consiste en que el artículo atraviesa una revisión por pares en etapas tempranas de la investigación, específicamente previo a la recolección de datos. Esta práctica tiene por objetivo que el estudio sea evaluado por su innovación y calidad del diseño de investigación, más que por resultados impactantes (Chambers et al., 2015). Además, busca dejar sin efecto prácticas como el sesgo de publicación, p-hacking y HARKing, ya que no solamente existe una marca temporal que avala el diseño de investigación del estudio (como es el caso de un preregistro), sino que también existe un grupo de científicos anónimos que están de acuerdo con que el artículo es un aporte al conocimiento (Chambers, 2013; Marsden et al., 2018; Nosek & Lakens, 2014). Los registered reports tienen dos características principales (Marsden et al., 2018). Primero, un manuscrito con la justificación del estudio, lo que incluye una introducción, revisión de antecedentes y una pregunta de investigación, dando la posibilidad de una aceptación preliminar (IPA, por sus siglas en inglés In principle acceptance). La segunda característica es que el IPA no puede revocarse en base a los resultados del estudio, esto evita que trabajos con resultados no significativos no sean publicados y así combatir el sesgo de publicación. Relacionado a ambas características, los informes registrados pasan por dos etapas de revisión, la primera es la del manuscrito, siendo este el determinante de se el estudio se acepta o no, y la segunda revisión que se da posterior a terminar la recolección y análisis de datos. El modelo, en comparación al sistema tradicional de publicaciones, se puede ver en la Figura N° 2.9. Figura 2.9: Método convencional y de registered reports para publicación cientifica Para enviar un artículo bajo el modelo de registered reports, primero se debe tener en conocimiento cuáles son las revistas que cuentan con este tipo de revisión. El Centro para la Ciencia Abierta cuenta con una lista actualizada de revistas aquí. Una vez escogida una revista, el proceso no es tan distinto al método convencional, en el sentido de que los investigadores envían su manuscrito con la justificación del estudio y este puede ser aceptado o rechazado por el editor, ya sea directamente o después de la corrección de algunos comentarios. Una vez se cuenta con el IPA y se efectúa la revisión en la segunda etapa, los revisores se aseguran de que el estudio ha seguido el plan de análisis inicialmente planteado y si sus conclusiones tienen sentido de acuerdo a los datos y resultados obtenidos, así como también que toda desviación del plan original sea debidamente justificada (Stewart et al., 2020). Desviaciones muy sustanciales y/o que no sean debidamente justificadas pueden conllevar el rechazo del artículo, aunque puede seguir el proceso en el método convencional de publicación (Stewart et al., 2020). 2.6.2 Transparency Checklist La transparency checklist es una herramienta complementaria elaborada por Aczel et al. (2020) que busca acompañar el proceso de reportar un estudio, contribuyendo a que estos sean más transparentes. Esta lista ha sido elaborada específicamente para investigadores de las ciencias sociales y del comportamiento que trabajan con datos primarios, aunque puede ser útil para otros enfoques y disciplinas. La lista consta de 36 items divididos en cuatro categorías: preregistro, método, resultados y discusiones y accesibilidad de datos, donde cada ítem refiere a alguna característica de un reporte transparente, preguntando si ha sido efectuada o no, es decir, las respuestas posibles de cada ítem son Sí, No y N/A. Existe una versión más corta de 12 items, los cuales son los siguientes: Sección de preregistro: Antes de analizar el conjunto completo de datos, se publicó un prerregistro con sello de tiempo en un registro independiente de terceros para el plan de análisis de datos. El estudio fue registrado antes de que cualquier dato fuera recolectado después de que algunos datos fueron recolectados, pero antes de explorarlos después de que todos los datos fueron recolectados, pero antes de explorarlos después de explorar los datos, pero antes de que cualquier análisis estadístico fuera efectuado después de efectuar algunos análisis estadísticos, pero no todos en otro momento, explicar: El análisis estadístico previsto para cada pregunta de investigación (esto puede requerir, por ejemplo, información sobre la unilateralidad de las pruebas, los criterios de inferencia, las correcciones para pruebas múltiples, los criterios de selección de modelos, las distribuciones previas, etc.). Sección de método El manuscrito describe completamente la justificación del tamaño de la muestra utilizado (por ejemplo, un análisis de potencia a priori). el diseño, los procedimientos y los materiales del estudio para permitir una réplica independiente. las medidas de interés (por ejemplo, la amabilidad) y sus operacionalizaciones (por ejemplo, un cuestionario que mide la amabilidad). ¿algún cambio en el prerregistro (como cambios en los criterios de elegibilidad, en los límites de pertenencia al grupo o en los procedimientos experimentales)? Sección de resultados y discusión El manuscrito distingue explícitamente entre la confirmación (es decir, preestablecido) y exploratorio (es decir, no preestablecidos). Sección de disponibilidad de datos, código y materiales Se han hecho públicas las siguientes los datos (procesados) en los que se han basado los análisis del manuscrito. todo el código y el software (que no esté protegido por derechos de autor). todas las instrucciones, los estímulos y los materiales de las pruebas (que no estén protegidos por derechos de autor). El manuscrito incluye una declaración sobre la disponibilidad y localización de todos los elementos de la investigación, incluidos los datos, materiales y códigos pertinentes para su estudio. Tanto la versión completa de 36 items, como la recortada de 12 están disponibles para rellenar en línea. Aquí se puede encontrar la lista online, es una aplicación de uso simple, además que permite generar el reporte final de manera automática. Referencias "],["anexos.html", "Anexos", " Anexos Tabla 2.2: Algunas situaciones de QRP Dimensión Práctica Diseño y procesamiento Ignorar ciertos aspectos de los requerimientos de las personas participantes. Pasar por alto el uso de datos cuestionables o de interpretaciones cuestionables que otros hacen. Cambiar partes de un estudio como respuesta a la presión de una fuente de financiación Eliminar observaciones de los análisis basados en la intuición de que eran inexactos. Redondear un valor p (por ejemplo, reportar que un p-value de 0,054 es menor a 0,05) Eliminación, adición o alteración de datos después de pruebas de hipótesis. Supresión selectiva o adición de variables. Invertir la dirección o reformular hipótesis para respaldar los datos Redacción, reporte y publicación Ampliar de manera innecesaria la bibliografía de un estudio. Tergiversar los logros de la investigación. Exagerar la importancia y la relevancia práctica de los resultados. Retener detalles de la metodología de investigación (e.g. no reportar todas las variables dependientes de un estudio) Retener resultados de la investigación (e.g. no presentar datos que contradicen una propia investigación previa). Establecer publicaciones o brindar apoyo a publicaciones que no cumplen el proceso de control de calidad de la investigación Publicar los mismos datos o resultados en dos o más publicaciones. Selectivamente reportar estudios que funcionaron. Reportar hallazgos inesperados como previstos desde el principio. Afirmar que los resultados no se ven afectados por variables demográficas cuando uno no está realmente seguro (o sabe que lo hacen). Citación y autoría Manipular la autoría o denigrar el papel de otros investigadores en las publicaciones. Asignar inapropiadamente los crédios de autoría. Volver a publicar partes sustanciales de publicaciones propias anteriores, incluidas las traducciones, sin citar debidamente el original (autoplagio). Citar de forma selectiva para mejorar los propios resultados o para complacer a los editores, los revisores o los colegas. Usar ideas de otros sin obtener permiso o dar crédito Uso no autorizado de información confidencial en relación con la propia investigación. Relaciones con otros Permitir que los patrocinadores pongan en peligro la independencia en el proceso de investigación con el fin de introducir sesgos. Acusar a un investigador de conducta indebida u otras infracciones de forma maliciosa. Retrasar u obstaculizar inadecuadamente el trabajo de otros investigadores. Emplear la experiencia profesional propia para alentar a que se incumpla la integridad de la investigación. Ignorar supuestos incumplimientos de la integridad de la investigación cometidos por terceros o encubrir reacciones inadecuadas a conductas indebidas. No divulgar adecuadamente la participación en empresas cuyos productos se basan en la investigación de uno. Relaciones con estudiantes, sujetos de investigación o clientes que pueden ser interpretadas como cuestionables. "],["apertura-de-datos.html", "Capítulo 3 Apertura de datos", " Capítulo 3 Apertura de datos Si alguna vez has intentado conseguir datos de una investigación social producidos por otros profesionales, probablemente sabes cuán difícil es. Si no lo has intentado, es algo como Mickey Mouse intentando pasar a la siguiente habitación, puesto que nos enfrentaremos consecutivamente a una barrera tras otra. Imagine que el investigador responsable de un Fondecyt, Dr. González, desea estudiar la calidad de vida de los inmigrantes. En su revisión bibliográfica encuentra una investigación con datos que podrían ayudar al desarrollo del proyecto. Logra conseguir el contacto de la investigadora responsable y esta pese a su voluntad de compartir los datos le advierte que tardara unas semanas en ello, puesto que está muy ocupada y no sabe la ubicación actual de los mismos. Pese a perder valioso tiempo de su proyecto, el Dr. González logra acceder a la base de datos, no obstante, esta se encuentra dispersa en distintas hojas de cálculo. Al abrirlos e intentar conectarlos, se da cuenta que no comprende el significado de cada variable, por lo cual requiere un libro de códigos de los datos. Vuelve a contactar a la investigadora, le solicita el cuestionario y el significado de cada variable. Lamentablemente, el equipo que creo la base de datos señala que no posee documentación sobre el significado de cada variable. Sin más, al no poder utilizar debidamente los datos producidos por la investigación anterior, el Dr. González se resigna, y decide volver a invertir recursos en una encuesta, la que probablemente tampoco quede a disposición de futuros investigadores. En suma, al intentar conseguir datos de otras investigaciones nos enfrentamos a diversas barreras, como pueden ser la posibilidad de contactar al equipo, la voluntad del equipo de compartir sus datos, la calidad de la documentación de los datos, los formatos que pueden estar en versiones pagadas, entre otras. ¿Qué podemos hacer los investigadores sociales para evitar estas situaciones? Para ello, el movimiento de la ciencia abierta incentiva a los investigadores a publicar sus datos de investigación (Open Data). Más aún, se señala la importancia de publicarlos cumpliendo estándares internacionales sobre los datos y la documentación, de modo tal que cualquier investigador sea capaz de reutilizar los datos sin la necesidad de contactarse con el equipo que los produjo y con la información suficiente para reconocer o citar el aporte del equipo productor de los datos. A nivel internacional existe una amplia preocupación por democratizar el conocimiento. En esta línea, la Organización para la Cooperación y el desarrollo Económicos (OCDE, 2020), ha incluido dentro de las condiciones para mantenerse en la organización la obligación de que cada país incluya políticas de ciencia abierta, transparentando los procesos y resultados, para todas las investigaciones financiadas públicamente. A nivel nacional tanto el Instituto Nacional de Estadísticas (INE), dependiente del Ministerio de Economía, como la Agencia Nacional de Investigación y Desarrollo (ANID, 2020a) dependiente del Ministerio de Ciencia, han incorporado políticas y prácticas propias de la ciencia abierta. En vista de estos cambios realizados por las instituciones chilenas de investigación, resulta evidente que aprender prácticas de ciencia abierta sobre cómo compartir los análisis y los datos producidos se vuelve una necesidad para los investigadores Chilenos que trabajan en instituciones estatales o financiadas con fondos públicos. En vista de esta necesidad el objetivo de este documento es facilitar los conocimientos necesarios para abrir la información producida por las investigaciones. Referencias "],["ventajas-de-la-apertura-de-datos-de-investigación-social.html", "3.1 Ventajas de la apertura de datos de investigación social", " 3.1 Ventajas de la apertura de datos de investigación social Las ventajas de la apertura de datos son varias. A continuación nos centramos en los tres puntos que consideramos más relevantes: las características éticas, la contribución a la calidad y la eficiencia científica y otros incentivos personales importantes de considerar. Ética: Es justo que el público general tenga acceso a los datos producidos especialmente cuando estos son producidos con fondos públicos (Bueno, 2017). Cabe destacar que Chile gasta aproximadamente $668.551 MM de pesos, lo cual equivale a un 0,35% del producto interno bruto. La apertura de los datos fomenta la ética investigativa y la confiabilidad, reduce el fraude y aumenta el valor de la sociología para los políticos y el público (Breznau, 2019). Calidad y eficiencia científica: Dejar la base de datos a libre disposición permite hacer evaluaciones sobre la rigurosidad de los resultados mediante la reproducibilidad, mejorando la calidad y la confianza en la ciencia (UNESCO, 2020). Fomenta que más investigadores utilicen los datos y produzcan información (Whyte y Pryor, 2011), aumentando la colaboración y con ello la innovación científica, según señala el Foro Abierto de Ciencias Latinoamérica y el Caribe CILIAC (Ramírez & Samoilovich, 2019). Considerando que los recursos públicos asignados a investigación son escasos, la apertura de las bases de datos permite su reutilización y por ello ahorra recursos en la construcción de bases de datos, fomentando la eficiencia fiscal (Gómez et al., 2016). Facilita la preservación de información para estudios históricos que recopilen evidencia de larga data. Almacenar los datos permite resguardar el conocimiento producido a generaciones futuras. Poder acceder a los productos, procesos y discusiones propias de la investigación cualitativa, puede ayudar pedagógicamente a la formación universitaria, dando una idea más clara de lo que implica una investigación (Bishop & Kuula-Luumi, 2017). Incentivos personales: Publicar los datos de la investigación fomenta un mayor impacto y visibilidad. Como señala la evidencia producida por Piwowar & Vision (2013) una investigación que comparte sus datos puede ser citada un 30% más que una que no lo hace. Compartir el diseño de investigación, las hipótesis y los datos puede fomentar comentarios constructivos respecto a la dirección de la investigación, ayudando a mejorar la calidad del material (Sharan, 2020). Pese a las ventajas otorgadas por la apertura de la información producida, los investigadores poseen reticencias a la hora de publicar abiertamente sus datos (Ferguson, 2014). Estas reticencias de los investigadores, según Sharan (2020), pueden ser consideradas más bien mitos, los cuales se sustentan en prenociones que no corresponden a la realidad. A continuación, se destacan algunos de estos mitos y las razones de por qué podemos considerarlos como tal. Preocupación a las consecuencias negativas (mal uso, consecuencias legales o comerciales). En parte este problema se soluciona mediante el uso adecuado de licencias, las cuales pueden restringir el uso para ciertos fines. Además, para disminuir el posible mal uso, la preparación de datos incluye hacer anónimos los datos. Respecto a las consecuencias legales, hay que considerar que en general estas investigaciones son financiadas con fondos públicos o por instituciones humanitarias, los cuales en el contexto actual fomentan en general la apertura de los datos. Temor a la falta del reconocimiento debido de su trabajo. Como señalamos anteriormente, lejos de quitarle merito a su trabajo y disminuir su reconocimiento, el preparar y publicar los datos de modo adecuado puede ayudar a difundir la investigación y aumentar el número de citas. Además, usted también puede nutrirse de las investigaciones sobre sus datos. Disgusto frente a la carga de trabajo que implica preparar los datos para su publicación. Sin duda esta es una aprensión comprensible, no obstante, cada vez existen más herramientas que facilitan la labor de la preparación de datos cualitativos y cuantitativos. Por ejemplo, este documento le ayudará a disminuir dicha carga. Además, hay que considerar que si bien aumenta la carga de trabajo actual, disminuye la futura en tanto la buena documentación de los datos también le permitirán a usted volver a trabajar con ellos en el futuro o con datos de otra investigación. Desconocimiento de cómo y dónde compartir los datos. Esta razón, igual de comprensible, es parte de una cultura académica poco acostumbrada al trabajo colaborativo. Por ello, debemos aprender sobre plataformas que faciliten compartir nuestros datos de investigación. Para ello, este trabajo ofrece una guía para preparar los datos y sobre como subirlos a la plataforma de ciencia abierta Open Science Framework. En miras de las dudas más comprensibles de los investigadores señaladas (Ferguson, 2014; Sharan, 2020) y de la necesidad tanto ética como legal de avanzar hacia la apertura de datos en el contexto chileno, el presente documento busca facilitar la introducción al almacenamiento y publicación abierta de datos. Se busca entregar información para resolver los cuatro puntos señalados, dando cuenta de lo que debe hacerse para disminuir los riesgos, fomentar el reconocimiento del trabajo propio, facilitar el mejoramiento de la calidad de los datos y entregar información sobre dónde y cómo compartir los datos. Para ello, este documento ofrece una propuesta de pasos a seguir para mejorar la calidad de los materiales de investigación producidos antes de publicarla en la web. Esta propuesta busca conciliar los estándares considerados óptimos en materia de almacenamiento y preservación de datos con la realidad de las capacidades y herramientas de los investigadores chilenos en ciencias sociales. Dicho de otro modo, proponemos una lista de tareas a realizar para cumplir con los mínimos necesarios para mejorar la calidad de los datos a publicar. Referencias "],["consejos-para-la-apertura-de-datos-de-investigación-social.html", "3.2 Consejos para la Apertura de Datos de Investigación Social", " 3.2 Consejos para la Apertura de Datos de Investigación Social A continuación, se presenta una sencilla pauta sobre cómo y dónde publicar abiertamente información cualitativa o cuantitativa producida por investigaciones sociales, cumpliendo con estándares internacionales de almacenamiento. Esta pauta ayuda a cumplir con objetivos señalados por el Consejo Internacional para la Ciencia (ICSU, 2014), los cuales promueven el acceso oportuno a los registros científicos sin barreras, mejorando su calidad y de modo que sea perdurable en el tiempo. Igualmente, proponemos una guía de almacenamiento que permite cumplir con los principios FAIR (Findable, Accessible, Interoperable, Reusable) promovidos por organizaciones científicas del Estado Chileno, americanas y europeas (ANID, 2020a; EC, 2016; Ramírez & Samoilovich, 2019). Los estándares FAIR tienen el objetivo de hacer los datos fáciles de encontrar en la web y que estén en formatos que cualquier investigador pueda utilizar (FAIR, 2020). Esta pauta para la publicación de datos fue creada en base a otros materiales de apoyo con objetivos similares, como la guía de preparación de datos creada por el Consorcio interuniversitario para la investigación política y social (ICPSR), el manual de Autoevaluación para proveedores de repositorios abiertos (RISE) del Digital Curation Center (DDC) (DDC, 2017), los planes europeos de manejo de datos (DMP) y los consejos de distintos investigadores tanto para datos cuantitativos como cualitativos (CCSDS, 2012; Kapiszewski & Karcher, 2019). Para publicar los datos de investigación proponemos los siguientes tres momentos: 3.2.1 Preparar 3.2.1.1 Datos cualitativos: Considerando que al estar presente en la entrevista se cuenta con una mayor información que solo leyendo su transcripción, cualquier anotación que dé cuenta del ambiente anímico de la entrevista o del gesto que acompaña alguna frase es bienvenida. También es importante subir la pauta de la entrevista si es que existe. Asimismo, aquellos investigadores que hacen un análisis mediante codificación tienen registro del proceso por el cual llegaron a los códigos utilizados para la categorización de la información. Además, esto puede ser complementado con la descripción de las discusiones que surgieron entre el equipo de investigación para establecer tales códigos y el esquema de análisis (Kapiszewski & Karcher, 2019). Igualmente necesario es cambiar en el texto y/o audio lo que sea necesario para que los sujetos de investigación no puedan ser identificados. También es conveniente compartir el cuaderno de campo de la investigación. Esta información bien almacenada no solo ayudará a las ciencias sociales por su apoyo con información a otros investigadores, sino que conjuntamente es un gran aporte a la formación de los estudiantes sobre cómo investigar cualitativamente, pues estos materiales permiten una aproximación más concreta al proceso de investigación cualitativo (Bishop & Kuula-Luumi, 2017). Confidencialidad en datos cualitativos Respecto a la confidencialidad de los datos, ICPSR recomienda que: antes de enviar datos cualitativos a un archivo, los depositantes de datos deben tener cuidado de eliminar la información que permita identificar a cualquiera de sus sujetos de investigación. Este proceso se puede hacer menos arduo creando un esquema para anonimizar antes de la recopilación de datos y anonimizando los datos a medida que se crean los archivos cualitativos para el análisis. Algunas de las modificaciones que se pueden hacer a los datos cualitativos para asegurar confidencialidad del entrevistado, según Marz y Dunn (2000), son: (1) Reemplazar nombres reales con texto generalizado; (2) Reempalzar fechas; (3) Eliminar elementos únicos y/o publicitados. Dado que los investigadores están más familiarizados con sus datos, se les pide que utilicen su juicio sobre si cierta información cualitativa en combinación con el resto del texto o información cuantitativa relacionada podría permitir la identificación de un individuo. Los depositantes de datos deben documentar cualquier modificación para enmascarar información confidencial en los datos cualitativos. Esto garantizará que el personal del archivo no realice cambios innecesarios en las modificaciones del investigador cuando realice su revisión de confidencialidad. Por tanto, la información también se pondrá a disposición de los usuarios secundarios de los datos para ayudarles a utilizarlos. 3.2.1.2 Datos cuantitativos: Bases de datos Para resguardar la calidad de nuestros datos debemos asegurar una correcta codificación de las respuestas y nombramiento de las variables, ambas bases fundamentales de los datos (filas y columnas). Para esto, ICPSR propone, entre otros, los siguientes puntos: Errores de codificación Verifique cuidadosamente la coherencia entre las respuestas del cuestionario y los valores en la base de datos para el primer 5 a 10 por ciento de los registros de datos creados y luego elija registros aleatorios para controles de calidad. Posteriormente, puede realizar análisis descriptivos de distribución para evaluar si existen valores atípicos atribuibles a errores de codificación (por ejemplo 66 en la variable hijos en vez de 6). El uso de computadores y programas de encuesta y codificación puede ayudar a disminuir estos errores. Recodificación automática Deje que la computadora realice codificaciones y rectificaciones complejas si es posible. Por ejemplo, para crear una serie de variables que describen la estructura familiar, escriba un código de computadora para realizar la tarea. Los códigos de computadora no solo son precisos si las instrucciones son precisas, sino que también se puede cambiar fácilmente para corregir un error lógico o de programación. Incluya en la documentación los códigos utilizados para la recodificación. Consistencia Evalué la coherencia entre las variables, identificando a quienes poseen combinaciones incoherentes. Por ejemplo, si alguien señala que su hijo no asiste a la escuela y luego responde preguntas sobre la escuela. Identificadores individuales y grupales Proporcione variables identificadoras suficientes. Es fundamental que cada sujeto posea un id, además si la encuesta es longitudinal se puede proporcionar, junto al id de encuestado, un id por cada ocasión que contesta la encuesta. Otros identificadores dependen del tema del estudio, por ejemplo, si se trabaja con escuelas, verifique que cada escuela tiene un identificador id-escuela. Si trabaja con encuestados de modo tal que dos o más son de la misma familia y cada encuestado corresponde a un núcleo familiar, indique un id para familia. Nombres de Variables El nombre de la variable será con lo que más se trabajará con los datos, por ende, deben ser claros y utilizables por distintitos softwares. Existen distintos estándares para elegir los nombres de las variables. El primero consiste en asignar un numero único anteponiendo una V de modo tal que, siendo n el número de variables, las variables se nombran como Vn según su posición (p ej. V0001, v0002,Vn). Se antepone la V por que los softwares en general no permiten nombres de variables con solo caracteres números. El segundo modo utiliza letras y números para agrupar las variables según escalas o temas (por ejemplo Q1,Q2a,Q2b), si bien es un sistema que entrega más información, no informa sobre el contenido. El tercero consiste en utilizar abreviaturas mnemotécnicas, es decir, nombres cortos de variables que representan el significado sustantivo de las variables facilitando su memorización y comprensión. Por ejemplo educpadr como Educación del Padre. Este tipo de nombres podrían ayudar a disminuir los errores en los análisis producidos por agregar una variable incorrecta en el código. El problema es que con la limitación de caracteres de los softwares es difícil generar abreviaturas arbitrarias que sean ampliamente reconocibles por un público diverso. El cuarto consiste en Abreviaciones compartidas y registradas. Un sistema de raíces y sufijos. Por ejemplo, todas las variables que tienen que ver con la educación pueden tener la raíz ED, y podría expresarse Educación del Padre como FAED, siendo esta nomenclatura previamente documentada. Esto implica una planificación previa y capacidad de organización para compartir las abreviaturas, así como herramientas para facilitar el encontrar las abreviaturas correctas en la biblioteca o documento de sufijos y prefijos. En consideración de estas opciones expuestas por ICPSR, se recomienda utilizar la tercera, puesto que cumple con la cualidad de la primera y la segunda de identificar las variables de modo único, a la vez que cumple con el criterio de hacer más comprensible y fácil de recordar. Junto a lo señalado por ICPSR, consideramos que al crear un nombre de la variable este debe ser utilizable por los distintos softwares comúnmente utilizados como SPSS, STATA y R. En vista de lo anterior sugerimos: Dos variables no pueden tener el mismo nombre No utilizar más de 12 caracteres en el nombre Empezar con una letra Deben ser solo alfanuméricos (Números y letras, sin símbolos . ; , : $ @) En minúscula No utilizar la letra ñ, remplazarlo por gn (agnos, en vez de años) Remplazando espacios por guion bajo. (edad_rec) Etiquetas de variables las variables deben ser correctamente etiquetadas. Las etiquetas deben partir con el número del ítem en el cuestionario para poder asociarlo. Luego debe darse información sobre el contenido de la variable o ingresar directamente la pregunta realizada al encuestado. Considerando las limitaciones de caracteres de los softwares, en base a manuales universitarios de SPSS y STATA, se sugiere que las etiquetas de las variables no superen los 120 caracteres. Codificación Variables de identificación. Proporcione campos al comienzo de cada registro para acomodar todas las variables de identificación. Las variables de identificación a menudo incluyen un número de estudio único y un número de encuestado para representar cada caso. Categorías de código. Las categorías de códigos deben ser mutuamente excluyentes, exhaustivas y estar definidas con precisión. Cada respuesta de la entrevista debe encajar en una y solo una categoría. La ambigüedad provocará dificultades de codificación y problemas con la interpretación de los datos. Conservación de la información original. Codifique tantos detalles como sea posible. Registrar datos originales, como edad e ingresos, es más útil que colapsar o poner entre corchetes la información. Con datos originales o detallados, los analistas secundarios pueden determinar otros paréntesis significativos por sí mismos en lugar de limitarse a los elegidos por otros. Preguntas cerradas. Las respuestas a las preguntas de la encuesta que están precodificadas en el cuestionario deben conservar este esquema de codificación en los datos legibles por máquina para evitar errores y confusiones. Preguntas de final abierto. Para los ítems abiertos, los investigadores pueden usar un esquema de codificación predeterminado o revisar las respuestas iniciales de la encuesta para construir un esquema de codificación basado en las categorías principales que surgen. Cualquier esquema de codificación y su derivación deben informarse en la documentación del estudio. Respuestas codificadas por el usuario. Cada vez más, los investigadores envían el texto completo de las respuestas a las preguntas abiertas a los archivos para que los usuarios puedan codificar estas respuestas ellos mismos. Debido a que dichas respuestas pueden contener información confidencial, deben ser revisadas por riesgo de divulgación y, si es necesario, tratadas por archivos antes de su publicación. Comprobar codificación. Es una buena idea verificar el código de algunos casos durante el proceso de codificación, es decir, repetir el proceso con un codificador independiente. Por ejemplo, si se asigna más de un código a la respuesta de una entrevista, esto resalta problemas o ambigüedades en el esquema de codificación. Esta codificación de verificación proporciona un medio importante de control de calidad en el proceso de codificación. Serie de respuestas. Si una serie de respuestas requiere más de un campo, organizar las respuestas en clasificaciones importantes significativas es útil. Respuestas dentro de cada especialidad o categoría se les asigna el mismo primer dígito. Los dígitos secundarios pueden distinguir respuestas específicas dentro de las categorías principales. Tal esquema de codificación permite el análisis de los datos utilizando agrupaciones amplias o categorías más detalladas. Identificar Casos perdidos ICPSR no establece un modo determinado de identificar los casos perdidos, aunque señala las ventajas y desventajas de distintos tipos de codificación. Igualmente sugiere distintos tipos de casos perdidos que deben ser identificados. Cabe destacar que, como regla general para la preservación, los casos perdidos se deben codificar del modo más similar a las categorías de las variables, de modo tal que una variable numérica de un digito se indica con (8,9) y una variable categórica con alternativas de texto con (No sabe, No responde) Rechazo / Sin respuesta. El sujeto se negó explícitamente a responder una pregunta o no la respondió cuando debería haberlo hecho. No lo sé. El sujeto no pudo responder una pregunta, ya sea porque no tenía una opinión o porque la información requerida no estaba disponible (por ejemplo, un encuestado no pudo proporcionar los ingresos familiares en dólares del año anterior). Error de proceso. Por alguna razón, no hay respuesta a la pregunta, aunque el sujeto proporcionó una. Esto puede resultar de un error del entrevistador, codificación incorrecta, falla de la máquina u otros problemas. No aplica. Al sujeto nunca se le hizo una pregunta por alguna razón. A veces, esto se debe a patrones de omisión después de preguntas de filtro, por ejemplo, a los sujetos que no están trabajando no se les pregunta sobre las características del trabajo. Otros ejemplos de inaplicabilidad son los conjuntos de elementos solicitados solo de submuestras aleatorias y los solicitados a un miembro de un hogar, pero no a otro. Sin coincidencia. Esta situación surge cuando los datos se obtienen de diferentes fuentes (por ejemplo, un cuestionario de encuesta y una base de datos administrativa) y no se puede localizar la información de una fuente. Datos no disponibles. La pregunta debería haberse formulado al encuestado, pero por otro motivo distinto de los enumerados anteriormente, no se dio ni registró ninguna respuesta. Considerando las ventajas y desventajas de las distintas formas de codificación se sugiere a título personal utilizar valores perdidos con valores altos en negativo de modo tal que sean estándar para todas las variables y no sean confundible con los valores posibles de dichas variables. Se propone utilizar los siguientes valores perdidos, usando numéricos o caracteres según corresponda. Código de texto Código numérico No responde -999 No sabe -998 Error de Proceso -997 No aplica -996 Sin coincidencia -995 No disponible -994 Para obtener información adicional sobre datos georreferenciados e imputaciones revise directamente la guía ofrecida por ICPSR disponible en este enlace 3.2.2 Documentar Existen distintos estándares sobre qué información incorporar junto con los datos, destacando la importancia de que estos materiales sean legibles por humanos y por inteligencia artificial (FAIR, 2020). A continuación, se propone un conjunto de documentos comunes que deben estar incluidos, junto con una guía de como escribirlos en formato abiertos para cumplir con las recomendaciones del libro Managing and sharing research data: a guide to good practice (Corti, 2019). Readme El readme es un documento que debe responder las siguientes preguntas sobre la producción de la información (Tierney & Ram, 2020). Quién produjo la información Cuál es el contenido de los datos Cuándo fue producida la información Dónde fue recolectada Por qué se recopiló Cómo se recopiló Para crear este documento se suele utilizar el formato y lenguaje Markdowm de extensión .md. Este formato posee la ventaja de no ser un formato propietario que permite incluir de modo sencillo distintos elementos útiles como enlaces, imágenes y tablas. Le recomendamos realizar la escritura en este formato. Para ello se puede escribir el documento en RStudio señalando como extensión .md o para quienes no manejen el software, pueden crear el documento en la página Dillinger. Licencia La licencia se puede crear fácilmente al publicar los datos en OSF. En la siguiente sección se señala cómo hacerlo. Metadatos La creación de los metadatos requiere previamente que se cree el identificador y la página web en OSF que almacenara los datos. Por ello la creación de los metadatos será posterior a la publicación. Cabe desacatar que el modo de crear metadatos difiere según si el tipo de material es una transcripción de entrevista en PDF o una base de datos en formato sav, stat o rda. Documentos especiales según tipo de metodología Para publicar datos cuantitativos se recomienda recopilar y producir los siguientes materiales con el objetivo de que los usuarios de la base de datos cuenten con información suficiente para utilizarla correctamente. Los siguientes documentos deben ser subidos en PDF y Block de notas.txt con codificación utf8. Cuestionario Consentimiento informado Libro de códigos Ficha técnica Manual de usuario Descriptivos (Optativo) Publicaciones asociadas a los datos (Optativo) Descripción e información detallada para metadatos. Para publicar datos cualitativos se sugiere documentar la siguiente información. Transcripciones registros audiovisuales (de ser necesario) Investigar métodos y prácticas que estén completamente documentados Copia en blanco del formulario de consentimiento informado con el número de aprobación del IRB Detalles sobre el escenario de las entrevistas Detalles sobre la selección de los sujetos de la entrevista Instrucciones dadas a los entrevistadores Instrumentos de recopilación de datos como cuestionarios de entrevistas Medidas tomadas para eliminar identificadores directos en los datos (por ejemplo, nombre, dirección, etc.) Cualquier problema que surgió durante el proceso de selección y/o entrevista y cómo se manejaron Lista de entrevistas 3.2.3 Publicar OSF y plataformas para publicar datos La plataforma web Open Science Framework (OSF) ofrece gratuitamente servicios de infraestructura digital que permite un espacio de registro para las distintas etapas de un proyecto de investigación. Actualmente existen otras plataformas con objetivos similares como Zenovo, Dataverse, GitHub, Mendeley, Figshare, Dryad o ICPSR, y si bien todas son buenas herramientas, se remienda utilizar OSF por diversos motivos señalados por Kryvokhyzha (2019) y un documento informativo de la Librería de Universidades de la Universidad de OKLAHOMA (2020). En primer lugar, a diferencia de Dryad, OSF es una plataforma gratuita, con mejor estructura de repositorios y con posibilidades de corregir errores. En segundo lugar, Figshare tiene la capacidad de estructurar los repositorios en distintos componentes, pero no está optimizado para descargar muchos archivos a la vez y, además es una empresa con fines de lucro. Por su parte OSF, permite estructurar de diversos modos los repositorios, esta optimizado para descargas y es una organización sin fines de lucro que es financiada por el Centro para la Ciencia Abierta cos con recursos para 50 años más. En tercer lugar, a diferencia de Zenovo y GitHub, OSF si cuenta con estadísticas de descarga que nos permiten evaluar la visibilidad de los datos. En último lugar, GitHub si bien es una alternativa que ha sido utilizada para este fin, en realidad más que una plataforma para subir datos es una plataforma para crear códigos de forma colaborativa, usualmente de aplicaciones, además no nos permite crear de modo automático un DOI, lo cual es fundamental para cumplir con los principios FAIR. No obstante, si el equipo investigador lo considera conveniente podría subir sus datos a múltiples plataformas. En esta línea, además de OSF, recomendamos almacenar los datos paralelamente en OpenICPSR puesto que esto permitirá conectar nuestros datos con el buscador de ICPSR, el cual tiene amplia visibilidad dentro del campo de las ciencias sociales a nivel internacional. Un usuario de esta página puede crear un repositorio denominado proyecto, el cual puede contener a su vez componentes que pueden ser investigaciones o datos específicos dentro del proyecto. Se pueden crear más componentes de estos tipos dentro de los componentes del proyecto. Esta estructura permite almacenar conjuntamente trabajos relacionados. La página promueve que se registren productos de la investigación de las distintas etapas del proceso. En primer lugar, posee un espacio para los pre-registros que son un documento en el cual se expone brevemente el diseño de la investigación, las hipótesis y la metodología, lo cual aumenta la rigurosidad de las investigaciones. Ambas evaluaciones de OSF señalan que un problema es el límite de almacenamiento de solo 5gb por archivo. Este límite ha sido modificado el 5 de noviembre del 2020, agregando un límite de 5gb a los proyectos que estén privados y 50gb a los públicos. No obstante, el problema del espacio se puede resolver conectando OSF con otros servicios de almacenamiento con mayor capacidad. Crear Metadatos para datos cualitativos o cuantitativos. Paso 1 Para crear los metadatos de forma muy sencilla se puede utilizar un archivo csv, que se puede editar con el programa Excel o cualquier Hoja de cálculo. A continuación, entregamos un link para descargar un csv con los campos para rellenar los metadatos, cumpliendo con los campos utilizados por Dataverse Harvard y los Social Science and Humanities Metadata de ICPSR. Para crear los metadatos usted solo debe escribir en las casillas de abajo de las categorías, la respuesta para cada uno de los campos, señalando el identificador, el Título de los datos, los autores, entre otros. Es necesario que rellene los campos en inglés. Con una traducción simple de Google Traductor o Deepl es suficiente. Para descargar el archivo csv editable en Excel seleccione Descargar Metadata.cvs. Si no le ofrece directamente abrirlo con Excel, puede apretar click derecho sobre el archivo, seleccionar Abrir con, luego Excel, si no aparece seleccionamos Elegir otra aplicación, Más aplicaciones y luego Excel. A continuación, le presentamos una tabla con cada uno de los campos que debe llenar y con qué debe rellenarlos. Después de agregar la información a los metadatos solo guarde el documento desde Excel, y este se guardará automáticamente en csv delimitado por Semi-coma (;) en codificación UTF-8 (Que permite incorporar comas a los metadatos) Cabe destacar que, para el primer campo correspondiente al Identificador, antes del código entregado por OSF debe estar escrito https://doi.org/ como se muestra en el documento descargado. Esto es para cumplir con los estándares FAIR. Paso 2 Después de haber creado el documento csv con nuestra información solo debemos seleccionar al siguiente link e ir al sitio web: csvjson.com. En este sitio tenemos que apretar Select a file y buscar el documento csv creado. Posteriormente, se debe señalar output: Array y Minify, como se señala en la imagen. Con estas opciones apretamos el botón morado >Convert bajo el cuadrado que posee nuestro documento CSV. Cuando esté listo apretamos el botón Download, como se señala en la Figura N° 3.1. El documento se descargará con el nombre csvjson, debe cambiarlo a metadata. Figura 3.1: Creación de documento de metadatos Paso 3 Finalmente debemos agregar los archivos csv y json al repositorio, recuerde cambiar el nombre del documento a metadata. Referencias "],["estándares-y-experiencias-internacionales.html", "3.3 Estándares y experiencias internacionales", " 3.3 Estándares y experiencias internacionales Para poder generar una ciencia social más colaborativa y eficiente, es necesario que la comunidad de las ciencias sociales compartan estándares respecto a la calidad de los datos y del almacenamiento. De este modo los trabajos de investigación y los materiales, de por sí complejos, serán más fáciles de comprender y ser utilizados por terceros. En esta sección de revisarán algunas declaraciones de instituciones relacionadas con la apertura y mantenimiento de los datos, además de documentos que fijan normas comunes para el almacenamiento. Posteriormente, se evaluan distintos repositorios a partir de los criterios de calidad sistematizados, buscando ventajas y desventajas de distintas experiencias en el almacenamiento de bases de datos de investigación social. El resultado final es una propuesta de almacenamiento acorde a los estándares internacionales y un manual que facilite a los usuarios seguir estos estándares. Los estándares internacionales revisados son los siguientes: Acceso abierto ICSU FAIR DMP 3.3.1 Estándares internacionales 3.3.1.1 Acceso abierto ICSU El Consejo Internacional para la Ciencia (ICSU, 2014) defiende los siguientes objetivos para la apertura. El registro científico debe ser: libre de barreras financieras a las que pueda contribuir cualquier investigador; libre de barreras financieras para que cualquier usuario acceda inmediatamente después de la publicación; disponible sin restricción de reutilización para cualquier propósito, sujeto a atribución adecuada; calidad garantizada y publicada de manera oportuna; y archivado y disponible a perpetuidad 3.3.1.2 Principios FAIR: Datos, Metadatos e infraestructura digital. Los principios de almacenamiento FAIR (Findable, Accessible, Interoperable, Reusable), son ampliamente reconocidos a nivel mundial. Estos principios han sido promovidos por organizaciones científicas regionales como El Foro Abierto de Ciencias de América Latina y el Caribe (CILAC) (Ramírez & Samoilovich, 2019) y Europeas (EC, 2016). En Chile, la ANID del Ministerio de Ciencia, Tecnología, Conocimiento e Innovación, ha señalado que la política de acceso a datos que impulsará se guiará por los principios FAIR (para más detalles ver Capítulo V). Los principios FAIR, son sumamente compatibles con las diversas formas de información producida por las ciencias sociales, ya sean documentos de texto, audiovisuales o bases de datos. Este es un buen motivo para fomentar los principios FAIR en todos los tipos de investigaciones en ciencias sociales. El objetivo general de estos principios es que los productos de investigación estén disponibles en la web, de modo tal que puedan ser buscados directamente por investigadores o por inteligencia artificial (FAIR, 2020). A continuación, se explican estos principios y como pueden ayudar a las ciencias sociales. Los principios se refieren a tres tipos de entidades: datos (o cualquier producto de investigación como objeto digital), metadatos (información sobre ese objeto digital) e infraestructura digital (Capacidades y herramientas necesarias en repositorios web). Findable (Encontrables) El primer paso para (re) usar datos es encontrarlos. Los metadatos y los datos deben ser fáciles de encontrar tanto para humanos como para computadoras. Los metadatos legibles por máquina son esenciales para el descubrimiento automático de conjuntos de datos y servicios, por lo que este es un componente esencial para alcanzar el estándar de los principios FAIR. A continuación se enumeran cuatro características claves de los principios FAIR para encontrar los datos. F1. A los datos se les asigna un identificador único y persistente a nivel mundial. F2. Los datos se describen con metadatos enriquecidos (definidos por R1 a continuación) F3. Los metadatos incluyen de forma clara y explícita el identificador de los datos que describen F4. Los datos y metadatos se registran o indexan en un recurso de búsqueda Por un lado, los identificadores únicos eliminan la ambigüedad, facilitando que una investigación, una base de datos o cualquier producto de investigación, no sea confundido con otro producto por tener un nombre o características similares. Los ejemplos más comunes de identificadores son los URL (Localizador Uniforme de Recursos) los cuales asignan un sitio único a cada página web, como los URL www.google.com o www.youtube.com. Otro tipo de identificadores más cercano a las ciencias sociales son los ISBN (Número Internacional Normalizado del Libro) o el DOI (Identificador de Material Digital) que solemos ver asociados a los artículos de investigación. A diferencia del URL el DOI no cambia, aunque el material cambie de ubicación en la web. Así, los identificadores se asocian de forma única a los datos, como es el ejemplo de este DOI https://doi.org/10.5064/F6HTXF0H que corresponde al identificador de un conjunto de materiales y Focus Groups sobre género y participación en el desarrollo comunitario en Senegal. Estos identificadores también ayudarán a que el trabajo sea fácilmente compartido, reconocido y posea un mayor impacto. En la misma línea, facilita su citación puesto que, al ingresar estos identificadores en gestores de bibliografía como Zotero, se genera una referencia bibliográfica automática. Para generar un identificador único se pueden usar páginas especializadas que pueden encontrarse en DoiChile. También, para facilitar el trabajo, muchos repositorios de datos generarán automáticamente identificadores persistentes y únicos a nivel mundial para los conjuntos de datos depositados. Por otro lado, los metadatos son información sobre los datos. Los archivos comunes poseen metadatos automáticos, por ejemplo, Microsoft Word registra el creador y la fecha. Los principios FAIR, señalan la importancia de incluir metadatos generosos y extensos, incluida información descriptiva sobre el contexto, la calidad y condición, o las características de los datos. En ciencias sociales es importante entregar información sobre la muestra y el proceso de recopilación de datos, así como cualquier información útil para que el investigador que recurra a ellos pueda tomar decisiones correctas. Finalmente, junto con los identificadores y los metadatos, para que los datos sean fáciles de encontrar es necesario que estén disponibles en algún recurso de búsqueda. Google es el recurso de búsqueda más conocido. Para los datos de ciencias sociales es importante que estas bases de datos se encuentren disponibles en buscadores de instituciones de investigación o bibliotecas. Accesibles A1. Los datos y metadatos son recuperables por su identificador utilizando un protocolo de comunicaciones estandarizado Esto significa que los identificadores permiten la redirección a una página web específica que contiene los datos, esto se puede ver en el identificador cuando posee un http al comienzo de la URL. De este modo, basta con poner el identificador en la barra del navegador para poder acceder a la página de los datos mediante solo un click. A1.1 El protocolo es abierto, gratuito y de implementación universal Este sub-punto refiere a que la forma en que se puede acceder a la pagina web mediante el identificador es universal, es decir, cualquier persona con un computador e internet puede acceder. Lo contrario a esto sería dejar el documento en un sitio web que sea pagado o que no esté disponible a nivel mundial. A1.2 El protocolo permite un procedimiento de autenticación y autorización, cuando sea necesario Además, el modo por el cual se accede a los datos mediante el identificador puede tener algunas solicitudes o exigencias para el usuario. Así, FAIR no es sinónimo de OpenData, pues se puede tener un dato altamente restringido por distintas razones, pero si se especifican bien las condiciones para su acceso, entonces un dato no abierto puede ser FAIR. A2 . Los metadatos son accesibles, incluso cuando los datos ya no están disponibles Suele ocurrir que los datos en internet desaparecen por que mantenerlos implica un costo. Este punto señala como necesario que, pese a que desaparezcan los datos, los metadatos, que son más fáciles y económicos de almacenar, deben ser persistentes, es decir, deben mantener su existencia en la web. Interoperables Los datos normalmente deben integrarse con otros datos. Además, los datos deben interoperar con distintas aplicaciones o flujos de trabajo para análisis, almacenamiento y procesamiento. Para que esto sea posible, es necesario que los datos se encuentren en formatos que sean legibles y trabajables por distintos softwares. I1. Los datos y metadatos utilizan un lenguaje formal, accesible, compartido y de amplia aplicación para la representación del conocimiento. Para que los datos puedan ser encontrados por las herramientas como barras de búsqueda es necesario que los términos utilizados en los metadatos para describir el estudio sean parte de un vocabulario controlado, los cuales sirven para sistematizar los sinónimos dentro de un campo temático (Collins, 2015). Esto permite que, al buscar un término, por ejemplo relaciones de pareja en un repositorio de materiales de investigación también aparezcan aquellos materiales que son descritos con el término noviazgo. Los vocabularios controlados utilizados por repositorios de investigación suelen ser denominados también tesauros u ontologías. Además es necesario que los metadatos estén estructurados en base a esquemas comunes. Al respecto existen múltiples modos de organizar los metadatos como DDI, Dublin Core, JSON, entre otros. Sin la intención de profundizar en el tema es necesario señalar que no existen amplios consensos en el uso de un estándar de metadatos en ciencias sociales y humanidades (Gómez et al., 2016), por lo cual se considera adecuado que un repositorio permita almacenar los metadatos en distintos formatos. I2. Los datos y metadatos usan vocabularios que siguen los principios FAIR Es importante que los vocabularios controlados utilizados para la descripción de los datos sigan principios FAIR, es decir, posean identificadores y metadatos adecuados para poder localizar el vocabulario controlado al que se hace referencia. Un ejemplo de vocabulario controlado que sistematiza los sinónimos de distintos idiomas para journal article se puede encontrar aquí. Este ejemplo cumple en buena medida con los principios FAIR I3. Los datos y metadatos incluyen referencias calificadas a otros datos y metadatos Los datos y la información referida a ellos deben tener múltiples vínculos web que permitan acceder a información asociada. Por ejemplo, si tenemos una investigación que ha utilizado datos de una encuesta publicada, se debe hacer alusión a dicha encuesta a partir de su identificador. Del mismo modo se puede tener vínculos con instituciones asociadas, o páginas de proyectos de investigación propias o estatales. Reutilizables Los metadatos y los datos deben estar bien descritos para que puedan replicarse y/o combinarse en diferentes entornos. R1. Los datos y metadatos se describen detalladamente con una pluralidad de atributos precisos y relevantes Para que un usuario decida si utilizar los datos o no, debe contar con una gran cantidad de información detallada. Este punto es similar a F2 (Metadatos suficientes), pero destaca la importancia de información particular del campo de uso. Para ello, en ciencias sociales, es importante describir cuándo fue realizada la muestra, a quienes se le aplica, si posee control de variables experimentales, entre otras informaciones relevantes. Se debe señalar la mayor información posible, incluyendo tipo de muestreo, intención de la creación de la base de datos, entre otros. Esta información debe ser plural para fomentar el uso más allá de las ciencias sociales. R1.1. Los datos y metadatos se publican con una licencia de uso de datos clara y accesible Se recomienda en general utilizar licencias Creative Commons, estas licencias permiten a los dueños de los materiales dejar a libre disposición los datos producidos, aunque señalando aquellas condiciones en las cuales se pueden utilizar y aquellas en que no. Esta es una condición más legal que técnica para la reutilización de los datos. R1.2. Los datos y metadatos están asociados con la procedencia detallada Este punto refiere a entregar información sobre los productores y el flujo de trabajo. También en este punto se debe destacar cómo se debe citar la base de datos. Entonces, se deben responder las siguientes preguntas ¿Quién estuvo a cargo del diseño? ¿Quién a cargo del terreno y la aplicación? ¿Quién editó los datos? ¿Cómo desea que este material esté referenciado? R1.3 . Los datos y metadatos cumplen con los estándares comunitarios relevantes para el dominio Los datos y los metadatos deben estar nombrados y ordenados de modo coherente con los estándares de las ciencias sociales. Por ejemplo, las bases de datos deben estar estructuradas de tal modo que los sujetos sean las filas y las variables las columnas. La documentación que se entrega está nombrada con términos comunes, como manual de usuario o cuestionario. Según la investigación de Gómez et al. (2016), el esquema metadatos más utilizados en las ciencias sociales es el de DDC. No obstante, existe una gran divergencia respecto a cuales deben ser los metadatos incluidos. 3.3.1.3 DMP Los planes de manejo de datos (DMP) son una herramienta utilizada por la comisión europea (EC) para mejorar la producción y almacenamiento de datos producidos por investigaciones, consiste en una planificación respecto al ciclo de vida de los datos desde su creación hasta su preservación. En este sentido son una herramienta para la organización y estandarización del manejo de datos. En un documento de apoyo para investigadores la EC (2016), a modo de síntesis, proponen documentar los siguientes puntos respecto al manejo de los datos Resumen de datos Indique el propósito de la recopilación / generación de datos Explicar la relación con los objetivos del proyecto. Especificar los tipos y formatos de datos generados / recopilados Especifique si los datos existentes se están reutilizando (si corresponde) Especificar el origen de los datos Indique el tamaño esperado de los datos (si se conoce) Describa la utilidad de datos: para quién será útil Datos FAIR 2.1. Haciendo que los datos se puedan encontrar, incluidos disposiciones para metadatos Describir la capacidad de descubrimiento de datos (provisión de metadatos) Resuma la identificabilidad de los datos y consulte el mecanismo de identificación estándar. ¿Utiliza identificadores persistentes y únicos como los identificadores de objetos digitales? Esquema de convenciones de nomenclatura utilizadas Describa el enfoque hacia las palabras clave de búsqueda Describir el enfoque para versiones claras Especificar estándares para la creación de metadatos (si los hubiera). Si no hay estándares en su disciplina describe qué tipo de metadatos se crearán y cómo se hará. 2.2 Hacer que los datos sean accesibles abiertamente Especifique ¿qué datos estarán disponibles abiertamente? Si algunos datos se mantienen cerrados, proporcione justificación para hacerlo Especificar cómo estarán disponibles los datos Especifique qué métodos o herramientas de software se necesitan para acceder a los datos. ¿Es necesaria la documentación sobre el software para acceder a los datos incluidos? Es posible que incluir el software relevante sea necesario (por ejemplo, en código fuente abierto) Especificar dónde están los datos y los metadatos asociados, la documentación y el código depositado Especifique cómo se proporcionará el acceso en caso de que haya restricciones 2.3. Hacer que los datos sean interoperables Evalúe la interoperabilidad de sus datos. Especifique qué vocabularios de datos y metadatos, estándares o metodologías que seguirá para facilitar la interoperabilidad. Especifique si utilizará vocabulario estándar para todos los tipos de datos presentes en su conjunto de datos, para permitir la interoperabilidad interdisciplinaria. Si no es así, ¿proporcionará un mapeo para ontologías de uso más común? 2.4. Incrementar la reutilización de datos (mediante aclarar licencias) Especificar cómo se licenciarán los datos para permitir la mayor reutilización posible Especifique cuándo los datos estarán disponibles para su reutilización. Si corresponde, especifique por qué y por qué período se necesita un embargo de datos Especificar si los datos producidos y / o utilizados en el proyecto son utilizables por terceros. En particular después de la finalización del proyecto, si la reutilización de algunos datos es restringido, explica por qué Describir los procesos de aseguramiento de la calidad de los datos. Especifique el período de tiempo durante el cual los datos permanecerán reutilizables Asignación de recursos Estime los costos para hacer que sus datos sean FAIR. Describa cómo piensa cubrir estos costos Identifique claramente las responsabilidades de la gestión de datos en su proyecto Describir los costos y el valor potencial de la preservación a largo plazo. Seguridad de los datos Abordar la recuperación de datos, así como el almacenamiento seguro y la transferencia de datos sensibles. Aspectos éticos Para ser cubierto en el contexto de la revisión de ética, sección de ética de DoA y ética entregables. Incluya referencias y aspectos técnicos relacionados. Otro Consulte otros procedimientos nacionales / financiadores / sectoriales / departamentales para la gestión de datos. 3.3.2 Experiencias internacionales sobre el almacenamiento de datos de investigación En el presente apartado presentamos un conjunto de repositorios digitales de materiales de investigación. Se realizarán comentarios, evaluaciones y destacarán aportes de estos repositorios digitales. Para ordenar su presentación primero revisaremos aquellas experiencias internacionales que han destacado como las mejores en el ámbito. Luego veremos algunas experiencias a nivel latinoamericano y chileno, para evaluar sus fortalezas y debilidades en base a los criterios y estándares presentados en la sección anterior. 3.3.3 Exitosos repositorios internacionales ICPSR Este es un consorcio internacional de más de 750 instituciones académicas y organizaciones de investigación, el Consorcio Interuniversitario de Investigación Política y Social (ICPSR) proporciona liderazgo y capacitación en acceso a datos, curación y métodos de análisis para la comunidad de investigación en ciencias sociales. ICPSR mantiene un archivo de datos de más de 250.000 archivos de investigación en las ciencias sociales y del comportamiento. Alberga 21 colecciones especializadas de datos en educación, envejecimiento, justicia penal, abuso de sustancias, terrorismo y otros campos. Qualitative Data repository El repositorio de datos cualitativos (QDR) es un archivo dedicado a almacenar y compartir datos digitales (y la documentación adjunta), generados o recopilados a través de la investigación cualitativa y de múltiples métodos en las ciencias sociales. QDR proporciona servicios de consultoría en gestión de datos y selecciona activamente todos los proyectos de datos, manteniendo el valor y la utilidad de los datos a lo largo del tiempo y asegurando su disponibilidad y posibilidad de encontrarlos para su reutilización. Este repositorio cuenta con un identificador indicado en metadatos contundentes que además están indexados en un buscador web. También poseen un protocolo de comunicación estandarizado, además de poseer medios para la autorización del uso del material. Además, la página facilita el uso permitiendo previsualizaciones de los documentos que se encuentra abiertos, recurso que se encuentra igualmente en los otros buenos ejemplos de repositorios de datos. Otra temática importante que es trabajada por este repositorio es su apoyo en el hacer anónimos los datos, lo cual da cuenta de un compromiso por resguardar la seguridad de los investigadores y apoyarles como sugiere necesario el documento de Autoevaluación RISE. UK Data Service El Servicio de Datos del Reino Unido está financiado por el Consejo de Investigación Económica y Social (ESRC) para satisfacer las necesidades de datos de investigadores, estudiantes y profesores de todos los sectores, incluidos el mundo académico, el gobierno central y local, organizaciones benéficas y fundaciones, centros de investigación independientes, grupos de expertos y consultores empresariales y del sector comercial. La recopilación del Servicio de datos del Reino Unido incluye las principales encuestas patrocinadas por el gobierno del Reino Unido, encuestas transnacionales, estudios longitudinales, datos del censo del Reino Unido, agregados internacionales, datos comerciales y datos cualitativos. Dataverse Harvard El Proyecto Dataverse es una aplicación web de código abierto para compartir, preservar, citar, explorar y analizar datos de investigación. Facilita la puesta a disposición de los datos y le permite replicar el trabajo de otros con mayor facilidad. Los investigadores, las revistas, los autores de datos, los editores, los distribuidores de datos y las instituciones afiliadas reciben crédito académico y visibilidad en la web. De este modo, Dataverse no solo apoya el proceso de almacenamiento de materiales e información para la investigación sino que también posibilita el almacenamiento de códigos para la reproducibilidad, comprendida como la posibilidad de volver a ejecutar un análisis con los mismos datos y mismos procedimientos usualmente especificados en códigos. Un repositorio de Dataverse es la instalación del software, que luego aloja varios archivos virtuales llamados colecciones de Dataverse. Cada colección de Dataverse contiene conjuntos de datos, y cada conjunto de datos contiene metadatos descriptivos y archivos de datos (incluida la documentación y el código que acompañan a los datos). Como método de organización, las colecciones de Dataverse también pueden contener otras colecciones de Dataverse. 3.3.4 Experiencia regional LAPOP. Según su propia página web (LAPOP, 2020) LAPOP es la principal institución académica que realiza encuestas de opinión pública en las Américas, con más de 30 años de experiencia. Como centro de excelencia en investigación por encuestas, LAPOP usa enfoques y métodos innovadores con los estándares más altos para llevar a cabo encuestas nacionales; conducir estudios de evaluación de impacto, y producir reportes acerca de las actitudes, evaluaciones y experiencias de los individuos. El Barómetro de las Américas es la única encuesta comparativa y científicamente rigurosa que cubre 34 naciones incluyendo Norte, Centro y Sur América, así como también, un significativo número de países en el Caribe. Cada año publica docenas de estudios académicos de alta calidad y artículos de relevancia para la elaboración de políticas públicas. Cabe destacar que si bien esta es una experiencia de almacenamiento de datos para investigaciones, posee algunas diferencias. Por ejemplo es una plataforma solo para almacenar encuestas del proyecto LAPOP y no así de otras investigaciones afines. Por ello los servicios de clasificación de datos y priorización no son tan importantes por que no se posee un volumen tan grande de datos. Plataforma integrada de datos del MINCYT Argentina A partir de la información recopilada por el foro CILAC, se puede decir que en algunos países del continente los gobiernos están realizando esfuerzos por fomentar la apertura de los datos. Por ejemplo, en argentina, a partir de una nueva ley de Acceso abierto, se propuso una plataforma integrada para el acceso a datos. Esta plataforma entrega información sobre distintas disciplinas. Entre estos trabajos, el más cercano a las ciencias sociales son los Datos de personal de ciencia y tecnologia, que permite hacer análisis sociodemográfico de los académicos. Esta plataforma posee una previsualización y una tabla con las variables que facilita el conocimiento de los datos, los cuales están disponibles para descargar en distintos formatos. Esta previsualización se puede realizar a modo de tablas, gráficos y mapas. No obstante, la visualización mediante gráficos es relativamente ineficiente, puesto a que es difícil lograr gráficos que sean comprensibles. 3.3.5 Experiencias nacionales. Hace bastantes años que a nivel nacional se realizan esfuerzos por fomentar el registro abierto de datos. La antigua Comisión Nacional de Investigación Científica y Tecnológica (CONICYT), en la página Datos Cientificos (Programa de Información Científica, 2019), realiza una propuesta de política para datos abiertos. El primer punto de dicha propuesta exige a todos los beneficiarios de CONICYT la publicación de informes con datos producidos de la investigación. En favor de dicha política se publicaron el año 2010 y 2014 dos documentos con sugerencias para la apertura de los datos. El primero de estos informes es una revisión del estado del arte de la accesibilidad de datos (Muñoz, 2010). se destacan las siguientes recomendaciones. A partir de la experiencia de las Políticas de Intercambio de Datos Científicos en China se evidenció la dificultad de desarrollar una política nacional de gestión cuando en la cultura científica local persistió la idea de propiedad personal. Por ello, es fundamental realizar políticas de concientización respecto a los datos abiertos. En base a la recopilación de datos epidemiológicos del National Center for Health Statistics de Estados Unidos, se releva la importancia de preparar alternativas para datos sensibles. Considerando la naturaleza de los datos, es necesario en algunas ocasiones mantener los datos en la mayor confidencialidad posible. En esta línea, la organización mencionada junto con dejar los datos de acceso abierto, mantuvieron algunos datos en privado a los cuales solo se puede acceder en base a una solicitud con una propuesta de investigación y mediante una plataforma que posibilita cálculos sin permitir el acceso directo a los datos ni su transferencia. Es fundamental identificar aquellas investigaciones que requieren un resguardo mayor de datos y generar protocolos para su uso. El segundo documento, escrito el 2014, se denomina Datos Científicos Abiertos La Ciencia la hacemos entre todos, Programa de Información Científica (Hernández, 2014). Este informe posee la intención de ser un manual respecto a cómo abrir los procesos investigativos. Se destacan las siguientes recomendaciones: Utilizar una licencia de Creative Commons: permiten autorizar el uso de terceros sin perder los derechos de atribución. Utilizar repositorios interoperables: Para facilitar la recopilación automática de datos y el uso de estos desde distintos Software, se recomienda poseer buenos metadatos siguiendo los parámetros de interoperabilidad de Dublin Core. Los metadatos son los datos sobre los datos es decir aquella información que nos permite saber a qué corresponde la base de datos, quienes y cuando la crearon entre otras informaciones relevantes. Esta página propone una decena de metadatos indispensables para la interoperabilidad (Ej. creador, colaborador, editor, título, fecha, idioma, formato, tema, descripción, identificador, relación, fuente, tipo, cobertura y derechos, entre otros) (Dublin-Core, 2020). Si bien esta publicación no da cuenta de que metadatos debe ser específicamente utilizado a partir de la información anterior producida por lisa podemos decir que es beneficioso utilizar el conjunto de metadatos para social-science que es un conjunto bastante parsimonioso de información. CEP El Centro de Estudios públicos produce constantemente encuestas de opinión publica, con bastante contenido electoral. Esta es una de las bases de datos más conocidas en el campo de la sociología de Chile. Y en el último tiempo mejoro su plataforma de almacenamiento. Ahora la página posee un buscador de datos, un espacio para descargar una base consolidada longitudinal con los distintos estudios y un recurso para realizar gráficos en línea, lo cual fomenta la utilización por el público no especializado. Además, como siempre, la página cuenta con material suficiente para utilizar las bases de datos como las fichas técnicas, documentos de resultados y las bases de datos en distintos formatos (SPSS, STATA y R). Respecto a las bases de datos, es de las pocas analizadas que codificó las etiquetas de la base de datos en UTF-8. Como aspectos negativos se puede señalar que no se cuenta con recurso para descargar metadatos ni posee un identificador único Referencias "],["análisis-reproducibles.html", "Capítulo 4 Análisis reproducibles", " Capítulo 4 Análisis reproducibles En la discusión sobre los problemas de transparencia en torno a los procedimientos de investigación, se vuelve necesario precisar de qué manera es entendido el concepto de reproducibilidad en la ciencia. En esta línea, la laxitud con que se ha empleado el término ha llevado a definiciones poco claras, lo cual ha generado una tendencia a confundir lo que refiere a la transparencia de un proceso único que ya ha sido realizado, con un proceso nuevo y que puede realizarse de manera reiterativa, obteniendo los mismos resultados. Por este motivo, esta sección propone dar luces respecto a cómo entendemos el concepto de reproducibilidad, en contraste con el de replicabilidad en la ciencias sociales. La discusión en torno a cómo se entiende la reproducibilidad, habitualmente lleva al contraste respecto al concepto de replicabilidad. Al respecto Earth & Behavioral (2019) mencionan que, por un lado, con el incremento de las herramientas computacionales a principios de los años 90, el término de investigación reproducible era concebido como las investigaciones que proveían un compendio detallado de la documentación, código y datos que permitieran obtener los mismos resultados publicados por los autores, enfatizando que los análisis fueran transparentes y claros con el objetivo de ser verificados por sus pares. Por otro lado, los autores sostienen que, en otras disciplinas, el concepto de reproducibilidad era asociado a investigaciones independientes entre sí en términos de los datos empleados, los materiales, métodos e implementación de un estudio, lo cual estaría orientado a robustecer o cuestionar la evidencia previa (Earth & Behavioral, 2019, pp 33-34). Actualmente, a esta última práctica se la entiende como replicabilidad de una investigación y no debe ser confundida con el concepto de reproducibilidad (Barba, 2018). Barba (2018) sugiere que la confusión entre reproducibilidad y replicabilidad ha contribuido a obstaculizar las prácticas en ambas dimensiones. En una revisión reciente realizada por la autora se han identificado al menos tres escenarios o versiones de cómo se entienden ambos conceptos en una amplia gama de disciplinas que van desde las ciencias sociales hasta estudios clínicos en las ciencias médicas. El primer escenario (A), y a la vez el más común, es donde el uso de ambos conceptos es indistinto, contribuyendo a la ya mencionada confusión. El segundo escenario (B1) es cuando la reproducibilidad es entendida como la situación en que los datos originales y el código de análisis son empleados para regenerar los resultados originales, mientras que la replicabilidad es entendida cuando investigadores o equipos independientes utilizan datos nuevos para obtener los mismos resultados que la investigación previa. Finalmente, un tercer escenario (B2) es cuando la reproducibilidad es entendida cuando investigadores o equipos independientes obtienen los mismos resultados empleando sus propios datos y métodos, mientras que la replicabilidad es entendida cuando investigadores o equipos independientes llegan a los mismos resultados empleando los artefactos digitales1 originales del autor con menores o mayores modificaciones, los cuales han sido puestos previamente a disposición de sus pares. La Figura N° 4.1 ilustra cómo podemos entender los escenarios B1 y B2 en relación a la distinción entre reproducibilidad y replicabilidad. El color rojo, tanto en los datos como en los métodos, indica que los componentes empleados son idénticos a los del estudio original. Por otro lado, el color azul indica que tanto los datos como los métodos son distintos a los del estudio original. Finalmente, el color morado en los métodos se entiende como un punto intermedio y refiere a cuando se han empleado métodos que siguen las indicaciones del estudio original, pero que han incorporado modificaciones, nuevos métodos u otras innovaciones metodológicas (p. ej. métodos nuevos, pruebas de robustez u otros). Figura 4.1: Escenarios B1 y B2 en reproducibilidad y replicabilidad. En las ciencias sociales, el debate en torno a la investigación reproducible y la replicabilidad no ha estado ausente. Como fue reseñado en el capítulo de transparencia, existen casos icónicos en torno a prácticas cuestionables de investigación que han afectado la confianza en la investigación científica, lo cual ha contribuido a incrementar los esfuerzos por una ciencia social abierta y reproducible (Breznau, 2021; Nosek et al., 2015). En los tres escenarios descritos por Barba (2018), las ciencias sociales han experimentado de manera diversa el ajuste hacia una cultura de mayor apertura y precisión en torno a los problemas de la crisis de reproducibilidad, principalmente a través del estudio sistemático de dicha problemática, dentro de lo cual la psicología ha sido pionera en proveer evidencia para este debate (e.g. Open Science Collaboration, 2015; Gilbert et al., 2016). Al respecto Bishop (2019) sostiene que una de las principales amenazas para el progreso de la ciencia en general ha sido la falta de reproducibilidad de los resultados (irreproducibility), lo cual ha afectado principalmente la robustez y credibilidad de la evidencia reportada por las investigaciones, problema que también ha sido identificado en las ciencias sociales, principalmente por la falta de precisión en los procedimientos y las barreras de acceso a materiales clave del proceso de análisis (Freese & Peterson, 2017). Entonces, retomando la distinción clave entre lo que entendemos por reproducibilidad y replicabilidad, en su revisión, Barba (2018) sugiere que una manera de entender y distinguir ambos conceptos de manera minimalista puede descansar en el carácter de los datos y los métodos. Al respecto Nosek et al. (2015) sostiene que en lo que refiere a estas dos dimensiones, los niveles en que una publicación los incorpora es gradual y puede entenderse como un continuo o espectro (Peng, 2011) y, por tanto, el nivel en que se cumplen bajo determinados criterios nos permite definir el carácter de una investigación en términos de su reproducibilidad. Por ejemplo, la Figura N° 4.2 nos muestra cómo podemos caracterizar una investigación publicada en torno al acceso y vinculación entre código y datos. Por un lado, se observa que en el polo donde únicamente disponemos de la publicación, se entiende como la ausencia de reproducibilidad. Por otro lado, en la medida que incrementa el acceso a los materiales, y se explicita el enlace entre ellos, se puede caracterizar a una publicación como reproducible.2 Figura 4.2: Espectro de Reproducibilidad. Traducción propia en base a Peng (2011) Como sugieren Nosek et al. (2015), el problema de la ausencia o falta de reproducibilidad debe ser abordado a través de un cambio en las prácticas de investigación, para lo cual se requiere de una disposición por parte de la comunidad científica, es decir, que se le atribuya un sentido positivo a estas prácticas. Sin embargo, Peng (2011) sostiene que una de las principales barreras para promover estas prácticas ha sido la falta de mecanismos que faciliten la distribución de la investigación reproducible, como también la poca claridad respecto de los estándares asociados a ello. Siguiendo esta autocrítica de algunos sectores dentro de la comunidad científica, dentro de los últimos años han surgido iniciativas como, por ejemplo, el Open Science Framework, al alero del Center for Open Science, desde donde se busca contribuir con herramientas para el entrenamiento y educación de la comunidad científica en general, como también proveer de una infraestructura tecnológica que facilite la transición cultural hacia una ciencia abierta, transparente y reproducible (Nosek et al., 2015). Por este motivo, proponemos revisar tres iniciativas internacionales que han puesto sus esfuerzos en la promoción de estos principios, con particular atención en la reproducibilidad de la investigación científica, y en particular de las ciencias sociales empíricas cuantitativas. Dentro de estas iniciativas encontraremos esfuerzos orientados a la educación y entrenamiento, herramientas tecnológicas y fortalecimiento de redes de colaboración. Referencias "],["qué-se-ha-hecho.html", "4.1 ¿Qué se ha hecho?", " 4.1 ¿Qué se ha hecho? 4.1.1 Berkeley Initiative for Transparency in the Social Sciences (BITSS) Objetivos y visión Esta iniciativa busca promover la credibilidad en la evidencia generada por las ciencias sociales a través de mecanismos de avanzada para la transparencia, reproducibilidad y prácticas éticas en la investigación social empírica. Desde esta premisa, se ha desarrollado y puesto a disposición de la comunidad científica una serie de herramientas en colaboración con estudiantes, investigadores, entidades académicas y fundaciones de la sociedad civil al alero de tres principios orientadores: Generar evidencia en torno a problemas y soluciones a través de los investigadores y la comunidad de BITSS, quienes han liderado investigaciones meta-analíticas, con atención en las ciencias sociales. Incrementar el acceso a la enseñanza de la ciencia abierta, a través del fortalecimiento de prácticas para reconocer y conducir investigación social transparente y reproducible a través del entrenamiento de investigadores jóvenes, acceso a materiales, apoyo financiero y la consolidación de una red de colaboración. Fortalecer el ecosistema científico, estableciendo condiciones para investigadores e instituciones para contribuir a un cambio efectivo y equitativo en las normas que permitan una consolidación de una política interna orientada a la ciencia abierta y al desarrollo de protocolos en esta dirección. Desde sus inicios, se han desarrollado una serie de componentes que buscan promover y dar soluciones a los problemas de transparencia y reproducibilidad en las ciencias sociales. En particular, nos interesa destacar algunas de las contribuciones en este ámbito que serán presentadas a continuación, las cuales se pueden resumir en Evidencia, Educación y Recursos. Contribución En el ámbito de Evidencia, desde BITSS se ha realizado un esfuerzo por producir y sistematizar evidencia centralizadamente. En este contexto existe la Research Library, una base de datos de publicaciones científicas que engloba una serie de investigaciones meta-analíticas en el ámbito de las ciencias sociales, contribuyendo con un cuerpo de evidencia sistemática en torno a los problemas y soluciones sobre transparencia y reproducibilidad en las ciencias sociales sin precedentes. En este apartado, tanto los colaboradores como investigadores de BITSS ponen a disposición de la comunidad científica las investigaciones que han sido financiadas a través de las Social Science Meta-Analysis and Research Transparency (SSMART) grants, las cuales constituyen fondos orientados a contribuir a la investigación empírica en torno a la transparencia y reproducibilidad en disciplinas como la economía, ciencia política, psicología y ciencias sociales afines. Desde la Educación y Entrenamiento podemos identificar la articulación de una serie de Training activities desarrolladas por BITSS. Dentro de los objetivos de estas actividades encontramos dos aspectos que se buscan abordar desde esta dimensión. Por un lado, se encuentra el promover una visión crítica de los investigadores en las ciencias sociales, esto considera un entendimiento de los principales problemas asociados a la investigación social de calidad al alero de los principios de la ciencia abierta, dentro de lo cual podemos encontrar los sesgos y prácticas referidas a las presiones por publicar, prácticas cuestionables de investigación, reproducibilidad y privacidad de datos. Por otro lado, se han propuesto promover el manejo de técnicas de investigación para la transparencia y reproducibilidad, principalmente a través de actividades de entrenamiento con un foco en el aprendizaje e implementación de herramientas y métodos. En esta línea destacan dos contribuciones que se fundamentan en estos principios, las cuales serán descritas a continuación. Research Transparency and Reproducibility Training Una de las contribuciones señaladas es el Research Transparency and Reproducibility Training (RT2), el cual constituye uno de los principales eventos académicos realizados anualmente por BITSS, teniendo por objetivo el poner a disposición de estudiantes e investigadores una mirada general de las herramientas y prácticas actuales para la transparencia y la reproducibilidad en la investigación empírica en ciencias sociales. Los contenidos de RT2 abordan una serie de tópicos de manera transversal que pueden ser ilustrados en seis puntos: Amenazas para la credibilidad en la ciencia y la reproducibilidad, junto con su relación con el ethos científico: Conducta y valores en la ciencia. Mejoras en las especificaciones de los diseños de investigación: pre-registros y plan de pre-analysis en investigación con datos experimentales y observacionales. Ética e investigación abierta: estándares éticos para la ciencia abierta, manejo de datos y autoría de fuentes de información abiertas (citación). Herramientas y métodos para la investigación reproducible y colaboración: control de versiones y reportes dinámicos. Sistematización de evidencia, reproducibilidad e interpretación: métodos para investigación meta-analítica y revisiones sistemáticas, transparencia y reproducibilidad usando datos administrativos; y replicabilidad en la investigación. Software para la Ciencia Abierta e innovaciones metodológicas. MOOC: Transparent and Open Social Science Research Otra de las contribuciones es el Transparent and Open Social Science Research que corresponde a un curso gratuito online de cinco semanas el cual aborda los fundamentos conceptuales y las principales herramientas para promover una ciencia social abierta y transparente. La Tabla 4.1 muestra el contenido de las sesiones, las cuales se basan en un curso de nivel de grado dictado por el director de BITSS Ted Miguel en la Universidad de California Berkeley. Tabla 4.1: Cursos por semana en el MOOC de BITSS Semana Contenido 1 Introducción a la transparencia y reproducibilidad de la investigación 2 Sesgo de publicación 3 Pre-registro, Plan de Pre-Análisis; y Meta-análisis 4 Replicación y Datos Abiertos 5 Visualización de Datos transparente y Viendo hacia adelante Una de las principales características de este curso introductorio es la sistematización de aspectos claves para la ciencia abierta con un foco particular en las ciencias sociales. Adicionalmente, tiene el objetivo de introducir conceptualmente a los problemas que se han visto presentes en las ciencias y busca dar respuestas a prácticas a través de herramientas y métodos concretos para solucionarlo. Finalmente, constituye un esfuerzo breve y preciso, dado que las sesiones semanales poseen una duración promedio de unos treinta minutos y se encuentran dosificadas en videos de corta duración subtitulados. En el ámbito de los Recursos que provee BITTS, podemos encontrar una librería de recursos o simplemente la Resource Library, la cual incluye una multiplicidad de recursos de aprendizaje digitales en torno a la transparencia y reproducibilidad, ordenados según (i) Tópico, (ii) Tipo y (iii) Disciplina de las ciencias sociales. La Figura 4.3 muestra cómo se visualizan los tópicos disponibles en la librería, lo cual puede ser ordenado según tipo y disciplina. Figura 4.3: Librería de Recursos de BITSS 4.1.2 Proyecto TIER (Teaching Integrity in Empirical Research) Objetivos y visión El proyecto TIER es una iniciativa respaldada por la Fundación Alfred Sloan que se propone contribuir a un cambio en las normas y conductas profesionales en torno a la transparencia y reproducibilidad en la investigación empírica en las ciencias sociales. Uno de los principios orientadores de sus actividades es el proveer formación en herramientas para la documentación oportuna de procedimientos que involucren datos estadísticos a través de rutinas y referencias que garanticen la reproducibilidad de estos. La idea subyacente que motiva estas acciones es que los autores puedan concebir la documentación como un componente esencial de la comunicación de sus resultados con sus pares, como también al público no especializado, de modo tal que estas medidas contribuyan a incrementar la confianza y credibilidad en la evidencia científica. En esta línea, su declaración de principios sostiene que su objetivo se puede considerar como logrado cuando: () no proporcionar documentación de replicación para un estudio empírico se considere tan aberrante como escribir un artículo teórico que no contenga pruebas de las proposiciones, un artículo experimental que no describa las condiciones de tratamiento o un artículo de revisión de leyes que no cite los estatutos legales o las decisiones judiciales. (traducción propia) Contribución Es necesario tener presente que uno de los principales campos de acción del proyecto TIER es la Educación y Entrenamiento hacia cientistas sociales en formación, tomando en consideración que es en el ciclo formativo inicial donde se deben impulsar la adopción de prácticas integrales para la investigación social empírica. En esta línea, uno de los elementos destacables es la sección de herramientas para la enseñanza titulada TIER in the Classroom, sus contenidos referidos a temas de reproducibilidad se pueden resumir de la siguiente manera: Soup-to-Nuts Exercises: No existe una traducción en el español, no obstante la expresión Soup-to-Nuts refiere a un proceso de inicio-a-fin. Como lo dice, esta sección muestra ejercicios orientados a la reproducibilidad de los análisis pasando por (1) los datos, (2) procesamiento, (3) análisis y (4) reporte. La idea fuerza de este ejercicio es introducir a estudiantes a los principios y prácticas fundamentales de la investigación social transparente y reproducible para que los implementen en sus tareas o informes. Materiales para clases: Esta sección está fuertemente orientada al análisis estadístico y a los métodos cuantitativos. Se presentan una serie de veinticuatro cursos de pregrado y postgrado que incorporan en su currículum los principios de transparencia y reproducibilidad en la enseñanza de los métodos de manera transversal. Los materiales de cada curso se encuentran disponibles para libre descarga, incorporando ejercicios de análisis estadístico (R, Stata, SPSS), reportes dinámicos (R Markdown, Markstat) y sus respectivos syllabus. Trabajos estudiantiles: En esta sección se incorporan una serie de trabajos estudiantiles/papers, los cuales están acompañados de una completa documentación basada en el Protocolo TIER (ver detalle abajo). El objetivo es presentar modelos de trabajos realizados con análisis reproducibles, de modo tal que quien esté interesado en emplear la estructura de un proyecto pueda observar un trabajo real e, idealmente, logre reproducir completamente sus resultados. Una de las contribuciones más relevantes del proyecto TIER es la elaboración de estándares para la organización, publicación y comunicación de proyectos de investigación empírica cuantitativa reproducible. Al respecto, existen dos esfuerzos orientados a este fin: Por un lado tenemos el Protocolo TIER, el cual constituye una serie de especificaciones respecto a los contenidos de la documentación para la replicación de un estudio, el cual está orientado a ser empleado para la enseñanza de la investigación que incorpore la reproducibilidad de los análisis. En este caso es importante precisar, como ya hemos identificado en un principio, que el concepto de replicación se emplea como sinónimo de reproducibilidad, entendiendo este último como la conjunción de datos y métodos originales que nos permitan regenerar los resultados de un estudio que ha sido publicado. Por lo tanto, cuando en TIER se habla de replicación se refiere a esta idea. La documentación debe incluir una serie de elementos descritos a continuación. Datos empleados por el proyecto Rutinas de código escrito en el software empleado para la preparación y análisis estadístico. Esto se incluye dado que el objetivo es proveer los datos brutos a procesar, junto con todas las instrucciones que permiten regenerar los resultados reportados en el estudio. Fuentes de información que contribuyan a comprender detalladamente cada sección del estudio de inicio a fin. Por otro lado tenemos el Protocolo DRESS (Documenting Research in the Empirical Social Sciences). Al igual que el Protocolo TIER, se incorporan los mismos estándares para la documentación de una investigación transparente que incorpore la reproducibilidad de los análisis. Sin embargo, este se encuentra adaptado a los propósitos de los investigadores profesionales, más que para el uso de los estudiantes durante su formación en investigación. 4.1.3 UK Reproducibility Network (UKRN) Objetivos y visión La UK Reproducibility Network (UKRN) es un consorcio institucional del Reino Unido que tiene por objetivo promover los principios y prácticas de la ciencia abierta con una mirada local, es decir, en las instituciones nacionales y sus investigadores. Para contribuir a este objetivo se realizan esfuerzos en torno a la investigación de los factores que determinan una investigación abierta y robusta, promoviendo el entrenamiento a través de actividades abiertas y diseminando las buenas prácticas para una ciencia abierta. En particular, se proponen profundizar en los factores que determinan la carencia de reproducibilidad y replicabilidad, para lo cual se busca: Desarrollar aproximaciones que contrarresten esta falta de transparencia. Incrementar la confianza y la calidad de la investigación científica. Abordar de manera transversal estos problemas en las distintas disciplinas científicas. Avanzar hacia un cambio cultural en la ciencia y transformar las prácticas de quienes la desarrollan. La UKRN se caracteriza por un trabajo en red, es decir, por un importante componente de vinculación entre instituciones de investigación asociadas a universidades como también a oficinas gubernamentales que desarrollan investigación (ver External Stakeholders). En esta línea, existen diversas iniciativas apoyadas por la UKRN que promueven el entrenamiento, metodologías y recursos tecnológicos para la ciencia abierta. A continuación se presentarán algunas de las contribuciones más relevantes realizadas por la red, como también algunas de las iniciativas externas que han sido respaldadas por la UKRN. Contribución En el ámbito de la Educación y Entrenamiento, es posible identificar, por un lado, las contribuciones realizadas directamente por la UKRN y, por otro lado, las iniciativas que son respaldadas por la red y que promueven la formación en torno a los principios y prácticas de la ciencia abierta, particularmente en la etapa temprana de la carrera de investigación. Respecto a una de las iniciativas elaboradas por los académicos e investigadores involucrados en la UKRN, encontramos uno de los principales recursos virtuales en un breve curso online que aborda una serie de tópicos relevantes para la promoción de la ciencia abierta, dentro de lo cual encontramos el uso de pre-prints, autorías, registered reports, datos abiertos y reproducibilidad. A continuación se puede observar la lista de sesiones que han sido desarrolladas en torno a estos temas. Junto con las sesiones, existe una serie de recursos compartidos a través de un proyecto abierto en el Open Science Framework. Aquí es posible acceder a documentos breves que abordan los tópicos de cada sesión, además de recursos adicionales sobre uso de software de código abierto y repositorios. Un ámbito de desarrollo ha sido la disposición de recursos tecnológicos que promuevan y faciliten las prácticas en ciencia abierta. Una de las iniciativas impulsadas es el Open Research Calendar, el cual consiste en un instrumento colaborativo y abierto que busca brindar a la comunidad de investigadores interesados en temas relacionados a la ciencia abierta un flujo constante de actualizaciones en torno a workshops y conferencias a nivel mundial que abordan tópicos sobre ciencia abierta unificados en un calendario. El carácter colaborativo de esta herramienta permite que usuarios previamente registrados y validados puedan contribuir con información que se centraliza en el calendario de eventos, precisando los contenidos y redireccionando a la inscripción y/o enlace para las actividades que se realizan a través de internet. Para facilitar la experiencia de usuario, el calendario se integra con Google Calendar que puede sincronizarse con la agenda personal y que se van actualizando automáticamente. Otra herramienta tecnológica patrocinada por la UKRN es la plataforma Octopus. A la fecha, la plataforma se presenta como una aplicación en desarrollo y abierta a comentarios de los usuarios. En términos generales se propone ser una alternativa para contribuir a la apertura de publicaciones. El detalle se presenta así: () sustituir a las revistas y los artículos como lugar para establecer la prioridad y registrar su trabajo con todo detalle, Octopus es de uso gratuito y publica todo tipo de trabajos científicos, ya sea una hipótesis, un método, datos, un análisis o una revisión por pares (traducción propia). La Figura 4.4 ilustra un ejemplo de cómo se ve un proyecto en Octopus. Vemos que existen siete componentes que buscan representar el flujo de una investigación. Entendiendo que los procesos de investigación no son lineales y tienden a existir iteraciones entre teoría y métodos, la virtud del registro y publicación de un proyecto permite que otros puedan conocer y evaluar nuestras hipótesis, plan de análisis, resultados y versiones de un artículo, así como también la vinculación entre cada sección. Figura 4.4: Ejemplo de un trabajo registrado en desarrollo en octopus.org Para publicar debemos ingresar con una cuenta de ORCID. Si no tienes una cuenta puedes crear un perfil aquí. Luego, se deben seguir tres pasos. El primero es elegir qué tipo de componente se desea publicar (Problema, Hipótesis, Métodos, etc). Segundo, dar detalles sobre el componente y con qué otros proyectos se relaciona. Finalmente, contribuir con un borrador de escritura que luego será publicado. "],["herramientas-para-los-análisis-reproducibles.html", "4.2 Herramientas para los análisis reproducibles", " 4.2 Herramientas para los análisis reproducibles Generalmente, cuando se habla de reproducibilidad se toma en consideración su dimensión computacional, esto es, el trabajo con código. Como investigadores de las ciencias sociales empíricas y promotores de la ciencia abierta creemos que efectivamente este es el núcleo de la reproducibilidad, sin embargo no es su única acepción. La mera existencia de un código de análisis no nos garantiza que un proyecto sea reproducible per se, dado que es importante tener en consideración cómo es que distintos elementos del proyecto se relacionan entre sí para regenerar los resultados de un trabajo publicado. Considerando esto, es que dividiremos esta sección presentando un flujo de trabajo reproducible con cuatro características: Estructura del proyecto Documentos dinámicos Control de versiones Prácticas de código Veamos cada uno de ellos. 4.2.1 Estructura del proyecto Una de las principales cosas que debemos considerar al elaborar un proyecto es su estructura de carpetas y archivos, con el fin de que esta nos permita entender e identificar los archivos existentes y rol en el flujo de trabajo. En este sentido, una de las herramientas que han sido desarrolladas son los denominados Protocolos (p. ej. TIER, DRESS, IPO), los cuales brindan una serie de orientaciones referentes a estructura digital de carpetas, documentación de archivos y rutinas para conseguir el anhelado objetivo de los análisis reproducibles. Para esto, es posible mencionar una serie de orientaciones generales referentes a dichos procedimientos, por ejemplo en el Proyecto TIER (TIER, 2020) se han desarrollado protocolos orientados a la reproducibilidad de los análisis, los cuales se fundamentan en tres principios que se describen a continuación. Reproducibilidad: La documentación debe permitir regenerar completamente los resultados del estudio original. En primer lugar, se debe comenzar con los datos originales brutos idénticos a aquellos con los que el autor comenzó la investigación. Luego, la posibilidad de realizar las mismas rutinas de código para preparar los datos finales para el análisis. Finalmente, se debe disponer de las rutinas de código que permitan regenerar los mismos resultados publicados, por ejemplo, las tablas o figuras presentes en la investigación. Independencia: Toda la información necesaria para regenerar los resultados del estudio debe estar presente en la documentación. Esto refiere a que no debe ser necesario solicitar ninguna información adicional al autor original. Realismo: La documentación debe estar organizada y presentada con suficiente claridad para que bajo un criterio realista, sea factible que un investigador independiente con un nivel de expertise razonable tenga la posibilidad de regenerar completa e independientemente los resultados del estudio sin mayores dificultades. Teniendo en cuenta lo anterior, la forma en que se encuentran organizadas las partes de un proyecto es fundamental para cumplir a cabalidad con lo que se propone cada principio. Como vimos en la sección previa, es posible entender la reproducibilidad como un espectro que involucra una tríada de tres elementos: Datos, Métodos y Resultados. ESQUEMA: Datos - Métodos - Resultados Este esquema es una síntesis que hacemos de algunos de los protocolos más usados en las ciencias sociales. Más que proponer un protocolo nuevo, buscamos describir los elementos fundamentales que contiene una estructura de proyecto reproducible y que están presentes de alguna u otra forma en la mayoría de los protocolos. 4.2.1.1 Carpeta raíz Antes de detallar los tres elementos que se deben considerar para avanzar en el espectro de reproducibilidad, es importante partir de una base. Esta es la que en distintos protocolos y otras herramientas para la reproducibilidad se conoce como la carpeta raíz (root). La carpeta raíz es donde se alberga toda la documentación de referencia general para el proyecto, lo que abarca desde bases de datos hasta el cuestionario u otros documentos similares. La carpeta raíz es el punto de partida para poder emplear otras prácticas para la reproducibilidad. A modo de ir avanzando en el espectro de reproducibilidad, es importante tener en consideración dos principios en relación con la carpeta raíz: documentar y orientar. La documentación implica exponer ordenadamente el contenido del proyecto completo de manera jerárquica, es decir, el contenido de subcarpetas y su funciones. En cambio, orientar implica conducir una correcta ejecución de las rutinas que permitan regenerar los resultados de la investigación. Una carpeta base que logre considerar estos principios debe tener los siguientes contenidos: Detalle de la base y las subcarpetas organizadas según su contenido. Una manera amigable de representar esta estructura es a través de un árbol de directorios, el cual ilustra la jerarquía de las carpetas y los principales archivos contenidos. Instrucciones para la configuración del paquete estadístico necesario para ejecutar las rutinas de código. Esto considera el número de versión del software, los complementos necesarios que sean adicionales al paquete estándar y cualquier otra información especial sobre el software que el lector necesite conocer para reproducir los resultados del estudio. Instrucciones de inicio-a-fin para regenerar los resultados a través de referencias directas al uso de los archivos de procesamiento de datos en la preparación y análisis. En este apartado se deben incluir detalladamente los objetivos de cada rutina de código de manera independiente. Los contenidos descritos se deben incluir en un archivo que lleve de nombre readme.md/txt/pdf. Una sugerencia de estructura interna de este documento es la siguiente: Estructura y contenido del proyecto reproducible Esquema tipo Árbol de directorios Descripción de cada subcarpeta, sus archivo y roles Instrucciones y rutinas de ejecución de resultados Instrucciones para configuración del software Instrucciones para la ejecución de rutinas de código de inicio-a-fin Con este archivo readme.md/txt/pdf ya contamos con el primer gran paso hacia la reproducibilidad: nuestra carpeta raíz está bien documentada y logra orientar bien a cualquier tercero que quiera reproducir nuestra investigación. Con esto descrito, pasaremos a detallar los tres elementos a considerar para adoptar un enfoque reproducible en un proyecto (Datos-Método-Resultados) 4.2.1.2 Datos En la ciencia trabajamos con datos, ya sean cualitativos o cuantitativos, primarios o secundarios. Si nos desempeñamos como científicos analizaremos datos con tal de sacar conclusiones relevantes para el avance del conocimiento. Es por esto que el cómo albergamos y documentamos los datos para nuestro estudio es uno de los primeros puntos a considerar para adoptar un enfoque orientado hacia la reproducibilidad. El objetivo es que cualquier persona sea capaz de comprender nuestros datos y utilizarlos para reproducir nuestros análisis. Si bien los protocolos varían de acuerdo a cómo se organizan los datos dentro de la carpeta raíz (i.e. en qué carpeta se alojan), algo que suele ser común entre los protocolos y que es relevante de recalcar acá es la diferenciación entre los datos originales o crudos (raw data) y los datos procesados. Los datos originales son aquellos que no han sufrido ningún tipo de modificación, en contraste a los datos procesados. El albergar ambas bases de datos permite comprender de mejor forma las modificaciones que se hicieron y las decisiones que se tomaron. Al igual que con la carpeta raíz, sugerimos ciertas prácticas de documentación y orientación para que el proyecto sea reproducible. Presentamos el detalle para los datos originales y los datos procesados. Para toda fuente de datos original, se debe proveer la siguiente información: Citación bibliográfica en un formato estándar (p. ej. American Psychological Association, Chicago, etc). Sugerimos revisar el componente de Datos Abiertos para la publicación de datos. La fecha de creación de la base de datos o el día en que se accedió por primera vez por parte del autor (en caso de que sean datos secundarios). Una descripción respecto a cómo se puede acceder a una copia de esta base de datos. Se debe ser lo suficientemente claro como para que un usuario independiente pueda acceder a los datos sin requerir información adicional. Un libro de códigos de todas las variables de la base de datos. Sugerimos revisar el apartado ¿Cómo hacer un libro de códigos?. Para toda fuente de datos procesada, es posible identificar dos tipos: Base de datos intermedia, la cual contiene información que, por un lado, puede ser complementaria con una base de datos principal. Por ejemplo, tenemos una base de datos con información de individuos pertenecientes a zonas/territorios (regiones o países), a la cual necesitamos incorporar información adicional que proviene de fuentes externas. En este caso, podemos generar una base procesada intermedia, para luego proceder a combinar ambas fuentes de datos. Base de datos final, es una versión final de una base de datos que contiene las variables completamente procesadas para realizar los análisis. En estos casos se sugiere proveer la siguiente información: Libro de códigos de la base procesada. Para ello, las variables deben estar correctamente etiquetadas. Fecha de creación y versión de la base de datos procesada. 4.2.1.3 Métodos Con los métodos nos referimos a toda información del proyecto relacionada al trabajo con los datos, específicamente al procesamiento y el análisis de datos. Ambas actividades pueden ser albergadas en un mismo archivo, no obstante e independiente del protocolo que se use, sugerimos separar ambas actividades en documentos distintos. Esto hará mucho más fácil la lectura del proceso de toma de decisiones, especialmente si son archivos de código. De esta manera, cualquier tercero podrá entender el proceso, evitando lo más posible que emerjan preguntas tipo ¿y de dónde salió esta variable?. En esta sección presentamos un flujo tanto para el documento de procesamiento como para el de análisis. Independiente del software estadístico que usted esté utilizando, será capaz de adherir a este flujo para hacer estas actividades de forma más ordenada. El procesamiento de los datos cumple una función muy importante para el desarrollo de un artículo: la de procesar los datos que darán paso a los análisis del estudio. Considerando eso, el objetivo final de este documento es generar una base de datos procesada, que contenga solamente los datos importantes para analizar. El flujo puede ser: Cargar la base de datos original: Cargar la base de datos original es el punto de partida para el procesamiento de los datos, y como tal, es muy importante que esta acción sea reproducible. En softwares como R, podemos hacer esta acción de manera reproducible al cargar los datos directamente de la web. Si esta no es una opción, podemos dejar bien documentado la forma en que se debe cargar la base de datos. Revisar la base de datos: Una vez cargada la base de datos original, recomendamos siempre revisar para que todo esté en orden. Cuando decimos ver que todo esté en orden nos referimos a diagnosticar si la base ha sido correctamente cargada. Por ejemplo, a veces podría suceder que la base de datos está en formato .csv con las columnas separadas por punto y coma (;) y nosotros la cargamos en el formato tradicional (,). Seleccionar las variables que se utilizarán: Generalmente no ocupamos todas las variables dentro de una base de datos, en especial en la investigación basada en encuestas con datos secundarios. Es por eso que el comienzo del procesamiento de datos consta de seleccionar las variables que utilizaremos para los análisis. Renombrar las variables: Si bien no es estrictamente necesario renombrar las variables, sí se recomienda para facilitar tanto el propio trabajo cómo el de alguien que vaya a emplear el mismo código. Generalmente, en la investigación de encuestas con datos secundarios nos encontramos con grandes bases de datos, con nombres técnicos y poco autoexplicativos. La principal recomendación aquí es cambiar estos nombres por nombres cortos y autoexplicativos. Procedimientos a realizar por cada variable: Una vez hemos cumplido con los aspectos generales del procesamiento, podemos pasar a la revisión de variable a variable. Aquí proponemos el siguiente flujo: Descriptivo inicial: calcular una tabla de frecuencias o de medidas de tendencia central y dispersión para conocer el estado de la variable previo a cualquier modificación. Recodificación: aquí se toman las decisiones respecto a la recodificación de los datos perdidos y otro tipo de valores a modificar (e.g. errores de tipeo). Es importante que las decisiones sobre la recodificación queden bien estipuladas y transparentadas. Por ejemplo, en caso de hacer imputación en alguna variable, dejarlo comentado en el código. Etiquetado: el etiquetado es una forma simple y eficiente de poder dar más información acerca de una variable. En el caso de bases de datos sobre encuestas, generalmente una base bien documentada trae etiquetas predeterminadas que hacen alusión a las preguntas del cuestionario. Es importante tener en consideración que no todos los softwares soportan el etiquetado en las bases de datos, en esos casos es útil elaborar un libro de códigos para nuestra base de datos procesada. Descriptivo final: recomendamos que, posterior a haber hecho las recodificaciones correspondientes, revisar de nuevo las frecuencias o las medidas de tendencia central de las variables, para diagnosticar que no hemos cometido errores en el procesamiento. Por dar un ejemplo, un error común, es etiquetar mal las categorías de la variable, lo que tendría un impacto directo en la interpretación de los datos. Otros ajustes: en esta última parte del flujo por variable, recomendamos efectuar toda modificación específica y relevante para la forma que analizaremos los datos. Por ejemplo, si fuésemos a construir un índice con algunas de las variables. El seguir este flujo de manera sistemática facilitará la lectura tanto para terceros, como para nosotros mismos en el futuro. Una vez contamos con nuestra base de datos procesada podemos analizar los datos. En el documento de análisis de datos se procede a elaborar todas las tablas, gráficos, pruebas estadísticas etc. que vayan a ser introducidos en el artículo final. Es importante que se piense en este documento como un reporte de análisis en sí mismo, es decir, debe estar dirigido al público y no solo ser un documento de trabajo interno para el equipo de investigación. Al igual que para la sección de procesamiento de datos, aquí también recomendamos un flujo de trabajo para hacer el trabajo -y el código- reproducible y eficiente. Dividimos el flujo en dos secciones, primero, una que contenga los análisis necesarios para probar las hipótesis de investigación. Segundo, una sección con análisis secundarios y/o exploratorios que sean relevantes para lo que el artículo busca plantear. Efectuar análisis descriptivos univariados de los datos. Es ideal una tabla única que sintetice el comportamiento de las variables de interés. Efectuar análisis correlacional de los datos. Es una primera aproximación a las hipótesis, además de ser esquemático. Por ejemplo, el uso de matrices de correlación o de nubes de puntos. Efectuar análisis multivariados. Modelos que suelen ser la principal herramienta para poner a prueba las hipótesis. Efectuar análisis exploratorios. Esto en el caso que se quieran explorar relaciones o patrones que no fueron previamente hipotetizados. Documentación Para una correcta comprensión de los documentos de procesamiento y análisis es importante tener una descripción adecuada de cada una de sus partes, o dicho de otra forma, una correcta documentación. Es relevante precisar de qué manera estos documentos se vinculan con otros archivos dentro del proyecto, para lo cual podemos tomar el ejemplo del Protocolo IPO. Por un lado, el documento de preparación requiere de una fuente de datos inicial, por tanto está directamente relacionada con la carpeta Input y la subcarpeta de datos originales. Por otro lado, el documento de análisis requiere de una fuente de datos procesada, por tanto está directamente relacionada con la carpeta Input y la subcarpeta de datos procesados. Para una correcta ejecución de las rutinas de código, es importante describir adecuadamente la relación entre los archivos de preparación y análisis. Para ello, se sugiere incorporar un archivo de nombre readme-proc.md/txt/pdf, en donde se describa brevemente dicha vinculación. Para ello sugerimos los siguientes puntos a describir: Para la ejecución de la preparación, precisar la ubicación de la o las fuentes de datos originales. (p.ej. input/data/original/original-data.dta) Para el cierre de la preparación, precisar la ruta donde se deben almacenar la base de datos procesada y su extensión (p.ej. input/data/original/proc-data.RData) Para la ejecución de los análisis se debe precisar el origen de la base procesada que fue creada en el punto 2. Para los archivos de resultados provenientes del análisis de los datos, tales como figuras o tablas, debemos precisar la ruta donde se almacenarán y su nombre. 4.2.1.4 Resultados Con los resultados, nos referimos a las figuras, gráficos o tablas que son producto de nuestro análisis y que serán relevantes de alguna forma para el estudio. Comúnmente, los protocolos para la organización de las carpetas proponen que todo lo que esté relacionado a los resultados se guarde en una carpeta aparte. Por ejemplo, el protocolo IPO propone albergar tablas y figuras en las subcarpetas tables e images dentro de la carpeta output. Tomando como ejemplo el uso del protocolo IPO, sugerimos que para una correcta identificación de cada archivo se sigan las siguientes indicaciones: Para las imágenes, sugerimos usar nombres breves e incorporar numeración. Por ejemplo figura01.png, según el orden de aparición en la publicación. Para el caso de los cuadros o tablas, existen distintas extensiones para almacenarlas como archivos independientes (tex/txt/md/html/xls). Para ello, sugerimos emplear nombres cortos e incorporar numeración. Por ejemplo, tabla01.xls, según el orden de aparición en la publicación. 4.2.2 Texto plano y documentos dinámicos Adoptar ciertas prácticas en lo que respecta a la estructura de un proyecto es el primer paso en el espectro de reproducibilidad. El segundo paso que proponemos acá es el uso de texto plano y documentos dinámicos. Probablemente, el programa que más se ha utilizado para la escritura, desde la formación de pregrado hasta el trabajo cotidiano como investigador, sea Microsoft Word. Sin duda, es una herramienta sumamente útil, cuenta con varias funciones que permiten ordenar y hacer más estéticos nuestros documentos, no obstante, no es reproducible. Aunque Microsoft Word sea un formato de archivo ampliamente conocido, necesitamos algún tipo de lector asociado al formato .docx (u otro similar) para poder leer los archivos. Esto implica que solamente las personas que tengan instalado algún lector para este tipo de documentos serán capaces de acceder al contenido, lo cual va en contra de la idea de reproducibilidad. Ahora, también es cierto que el formato de Word está tan extendido, que es realmente difícil que alguien no tenga disponible un lector de este tipo de archivos. Sin embargo, el real problema está con quien es dueño de ese contenido. Acá no nos inmiscuimos en temas de propiedad intelectual, pero sí es importante hacerse la pregunta sobre quién es dueño de lo que escribimos si el medio por donde estamos escribiendo no es propiedad nuestra. Es cosa de imaginarse que, de un día para otro, todo programa asociado a Microsoft desapareciera por alguna razón: todos nuestros documentos quedarían obsoletos. Aquí es donde entra el texto plano. El texto plano es, simplemente, un tipo de texto que se puede leer independiente del lector que se use. Un ejemplo simple es escribir en el bloc de notas de Windows. El texto plano es importante cuando buscamos avanzar hacia la reproducibiliad por dos razones. Primero, es un tipo de texto universal, lo que da la ventaja de que, en principio, cualquier persona será capaz de leer algo escrito en este formato. Segundo, sienta las bases para que surjan lenguajes que permiten sofisticar el formato de los documentos, pero que sigan teniendo el carácter universal del texto plano. Los ejemplos más conoocidos son LaTeX y Markdown. La descripción en detalle del lenguaje LaTeX y Markdown no son objetivo de este capítulo, pero sí es importante tenerlos en cuenta ya que han dado paso a una de las herramientas más utilizadas en la ciencia abierta: los documentos dinámicos. Estos son documentos que incluyen, a la par, texto plano y código. Es decir, ya no es necesario que utilicemos una hoja de código para generar un gráfico y luego pegarlo en un documento Word para escribir nuestro artículo, sino que podemos hacer todo esto en un mismo archivo. Además de hacer nuestro flujo de trabajo más eficiente, también hace más fácil reproducir los archivos. Por ejemplo, si quisiéramos que un colega revisara nuestro artículo, bastaría con que le enviáramos el documento dinámico que contiene tanto el código como el escrito. Así, él podría revisar la escritura del documento, y además, evaluar si los análisis han sido efectuados correctamente. Las distintas formas de documentos dinámicos dependen del software que se vaya a emplear para la programación del código. Según Schindler et al. (2021), los softwares más usados en las ciencias sociales actualmente son R y Stata, por lo que presentaremos un resumen de sus respectivos formatos de documentos dinámicos: RMarkdown y Stata Markdown. También, Python ha sido indiscutiblemente uno de los lenguajes de programación más utilizados en el último tiempo y no solo por científicos sociales. Es por esto que también presentaremos su versión de documento dinámico: Jupyter Notebook. RMarkdown RMarkdown es un tipo de documento dinámico que combina código de R con lenguaje marcado tipo Markdown (para aprender a usar Markdown click aquí). En los documentos de RMarkdown, todo lo que escribamos en el documento, el software asumirá que está en formato Markdown, por lo que si utilizamos alguna de las marcas (e.g. usar negrita en alguna palabra) en el documento final esa marca se hará efectiva. Cuando queremos utilizar código debemos escribirlo en bloques o chunks. Los chunks de código tienen distintas opciones, solo por dar un ejemplo, podemos escribir un código para elaborar un gráfico, pero no queremos que se muestre el código que se utilizó para elaborar el gráfico, pues los chunks nos dan la opción para lograr eso. Caso contrario, si queremos mostrar tanto el gráfico como el código para elaborarlo -por ejemplo, para que alguien revise si hemos cometido algún error-, los chunks de código también tienen una opción para eso. En suma, podemos utilizar las distintas marcas de edición que nos ofrece Markdown, así como las distintas opciones para los chunks de código, con tal de elaborar un documento tal y como nosotros lo queremos. Para más información sobre RMarkdown, ver el enlace aquí. La característica más importante de RMarkdown, es que la combinación del lenguaje marcado y el código se da en un documento renderizado. Renderizado significa que pasa por un proceso en el que se reconocen las distintas indicaciones de marcas y código, dando como resultado final un documento html, pdf o word. La herramienta encargada de este proceso es Pandoc, un convertidor de documentos universal (para más información ver: https://pandoc.org/) Stata Markdown Si bien en Stata han emergidos varios paquetes que buscan apoyar la elaboración de documentos dinámicos (e.g. ver aquí), el comando Markstat es quizás el más conocido. Al igual que otros tipos de documentos dinámicos, Markstat combina lenguaje Markdown con código de Stata, la principal diferencia con RMarkdown es que el código no se ejecuta en chunks, sino que está separado del texto plano con indentaciones. Es importante tener en cuenta que para ejecutar Markstat debemos tener instalado Pandoc. Para más información sobre cómo utilizar Markstat ver aquí. Jupyter Notebook Jupyter Notebook es un tipo de documento dinámico que combina lenguaje marcado tipo Markdown con código de Python. Al igual que RMarkdown, todo lo que escribamos en los Jupyter Notebook será considerado como lenguaje marcado. La diferencia que tiene con RMarkdown es que el documento va renderizando las marcas e indicaciones de código en tiempo real. Es decir, si escribimos en negrita, títulos de distinta jerarquía o añadimos gráficos o tablas el documento lo mostrará inmediatamente. Para más información sobre cómo utilizar Jupyter Notebook ver aquí. 4.2.3 Control de versiones El control de versiones es la tercera herramienta para la reproducibilidad que queremos presentar. Esas son herramientas de software para gestionar los cambios en los documentos. ¿Alguna vez has utilizado Google Docs para trabajar colaborativamente? Pues, este es un ejemplo cotidiano del control de versiones. Google Docs permite rastrear quién hizo qué cambio y cuándo. Además, permite restaurar un documento de una versión anterior. Sin embargo, Google Docs no es tan útil cuando el trabajo que debemos realizar es programar código. Para el control de versiones de códigos existen distintas herramientas, donde quizás la más conocida en el mundo de la programación es Git. Git es un sistema de control de versiones gratuito y abierto, tiene por objetivo hacer más eficiente el flujo de trabajo para proyectos grandes y pequeños. A la par existe Github, el cual es una plataforma colaborativa para el trabajo con código. Distintas disciplinas tanto de ingeniería y software, como relacionadas al ámbito científico utilizan Github como un centro de organización para el trabajo. Se utilizan repositorios, los cuales albergan todo lo relacionado a un proyecto, en el caso de la ciencia, a un proyecto de investigación. Recomendamos el uso de Git y Github como flujo de trabajo para aquellos científicos sociales que trabajan con datos cuantitativos, especialmente cuando son grandes equipos de investigación o son proyectos con varias colaboraciones. Para más información sobre Git y Github ver aquí 4.2.4 Prácticas de código Hasta ahora, hemos procurado que la presentación de la información sea lo más general posible y que no esté relacionada a un software estadístico único. Bajo esa idea, hemos presentado lo que es una estructura reproducible de un proyecto, aludiendo a los elementos comunes que se encuentran en distintos protocolos. También, revisamos cómo el control de versiones y el trabajo con documentos dinámicos pueden ser herramientas para la reproducibilidad. No obstante, no hemos abordado lo que, desde un principio, establecimos como el núcleo de la reproducibilidad: el trabajo con código. Este capítulo busca ser una primera aproximación y enseñar lo básico respecto a reproducibilidad. Con tal de mantenernos bajo esa idea, trataremos el trabajo con código de forma abstracta, sin introducirnos a trabajar con un software en particular. Específicamente, veremos algunas prácticas de código que contribuyen a hacer un trabajo más reproducible. Estas son aplicables a distintos software que utilicen código y cuando nos estemos refiriendo a un software específico lo señalaremos. Nunca hacer trabajo manual. El objetivo de la reproducibilidad es que cualquier persona pueda regenerar nuestro trabajo, y el trabajo manual es un obstáculo para el cumplimiento de ese objetivo. Trabajar con código permite automatizar los procesos de tratamiento y análisis de datos, es cómo establecer un guión paso a paso sobre lo que se ha hecho para llegar a los resultados del artículo, en contraste, documentar un proceso de análisis manual (e.g. en una planilla de datos) es una tarea sumamente compleja. Si bien es posible escribir un guión detallado de cada paso, esto tomaría una cantidad de tiempo y energía considerables, más aún teniendo en cuenta la cantidad de decisiones que tiene que tomar un equipo de investigación en el proceso de análisis de datos. Es por eso que la recomendación base es no hacer trabajo manual y trabajar con código, lo que implica evitar software como Microsoft Excel y otros relacionados. Asegurarse que el código siempre produzca el mismo resultado. Nuestra hoja de código será la receta que otro seguirá para poder elaborar el mismo producto, por lo que tenemos que asegurarnos que esta produzca siempre lo mismo. Un ejemplo es cuando por algún tipo de análisis se necesitan generar números aleatorios. En R, para poder reproducir la generación de esos números aleatorios se utiliza la función set.seed(). Trabajar con scripts. Para poder automatizar el procesamiento y análisis de los datos, la principal recomendación es trabajar con documentos script que albergan el código y permiten su rápida ejecución. En el caso de R, se pueden utilizar documentos .R. Escribir con minúscula, sin espacios, sin ñ y sin tildes. Gran parte de los software disponibles para análisis de datos traen el inglés como idioma nativo, por lo que existe una alta probabilidad de que tengamos problemas si utilizamos caracteres especiales que no se encuentran en ese idioma. Respecto al uso de mayúsculas, existen software que diferencian cuando un código incluye mayúsculas y cuándo no, esto es una característica conocida como case sensitive. Sin embargo, no todos los software cuentan con esta característica, por lo que es mejor evitar su uso. Indentar el código. La indentación es una característica del trabajo con código en general (no solo a nivel de software estadístico) y se refiere a la jerarquía en los niveles del código. Indentar permite una lectura más fácil del código, ya que permite comprender visualmente el orden y la estructura del código. Uno de los ejemplos más conocidos es la elaboración de funciones condicionales de tipo if-else. Comentar el código. Comentar el código es sustancial para que cualquier persona no asociada al proyecto (o incluso uno mismo en el futuro) pueda entender para qué sirve cada función y reproducir el documento sin problemas. Aquí el lema es: nunca es mucho cuando se refiere a comentar el código. Mientras mejor explicado esté qué hace cada cosa y por qué, la receta será más fácil de seguir. Especificar las versiones de paquetes. Gran parte de los software estadísticos trabajan en base a la idea de paquetes. Estos son un conjunto de herramientas que facilitan el trabajo con datos. Existen paquetes tanto para tareas simples como el tratamiento de bases de datos o la generación de gráficos, así como para técnicas estadísticas avanzadas. No obstante, una característica a tener en cuenta es que los paquetes tienen versiones, ya que van mejorando día tras día. Esto ocurre especialmente en software de código abierto como R o Python. A raíz de esto, es que una de las recomendaciones para la reproducibilidad es conocer con qué versión de los paquetes se está trabajando y documentarlo. Inclusive, en software como R existen herramientas que permiten facilitar esta tarea (ver groundhog) Elaborar código autocontenido. Existen dos formas de trabajar con código. La primera es el trabajo tipo cascada, donde el código es como agua que fluye desde arriba hacia abajo. Esta metáfora significa que cada código es parte de un todo interdependiente, y como tal, cada bloque depende del anterior. Un ejemplo simple es que con un bloque de código se carga una base de datos y con otro se presenta un gráfico de la misma. En contraste a esta forma de trabajo, existe una segunda de tipo autocontenida. Esta forma implica que, en vez de que el código sea interdependiente entre sí, cada bloque de código es una tarea que inicia y finaliza en el mismo bloque. Siguiendo el ejemplo, esto implicaría que cargar la base de datos y mostrar un gráfico de ella es una tarea que comienza y termina en el mismo bloque de código. Si bien el trabajar con código ya es un avance hacia la reproducibilidad, trabajar de manera autocontenida es un paso mucho mayor, ya que minimiza la probabilidad de que el código no pueda ser reproducido por un tercero. Nombrar variables de manera óptima. Como se señaló anteriormente, muchas veces los nombres de las variables en las bases de datos siguen una lógica más técnica que sustantiva. Es por eso que, para poder trabajar de manera óptima y que, al mismo tiempo, el código sea más fácil de leer se sugiere renombrar las variables de forma sustantiva y corta. Por ejemplo, si una variable de edad de una encuesta tiene por nombre m01, sugerimos cambiarlo a edad. Etiquetado o buen diccionario de variables. Además de renombrar las variables, recomendamos etiquetar de forma sustantiva las variables que se utilizarán y/o hacer un buen diccionario de ellas. Esto tiene por objetivo que la base de datos que hayamos elaborado para nuestros análisis sea más fácil de leer y reproducir. Utilizar UTF8. Como señalamos, recomendamos evitar el uso de caracteres especiales en trabajo con código, esto implica el uso de tildes o ñ. No obstante, para ciertas situaciones será indispensable que escribamos en nuestro idioma nativo (en este caso español), y por ende utilizar caracteres especiales. Un ejemplo es cuando establecemos los títulos y categorías de una tabla o un gráfico. En estos casos, sugerimos establecer el formato del documento de código en formato UTF-8. Este formato es de tipo universal y acepta todo tipo de caracteres, incluyendo los especiales. Trabajar con rutas relativas. Las rutas relativas son una ubicación en el computador que es relativa a un directorio base o carpeta raíz. En el caso del trabajo con datos, generalmente la carpeta raíz es la que alberga todos los documentos que refieren a ese proyecto y las rutas relativas son direcciones hacia distintos archivos teniendo como base la carpeta raíz. Esta es una forma reproducible de ordenar los archivos ya que no depende de quién está trabajando. Uso de software libre. Con los nuevos avances en la tecnología y en el acceso a ella han emergido iniciativas colaborativas de desarrollo de software. Esto implica que en vez de estar centralizado por una compañía, quien está detrás de los avances en el desarrollo del software es una comunidad activa de usuarios. Software como R y Python son ejemplos de este tipo de iniciativas. Recomendamos el uso de software libre porque, además de alinearse con los principios de la ciencia abierta, proveen un ambiente y herramientas mucho más propenso a adoptar prácticas que avancen hacia la reproducibilidad. Estar en contacto con la comunidad de investigadores y/o desarrolladores de herramientas computacionales. Más que una práctica relacionada al código, es una recomendación respecto a cómo hacer más óptimo nuestro trabajo. Con internet y las nuevas herramientas computacionales, existen varias comunidades a las cuales recurrir en caso de necesitar ayuda con el desarrollo del código. Por ejemplo, Stack Overflow es un foro donde programadores, ingenieros y en general cualquier persona que utiliza código en su día a día puede hacer o responder preguntas respecto a código. Es una gran herramienta para cuando los códigos no funcionan o cuando queremos conocer formas más eficientes de hacer una tarea. Incluimos esta recomendación porque participar de estos foros y ser parte activa de la comunidad implica adoptar prácticas para la reproducibilidad, con tal de que otros puedan entender nuestras preguntas y respuestas. Referencias "],["publicaciones-libres.html", "Capítulo 5 Publicaciones libres", " Capítulo 5 Publicaciones libres Un agricultor hace uso de sus herramientas, talentos y conocimientos para aprovechar lo mejor posible las ventajas del bien común que es la tierra. Una vez que termina la temporada, el agricultor entrega la cosecha a un distribuidor que se encarga de comercializar el fruto de su trabajo y el de otros agricultores. ¿Cuánto recibe realmente el agricultor por su trabajo? ¿Cuáles son las posibilidades reales que tiene la ciudadanía de acceder al bien común de manera autónoma? El problema del agricultor, el distribuidor y la ciudadanía no es una historia del pasado. El producto de un trabajo que hace uso de un bien común, y el cómo este se distribuye y retribuye dentro de la sociedad, es un tema que cada vez suscita más interés no solo en los gobiernos y la ciudadanía, sino que también en la ciencia. Esto debido a que, como el agricultor elaboró cosechas a partir de la tierra, el científico construirá evidencia nueva a partir de conocimientos previos. Ambos crean productos que son bienes esenciales para la ciudadanía a partir de bienes comunes de la humanidad. El problema para ambos está en que parte de ese quehacer ha sido privatizado, restringiendo a la ciudadanía del libre acceso a tales bienes. Esta problemática también es extrapolable a la situación que ocurre con las patentes de vacunas y, en específico, con las patentes de las vacunas de COVID-19, donde gran parte de los organismos internacionales llaman a que estas sean consideradas bienes públicos. Así como la privatización al acceso de un conocimiento médico produce desigualdad entre los países más y menos ricos, también el acceso al conocimiento por parte de la sociedad en general -evidencia de cómo mejorar el cumplimiento de las medidas de cuidado, por ejemplo- implicó un daño invaluable en cómo se produjo y se distribuyó la información para combatir la pandemia. Así, a pesar de que con la globalización y la era digital la labor científica ha podido crear conocimientos con mayor facilidad y divulgarlos de manera inmediata, el desconocimiento y los mitos sobre las leyes que amparan la propiedad intelectual han sido el principal obstáculo para dar el paso hacia la apertura de la creación científica (Fernández et al., 2018). El miedo a ser sancionado por la editorial, el temor al plagio y la pérdida de reconocimiento autoral, destacan entre las principales razones, sin mencionar el dominio que poseen las revistas científicas sobre el conocimiento que se genera y que es publicado por ellas. Dicho esto, la apuesta por destinar los esfuerzo hacia una libre circulación del conocimiento apunta a la necesidad de reapropiarse de los beneficios, resultados y saberes científicos. En este sentido, Banzato (2019) hace un llamado a los organismos de América Latina para generar espacios de evaluación y difusión que sirvan para la democratización del conocimiento, siendo esta una estrategia cultural y política que busca promover los procesos de producción y reproducción social del saber. La apertura de nuestras investigaciones traen más beneficios que dificultades: no solo contribuimos a nutrir el conocimiento colectivo sobre un problema, sino que incluso podemos alcanzar mejor visibilidad de nuestro trabajo científico. Por eso, en el siguiente capítulo te presentaremos aspectos que debes considerar para lograr una exitosa apertura de tus publicaciones y resultados de investigación. Referencias "],["propiedad.html", "5.1 Propiedad intelectual", " 5.1 Propiedad intelectual Esta sección busca comprender la importancia de la propiedad intelectual abordando los elementos centrales de la producción científica y su resguardo legal. Es importante conocer los elementos que nos servirán en el momento de definir el carácter y el modo en que permitiremos que nuestras creaciones sean utilizadas y difundidas. La propiedad intelectual no es un elemento accesorio, pues nos habla de facultades exclusivas que posee el autor sobre su obra y que le permiten gozar de su uso y explotación (Loredo, 2012). Para nuestros efectos, se concibe como el peldaño inicial para abordar los esfuerzos hacia la publicación libre. 5.1.1 Sobre la Propiedad Intelectual y las Licencias La Propiedad Intelectual (PI) es una normativa que permite el reconocimiento autoral de toda invención de la mente humana (World Intelectual Propiety Organization, 2020), su objetivo es fomentar la creación e innovación al mismo tiempo que regula el uso y difusión de las obras. La PI es un tipo de ley cuya rigurosidad varía según el país y funciona en base a dos grandes acepciones: Common Law: rige en Estados Unidos e Inglaterra y regula la reproducción (copia) de la obra, su distribución, su exhibición pública y su transformación ya sea traducida o adaptada (Fernández, 2009). A partir de lo que señala Omatos (2013) se comprende que es una facultad que poseen los autores y su particularidad es que puede ser transferida ya sea por voluntad propia o por prescripción, siendo así ampliados los derechos del uso de la obra bajo distintos tipos de licencias de Copyrigth, Creative Commons, Copyleft y Dominio Público. Derechos de autor: rige en Europa continental y Latinoamérica y regula las facultades patrimoniales y el derecho moral que posee el autor sobre su obra, esto quiere decir que se reconoce la paternidad sobre la creación y se protege la integridad original del trabajo (Loredo, 2012). El derecho moral, a diferencia del Common Law es irrenunciable e inalienable, por lo que no se puede traspasar. A modo de contexto, en el caso de Chile se han suscrito tratados internacionales que permiten el resguardo internacional de cualquier obra intelectual que se haya elaborado en territorio nacional, los más importantes son dos: Tratado de Berna (rectificado en 1973): establece indicaciones a los países asociados para resguardar las obras internacionales en el propio territorio. Convenio de OMPI (rectificado en 1975): establece una suerte de guía a los países adherentes que sirve para la elaboración de leyes que atiendan el resguardo de la propiedad intelectual dentro del mundo digital (Fernández, 2009). 5.1.2 Tipos de Licencias Las licencias sobre la propiedad intelectual regulan los derechos patrimoniales de la obra y establecen las reglas para su uso. Las licencias más conocidas son: Copyright: Esta licencia permite que el autor se reserve todos los derechos sobre la obra y solo se puede hacer uso de ella bajo permiso del autor. Creative Commons (CC): Esta licencia, inspirada en la General Public License - GPL (Licencia Pública General en español),3 tiene el propósito de desarrollar herramientas digitales estandarizadas que faciliten la distribución de la obra, pues entrega al autor, empresa o institución la responsabilidad de autorizar reglamentariamente el modo de uso, difusión y citación de su obra. Existen seis tipos de licencias CC (véase Figura N° 5.1) y cada una de ellas tiene como base la CC-BY que permite hacer uso de la obra con la correspondiente atribución, el resto de licencias funcionan a modo de capas que se superponen a la principal. De este modo, cada capa entrega una especificidad sobre cómo utilizar la obra Creative Commons (2019). Figura 5.1: Capas de las licencias Creative Commons. Elaboración propia. Copyleft: Este tipo de licencia proviene del movimiento Open Access y se orienta a abrir el uso, aplicación, distribución y creación de obras. Además de permitir el uso libre, indica la obligación de que todo proyecto que nazca a partir del original contenga los principios del acceso abierto. Dominio Público: Si bien no corresponde a una licencia como tal, es un estado en el que la obra no posee protección patrimonial pues ha prescrito el plazo de su protección. 5.1.3 El conocimiento es poder pero ¿de quién? Tanto organismos de investigación pública como universidades crean conocimiento científico por medio de la investigación y la docencia con el fin de aportar al bien público. Si bien la apertura de las publicaciones puede ser lo ideal para tales objetivos, en ocasiones la confidencialidad de los resultados científicos permite a sus autores obtener beneficios económicos de su trabajo. Sin importar cuál sea el camino, la propiedad intelectual juega un papel importante al orientar la toma de decisiones en torno al desarrollo, difusión y utilización del conocimiento intelectual (WIPO, 2020). Por ello contar con una política intelectual de calidad es el primer paso para gestionar estratégicamente la difusión y transferencia de los resultados científicos. A continuación, se presentan dos experiencias chilenas que se consideran como buenas prácticas en términos de políticas institucionales, pues promueven la apertura de publicaciones. Política de Acceso Abierto de ANID La Agencia Nacional de Investigación y Desarrollo (ANID) que nace en 2020 como una estructura que reemplaza a la Comisión Nacional de Investigación Científica y Tecnológica (CONICYT), es hoy la institución que encabeza el Ministerio de Ciencia, Tecnología, Conocimiento e Innovación. Siguiendo el legado de su antecesora, su objetivo es apoyar con recursos al desarrollo de la ciencia y la innovación en Chile. Desde el 2021, bajo el principio de que todo conocimiento generado con fondos públicos debe resultar en beneficios para la sociedad, ANID ha implementado una Política de Acceso Abierto con el objetivo de asegurar la disponibilidad del conocimiento científico que resulte de investigaciones financiadas por la institución (Agencia Nacional de Investigación y Desarrollo, 2020). Esta política busca ser un curso de acción progresivo implementado en dos fases: Fase I: En el plazo inicial de dos años se pretende incentivar la apertura de las publicaciones y sus datos. Esta primera fase servirá para la recopilación de antecedentes sobre el uso y gastos asociados a la investigación abierta. En esta primera etapa de la política toman gran relevancia los principios FAIR. FAIR es la abreviatura en lengua inglesa para referirse a Findability, Accessibility, Interoperability y Reusability (Encontrable, Accesible, Interoperable y Reutilizable). El diseño de estos principios tienen el objetivo de ser una guía medible para que los investigadores realicen una eficaz gestión de los datos y para que posteriormente puedan ser replicados (Wilkinson & Dumontier, 2016). Fase II: Los resultados de la primera fase servirán para que en la segunda se implemente -de manera más rigurosa- la publicación libre mediante la Ruta Dorada, la cual corresponde a un formato de publicación que permite eliminar los periodos de embargo, dejando las publicaciones disponibles en acceso abierto de manera inmediata tras el pago del Article Processing Charges - APC a las editoriales. El APC es una tarifa que costea el procesamiento del artículo final para que se adapte al diseño de la revista y, en ocasiones, son las propias instituciones públicas las que costean el APC, devolviendo así un monto no menor a las editoriales. En la sección de Herramientas Para Públicar profundizaremos en ello. ANID ha detectado de manera temprana el conflicto que acarrea la industria editorial, que lidera un mercado donde los conocimientos se tranzan como un bien. Esto beneficia principalmente a las editoriales con un alto margen de ganancias y, por ello, en la propuesta de ANID se especifica que: Esta política busca ser un curso de acción que esté en constante revisión y que permita, de manera progresiva, avanzar hacia un sistema transparente y abierto, donde el acceso, la re-utilización y la constante oferta de nueva información y datos científicos contribuyan de manera real y concreta al desarrollo social, cultural, científico y económico de Chile (ANID, 2020b). Repositorio Institucional, Universidad de Chile La Universidad de Chile es a la fecha la institución de educación superior pionera en desarrollar un repositorio institucional abierto. Este recoge documentos digitales e impresos con previa autorización, tales como tesis de pregrado y postgrado, pre y post-print, libros y capítulos, material didáctico y presentaciones, informes técnicos, recursos audiovisuales e imágenes. El Repositorio Académico de la Universidad de Chile conserva, difunde y proporciona acceso a material científico generado por docentes e investigadores de la institución y cuenta actualmente con más de 68.000 publicaciones. Este repositorio académico hace uso de un protocolo de interoperabilidad que permite que se conecte con otros repositorios, con el propósito de incrementar la visibilidad de los documentos. Bajo este objetivo, los autores deben proteger sus obras con licencias Creative-Commons, de este modo aseguran el reconocimiento e identificación de la propiedad intelectual y favorece la visibilidad del trabajo. Ambos ejemplos de políticas institucionales proveen una exitosa colaboración entre el mundo científico y el público general, ya que orientan la toma de decisiones al finalizar el ejercicio investigativo y permiten la apertura del conocimiento. Según Alperin et al. (2014), en América Latina se ha desarrollado el ejercicio del Open Access mediante el financiamiento -casi exclusivo- de agencias estatales y agencias de cooperación internacional. Sus resultados se publican principalmente en revistas locales o repositorios regionales. Un ejemplo de ello es Argentina, país donde el 80% de los artículos científicos se encuentran indexados en revistas locales (Alperin et al., 2014), ya que la nación se ha inclinado en promover políticas de autoarchivo como la Ley Nacional de Repositorios promulgada en 2013 y la creación del Sistema Nacional de Repositorios Digitales creado en 2011 (Monti & Unzurrunzaga, 2020). La evidencia da cuenta que para el caso Latinoamericano son los organismos universitarios y de investigación pública los responsables de desarrollar eficaces políticas de ciencia abierta con el objetivo de aportar a la libre circulación de los resultados científicos, pues como se ilustra en la Figura N° 5.2, dentro de sus beneficios no solo se evidencia la mayor exposición de los trabajos científicos, sino que también existe un aporte en términos de desarrollo a nivel país, influencia de políticas, entre otros aspectos positivos. Figura 5.2: Beneficios del Open Access. Traducción propia en base a Kingsley, D. & Brown, S. (2021). Referencias "],["formas-open-access.html", "5.2 Formas open access", " 5.2 Formas open access El quehacer científico de las ciencias sociales es una arena de lucha continua, donde investigadores deben mantenerse en constante entrenamiento para no perder el reconocimiento académico que brinda oportunidades laborales y estatus social. Publica o perece es más una realidad que una frase retórica, pues los científicos sociales están en la obligación de investigar y publicar para mantener su carrera laboral a flote. Este agotador panorama da pie a lo que muchos investigadores de las ciencias sociales han denominado como la crisis de la ciencia (Breznau, 2021), un nuevo panorama donde el conocimiento científico es menos confiable producto de prácticas antiéticas en el proceso de investigación. Falta de consistencia, sesgos no controlados, presión editorial, entre otros factores, son los que influyen en un tipo de ciencia con problemas de credibilidad, como es el emblemático caso de Diederik Stapel que se mencionó en el capítulo I. Quizás muchos confiarán la solución de la crisis a las instituciones revisoras de las revistas, quienes aplican rigurosos métodos de control de calidad. Sin embargo, del papel a la práctica hay un gran trecho. La falta de transparencia en la manipulación de información, los métodos de análisis y la recolección de datos hacen imposible corroborar la veracidad total de un trabajo. Actualmente, muchas editoriales han abordado el problema mediante la adopción del Open Access para promover la transparencia de los datos y la apertura de las publicaciones, pues con esto se permite usar la reproducción de los procesos como un mecanismo de control. Por ello, en esta sección conoceremos las particularidades del Open Access, las rutas por las cuales compartir publicaciones, los repositorios y las revistas que recomendamos. 5.2.1 ¿Qué es el Open Access? Open Access - OA (Acceso Abierto en español) es un movimiento cuyo objetivo es promover el acceso libre a la producción de conocimiento científico digital y hacer uso de él sin restricciones de copyright. Esto en base a estándares internacionales que permiten instalar la posibilidad de que cualquier persona pueda reutilizar la información de la investigación en cuanto datos, procesos y resultados. Hace algún tiempo, científicos advirtieron del problema asociado al oligopolio del conocimiento científico del que disfrutan revistas y editoriales de gran renombre, sin mencionar conflictos entre investigadores en torno a la competencia de estatus académico, la manipulación de resultados, los problemas de intersubjetividad y la falta de transparencia en el proceso de investigación (Breznau et al., 2021). De este modo, los primeros vestigios del Open Access aparecieron a la par con la creación de Internet, pero no fue hasta el 2002 con la declaración de Budapest que se definió el concepto de Open Access y que posteriormente sería reforzado con las declaraciones que dieron lugar en Bethesda 2003 y Berlín 2003. Uno de los aspectos destacables de la primera declaración indica que: Retirar las barreras de acceso a esta literatura acelerará la investigación, enriquecerá la educación, compartirá el aprendizaje de los ricos con los pobres y el de los pobres con el de los ricos, hará esta literatura tan útil como sea posible y sentará los cimientos para unir a la humanidad en una conversación intelectual común y búsqueda del conocimiento (Initiative, s. f.). Según Melero & Abad (2008), las causas que gatillan el desarrollo del Open Access son principalmente dos: La constitución de Internet y las nuevas tecnologías como el medio para la divulgación científica permitió abaratar costos de impresión y acelerar el transporte de los conocimientos. Los elevados precios de suscripción a revistas científicas digitales se presentaron como barreras económicas y de copyright para acceder al conocimiento y resultados de investigaciones. ¿Por qué hacer uso del Open Access en mis publicaciones? El estudio de Piwowar et al. (2019) demuestra que desde la década de los noventa ha habido un aumento constante de publicaciones que se adscriben al Open Access y, si bien el fenómeno se desarrolla en mayor medida dentro de las ciencias exactas, las ciencias sociales no se quedan atrás (Swan, 2013). Según Hernández (2016), los beneficios atribuídos a las prácticas científicas de carácter abierto no difieren sobre la disciplina y traen consigo efectos positivos ligados a: Mayor accesibilidad y conservación de los productos científicos. Difusión rápida e inmediata de las publicaciones. Facilita la comunicación directa de los conocimientos científicos ayudando a avanzar en el mejoramiento de la calidad en la investigación. Abre la posibilidad de reutilizar información, datos y procesos para nuevos proyectos. 5.2.2 Las distintas rutas para publicar de manera abierta Swan (2013) -representante de UNESCO- define dos rutas principales (tipos de repositorios) donde depositar publicaciones con el rótulo del Open Access (Dorado y Verde), pero en la práctica se pueden diferenciar en cinco. Según Abierto (2019) las principales características de cada una son: Repositorios de Ruta Dorada: Corresponden a repositorios que publican trabajos de investigación en forma gratuita para el lector, por lo que se puede leer cualquier artículo inmediatamente después de ser publicado. Cabe destacar que, para su publicación, detrás hay un cobro Article Processing Charges - APC (Cargo por Procesamiento de Artículo en español) cuyo costo es pagado por los autores o las instituciones que les financian. Repositorios de Ruta Híbrida: Gran parte de las editoriales académicas utilizan este modelo con el objetivo de ofrecer Acceso Abierto al mismo tiempo en el que mantienen su modelo de negocio habitual basado en suscripciones. Esto permite a los autores optar por pagar una cuota de publicación y tener sus artículos con Acceso Abierto en revistas por suscripción. Repositorios de Ruta Verde: Consiste en un proceso de auto-archivo o auto-depósito donde los autores comparten sus post-print (artículo final) en sus páginas personales o en revistas que no son gratuitas, pero que poseen repositorios de acceso libre. Estos repositorios antes mencionados se adhieren a un conjunto de reglas y técnicas de inter-operación, formando una red interconectada de bases de datos. Repositorios de Ruta Diamante: Es un modelo que intenta dar solución a los inconvenientes que surgen en las rutas anteriores. Este posibilita la revisión por pares de los trabajos enviados por medio de investigadores que trabajan como voluntarios, obteniendo de esta forma reconocimiento académico y social. Esta ruta es considerada como el único modelo que garantiza la sostenibilidad de la publicación de acceso abierto. Repositorios de Ruta Bronce: Según Piwowar et al. (2019) esta es una nueva categoría donde los editores alojan artículos embargados en sitios web de su preferencia, de modo que los trabajos carecen de licencias que permitan su uso autorizado. Figura 5.3: Proyección de la cantidad de visitas y artículos publicados por cada ruta del Open Access. Traducción propia en base al estudio de Piwowar et al. (2019). La Figura N° 5.3 ilustra el modelo elaborado por Piwowar et al. (2019). Este estudio se basa en el análisis de 70 millones de artículos publicados entre 1950 y 2019 que comparten el rasgo de haber sido publicados en acceso abierto y estar alojados en la base de datos de Unpaywall. La técnica utilizada permitió estimar la trayectoria de los artículos hasta el 2025, poniendo énfasis en el porcentaje de visitas y el porcentaje de artículos publicados según cada ruta. De esta manera, en la Figura N° 5.3 se proyecta que para el 2025, los artículos publicados por la vía dorada alcanzarán un aumento de sus visitas en un 33%, la ruta verde un 19% y la ruta híbrida un 10%; mientras que la ruta bronce seguirá la misma trayectoria pero en menor medida. En cuanto al porcentaje de artículos publicados en acceso abierto, esta Figura indica que tanto la ruta verde, dorada e híbrida tendrán un aumento desde el 2019 al 2025, mientras que la ruta bronce en sus categorías inmediata y retrasada se mantendrán uniforme sin aumento ni descenso. Lo importante aquí es un notable aumento de la publicación en abierto en 13 puntos porcentuales, mientras que se estima el descenso de la publicación cerrada en 13 puntos porcentuales. 5.2.3 ResearchGate, Academia.edu y Sci-Hub: ¿Plataformas de aceso abierto? De seguro conoces las plataformas de ResearchGate y Academia.edu o quizás en alguna ocasión has recurrido a estas páginas para compartir tus publicaciones o descargar archivos científicos para uso personal. Sobre estas plataformas hay que mencionar que no son un ejemplo de Open Access, debido a que funcionan como redes sociales similares a Facebook o LinkedIn, pues su objetivo es crear redes de contactos entre colegas e investigadores con intereses afines. Según Fortney & Gonder (2015), ResearchGate y Academia.edu, al ser empresas con fines de lucro, no cumplen con la característica principal de los repositorios de Open Access, los cuales son administrados por universidades, agencias gubernamentales, asociaciones internacionales o editoriales que persigan el objetivo de poner los conocimientos al servicio y disponibilidad pública. Estas páginas al ser de tipo auto-archivo presentan similitudes con los repositorios de ruta verde, ya que los documentos se guardan en sitios personales creados por el propio autor, sin embargo, dadas las características de ResearchGate y Academia.edu, estas no permiten corroborar los estándares de calidad y seguridad de las publicaciones, ni tampoco se asegura su permanencia perpetua. Dicho lo anterior, publicar la producción científica en cualquier plataforma digital no implica estar desarrollando prácticas acordes al Open Access. Las restricciones de pago empujaron al desarrollo de sitios piratas que funcionan como bases de datos integrando diversas publicaciones, estos son denominados como la vía negra del Acceso Abierto que buscan hacer frente a las barreras de pago (Björk, 2017). Un claro ejemplo es el sitio web Sci-Hub que desde el 2011 posibilita el libre acceso a literatura científica (tanto pagada como libre) y para el 2021 alberga más de 85 millones de documentos. Su eslogan Sci-Hub para remover todas las barreras en el camino de la ciencia se instaura bajo tres principios: (1) El conocimiento es para todos, (2) No al Copyright y (3) Apoyo al Open Access. Sin embargo, Monti & Unzurrunzaga (2020) indica que el carácter ilegal del sitio es la razón de que exponentes de la ciencia lo restrinjan, dado que no tiene la injerencia para modificar los aspectos legales de las publicaciones, transgrede los derechos de explotación indicados por los autores y puede conducir a un desprestigio del Open Access. Es evidente que lo atractivo de estos sitios es la posibilidad de acceder de manera libre a las publicaciones. Un hecho corroborable es la investigación de Bohannon (2016), en ella se ha concluido que el 25% de los países que registran la mayor cantidad de descargas desde Sci-hub, corresponden a las naciones más ricas del mundo en Europa y Estados Unidos. Björk (2017) es el primer autor en considerar la plataforma como una vía dentro del Acceso Abierto, y es quizás una reflexión de orden ético-moral la decisión de integrar (o no) los sitios con estas características dentro del Open Access. 5.2.4 Revistas de acceso abierto: Con la invención de Internet también aumentaron las oportunidades de divulgación científica y, si bien el concepto de Open Access no fue precisado hasta los 2000, en la década anterior ya venían gestándose proyectos como The public-access computer systems review (1990), una revista electrónica tipo boletín que era distribuida por correo electrónico. Posteriormente, en 1991 revistas como Surfaces y Psycoloquy fueron pioneras en instalar la metodología de acceso gratuito a sus publicaciones. Hoy en día son muchos los sitios de repositorios que cumplen con políticas de Acceso Abierto, pero con licencias particulares que es necesario conocer para adentrarnos en su uso. Uno de los sitios que se recomienda usar es el de SocArxiv, pues cuenta con un servicio gratuito de acceso, una base de datos completa y que permite a los autores obtener un DOI para su publicación. Sin mencionar la posibilidad de un contador de descargas y otras particularidades que no poseen las plataformas de ResearchGate y Academia.edu (véase Tabla N° 5.1). En la siguiente sección abordaremos en mayor profundidad su uso. Tabla 5.1: Tabla comparativa del uso de SocArXiv versus otros sitios Características ResearchGate, Academia.edu Sitio web personal Repositorio Institucional SocArXiv Acceso libre para leer Requiere Registro Si Si Si Servicio de acceso publico - sin lucro No Solo si es alojado por tu universidad Solo si es alojado por tu universidad Si Metadatos completos, incluidos coautores, DOI, ORCID, etc. Quizás No Quizás Si Enlace para el repositorio para base de datos, codigo, etc. No Solo si tu lo construyes Quizás Si Url persistente en todas las versiones - No No Si Entrega DOI para el paper - No Solo Algunos Si Contador de descargas Solo Algunos Quizás Quizás Si Contribuye al futuro de la comunicación académica abierta No Débilmente Quizás Si Fuente: Traducción propia a partir de tabla comparativa de SocArXiv. Referencias "],["herramientas-para-publicar.html", "5.3 Herramientas para publicar", " 5.3 Herramientas para publicar Imagine que usted es parte de un equipo de investigación que finalizó un estudio sobre las repercusiones socio-económicas que tuvo la pandemia de Covid-19 en el país, desarrollando un aporte significativo para la toma de decisiones en materias de políticas económicas y levantando las bases para nuevas líneas de investigación. Dado el aporte que significan para el bien público los resultados de esta investigación, es necesaria su divulgación inmediata, pero es una realidad que la publicación regular en cualquier editorial toma un periodo largo de revisión y aceptación, es por ello que una alternativa es la pre-publicación del documento en un repositorio de Acceso Abierto. En la siguiente guía abordaremos un marco de referencia para empezar a adoptar prácticas ligadas al Open Access. 5.3.1 El camino hacia la publicación Todo proyecto de investigación tiene la potencialidad de ser publicado pero, como ya se ha ido ilustrando en las secciones anteriores, publicar de manera abierta trae consigo beneficios de visibilidad e impacto social. Para desarrollar una estrategia eficaz de publicación abierta hay que seguir un flujo que se divide tres pasos, como se ilustra en la Figura N° 5.4. Este flujo inicia con la elección de la revista de Acceso Abierto, sigue con la identificación de la etapa del artículo y finaliza con la selección del servicio de publicación. Figura 5.4: Guía paso a paso para publicar libre (Elaboración propia). Paso 1: Pre-rint (Pre-publicación) Es lo que conocemos comúnmente como el borrador del artículo, el mismo que enviamos al proceso de revisión por pares. Este documento tiene la posibilidad de ser publicado en cualquier repositorio de ruta verde (pre-print server) con el objetivo de ser difundido abiertamente para permitir su disponibilidad inmediata. La gran particularidad de este método de pre-publicación es que se obtiene un código alfanumérico que identifica y ubica el documento dentro de Internet, esto se conoce como un Digital Object Identifier - DOI (Identificador de Objeto Digital en español), por lo que se convierte de manera inmediata en un documento referenciable y sin posibilidad de plagio. Algunas personas tendrán el temor de que al pre-publicar un informe de investigación, las posibilidades de que el documento sea aceptado y posteriormente publicado en una revista es menor. Sin embargo, los datos empíricos demuestran que en realidad esto no es un impedimento para su posterior publicación. En la investigación de Abdill & Blekhman (2019) que analizó cerca de 37.648 pre-print alojados en bioRxiv -una extensión centrada en biología del sitio ArXiv-, una de las grandes conclusiones tiene que ver con que la tasa de preprints publicados en 2018 alcanzó un máximo de 2,100 por mes y, de manera más específica, en la Figura N° 5.5 se puede identificar a las diez principales revistas que han publicado la mayor cantidad de pre-print. En esta figura, cada barra indica la cantidad de documentos publicados por cada revista. Figura 5.5: Destino final de los Preprint. Traducción propia en base al estudio de Abdill & Blekhman (2019) Para el caso de las ciencias sociales, el servicio de pre-print que recomendamos utilizar es SocArxiv y particularmente para la disciplina de la psicología PsyArxiv. Estos servicios permiten subir archivos PDF desde la plataforma Open Science Framework - OSF (Marco de Ciencia Abierta en español) -un software de código abierto que permite la reproducibilidad de los procesos- y de este modo se obtiene el beneficio de acceder a un DOI que asegure su correcta citación. Ambos repositorios son extensiones de ArXiv, la plataforma pionera de acceso abierto que en la actualidad alberga alrededor de dos millones de artículos categorizados en ocho áreas temáticas. ArXiv no posee tarifas asociadas a la publicación de los artículos, puesto que los documentos se someten a un proceso de clasificación y no a una revisión por pares. Paso 2: Post-print La segunda etapa es clave para el camino hacia la publicación, pues el post-print corresponde al artículo aceptado tras la revisión por pares, pero cuyo formato de presentación no ha sido adaptado al requerido. Por lo tanto no ha sido publicado de manera oficial por la revista y para lograr ello, interviene un equipo especializado de la editorial que se encarga de tales aspectos, ya sean márgenes, tipos de citación, estructura, entre otros. Hoy en día si bien son varias las editoriales que entregan la posibilidad de publicar el post-print en cualquier repositorio abierto, esto es solo tras el periodo de embargo, el cual consiste en un tiempo determinado donde la editorial se reserva los derechos patrimoniales del artículo para su distribución. Dicho esto, recomendamos tener conocimiento de las posibilidades que tiene el autor de publicar un documento previo a la publicación oficial. Paso 3: Print En la última etapa del flujo, recomendamos optar por abrir la publicación del Print (artículo final). El artículo final que es publicado oficialmente por una revista permite que la editorial conserve para sí los beneficios de los derechos patrimoniales de la obra, mientras que los equipos de investigación solo conservan el derecho al reconocimiento. Publicar en una revista de reconocimiento que integre políticas de acceso abierto brinda la posibilidad de que una vez finalizado el periodo de embargo, los autores puedan abrir sus artículos, pero no todas las revistas tienen las mismas políticas y directrices, por ello plantean formas y periodos distintos para el depósito del artículo en un repositorio abierto. Al momento de realizar el envío de un artículo a una revista cualquiera, puede ocurrir que el autor tenga que firmar un Acuerdo de Transferencia de Derechos (CTA por sus siglas en inglés), transfiriéndole al editor todo derecho sobre la obra y, por lo tanto, imposibilitando toda acción posterior del propio creador sobre la investigación. Para que la publicación dentro de una revista no afecte a la posterior decisión de abrir el acceso a una investigación, en ocasiones las editoriales plantean periodos de embargo en cuyo tiempo gozan de los beneficios económicos sobre la obra, pero al finalizar, el autor es libre de difundir en abierto su publicación. En estos casos los editores tienen una licencia que sirve únicamente para publicar, mientras que los autores deben retener para sí los derechos sobre la obra. En síntesis, para que cualquier recurso científico sea abierto, este debe contener una licencia que explicite a sus usuarios las acciones que pueden realizar sobre la obra e indicar la correcta acreditación de la fuente (Swan, 2013). 5.3.2 Revistas para publicar con Open Access Por lo general, cuando llevamos tiempo investigando y publicando tenemos ciertas nociones de las revistas a las que les puede interesar los temas que estamos trabajando o incluso tenemos ciertas certezas de las posibles revistas en las cuales nuestro proyecto tiene una mayor probabilidad de ser publicado. El paso lógico para la publicación es elegir aquella editorial donde queremos que aparezca nuestro trabajo, ya sea por reconocimiento, por recomendaciones, por el tema que trabajamos o por cualquier otro motivo que tengamos. Una vez elegida la revista, se recomienda revisar las políticas de autoarchivo y para ello recomendamos acceder a Sherpa Romeo y buscar la revista escogida. Sherpa Romeo es un sitio web que funciona como una base de datos que recopila la información básica sobre las políticas de autoría y acceso abierto de las principales revistas científicas de todo el mundo que utiliza un código de cuatro colores para diferenciar los tipos de políticas de cada revista, los que se definen en la Figura N° 5.6: Figura 5.6: Etiquetas de colores de Sherpa Romeo según tipo de acceso abierto (Elaboración propia). El mundo del Open Access es bastante grande y en ocasiones costoso, toda revista de ruta dorada posee costos de APC que deben ser financiados por los investigadores o sus patrocinantes, lo que se vuelve una barrera económica para los equipos de investigación que deseen abrir sus publicaciones, por ello el proceso de autoarchivo surge como una alternativa al alcance de cualquiera y, en su mayoría, cientistas sociales utilizan la vía verde y la diamante para depositar sus manuscritos o tesis en repositorios como Dialnet, Latindex, Scielo, Redalyc y CLACSO. Adicionalmente, existen revistas de ciencias sociales cuyo foco se encuentra en el diseño de metodologías de investigación cualitativa y que, además, poseen un alto factor de impacto, como las resumidas en la Tabla N° 5.2, pues son indexadas a Scopus (Ulloa & Mardones, 2017). Tabla 5.2: Descripción de Revistas de Open Access de orden Cualitativo Revista País Asunto o Categoría Qualitative Sociology Review Polonia Ciencias Sociales diversas The International Journal Qualitative Methods Canadá Educación Forum Qualitative Sozialforscung Alemania Ciencias Sociales diversas Fuente: Adaptación propia a partir de tabla extraída del estudio de Ulloa & Mardones (2017). 5.3.3 Pagos asociados a la publicación abierta El Open Access está redefiniendo la forma en que el capital científico se define, se moviliza y se trata. Este es un nuevo paradigma que choca con las reglas de un mercado académico que por décadas ha mantenido el monopolio económico del conocimiento científico por medio de barreras de pago, un modelo que no siempre es receptivo a alteraciones y novedades (Sadaba, 2014), pero que ha tenido la obligación de adaptarse al nuevo panorama cibernético digital. El modelo de suscripción se presenta como un muro de pago que al ser costeado permite acceder al material científico. Detrás de cada ejemplar físico existe un costo de adaptación, impresión y envío, lo que obligaba a las editoriales a publicar una cantidad determinada. Sin embargo, con el advenimiento de Internet, la digitalización y la inmediatez de la información, las razones y argumentos que daban sustento al modelo se volvieron obsoletas. La era digital permitió avanzar a pasos agigantados en el desarrollo de nuevos conocimientos, en la difusión masiva e instantánea de los trabajos académicos y, por consecuencia, abrió paso al cuestionamiento de las suscripciones pagadas como método de acceso al conocimiento. En este sentido, la declaración que tuvo lugar en Bethesda (2003) fue precisa en indicar que Internet ha cambiado fundamentalmente las realidades prácticas y económicas relacionadas con la distribución del conocimiento científico y el patrimonio cultural. En la nueva era digital, el modelo de suscripción sigue estando presente, pero convive con el paradigma del open access, el que intenta superar las barreras de pago poniendo la responsabilidad de la apertura del conocimiento en el propio autor. Algunos repositorios de ruta dorada e híbrida solicitan un pago de APC para publicar en acceso abierto, esto corresponde a un modelo de negocios cuyo propósito es financiar los gastos asociados a la gestión de la publicación. En estricto rigor, no existe un monto estandarizado del APC, por lo que su costo dependerá únicamente de la revista. Su valor fluctúa según el pago de impuestos adicionales, lo que se puede evidenciar en la Tabla N° 5.3. Según Socha (2018), de las revistas de mayor renombre en la industria académica como Elsevier, Springer, Wiley y Taylor & Francis se han adscrito al acceso abierto cobrando a los autores un costo de APC pero manteniendo su modelo de suscripción. Tabla 5.3: Fluctuación del precio en dolares del APC en las principales revistas científicas Repositorio APC mínimo APC máximo ¿Open Acces o Híbrido? ELSEVIER $100 $5.000 Híbrido SPRINGER $3.000 $3.000 Híbrido WILEY $1.300 $5.200 Híbrido Taylor y Francis $500 $2.950 Open Access Fuente: Adaptación propia a partir de información recopilada en University of Cambridge (2018). Spinak (2019) indica que tanto en Estados Unidos como en países Europeos ha habido un aumento exponencial del costo del APC a través de los años. A modo de ejemplo, el APC promedio de 319 revistas asociadas a las editoriales BMC, Frontiers, MDPI e Hindawi aumentó entre 2,5 y 6 veces la inflación entre el 2012 y el 2018, al alero de un considerable crecimiento en la cantidad de volúmenes que paso de 58.007 hasta 127.528 en aquellos años. Los editores han admitido que el costo del APC lo fijan según el valor económico de la revista que es atribuido según el valor de impacto. La introducción de un sistema de pagos por procesamiento de artículos hace frente al modelo de suscripción, pero no logra reemplazarlo. En cambio, funciona de manera paralela dentro del mercado científico, presentándose como una nueva barrera que obstaculiza la decisión de abrir las publicaciones de aquellas investigaciones que son autónomas o que dispongan de un presupuesto acotado. Los APC tienen sus propios cuestionamientos y uno de ellos refiere a que el pago no tiene mucho que ver con el procesamiento y posterior publicación del artículo, sino que más bien los equipos de investigación pagan por el reconocimiento de ser publicados en una revista de alto factor de impacto (Velterop, 2018). Pareciera ser que el nuevo ciclo de la ciencia que apuntaba a la democratización del conocimiento se vio inmerso en las lógicas económicas en donde las editoriales obtienen los principales beneficios monetarios. ¿Pagar por hacer ciencia o pagar por reconocimiento? Claro esta que existen otras vías gratuitas para publicar de manera abierta, sin embargo la ciencia -y principalmente las ligadas a la medicina, la física y las matemáticas- ha tenido la necesidad imperiosa de ser creíble, reconocida y citada, y por ello existe una mayor competencia en torno al reconocimiento que otorga la publicación en revistas de alto impacto. Sin embargo, el quehacer en pos del conocimiento y su disposición como bien público para la sociedad y su desarrollo poco tiene que ver con una distinción simbólica que sirve dentro del mundo científico. La ciencia social, a diferencia de las ciencias exactas, se ha podido desarrollar con mayor libertad por medio de las vías gratuitas en importantes repositorios de ruta verde, como es el ejemplo del caso latinoamericano que profundizaremos en la siguiente sección. Referencias "],["cuál-es-el-destino-de-las-ciencias-sociales-en-el-mundo-del-open-access.html", "5.4 ¿Cuál es el destino de las ciencias sociales en el mundo del Open Access?", " 5.4 ¿Cuál es el destino de las ciencias sociales en el mundo del Open Access? La dicotomía entre ciencias naturales y sociales es una discusión epistemológica de años que no solo remite al objeto de estudio, sino que también a las metodologías de investigación, a los criterios de validez y quizás lo más importante, a la reflexión en torno al carácter objetivo de la propia ciencia. Es claro que el movimiento del Open Access no pretende dar respuestas ni reflexiones profundas sobre este tipo de cuestionamientos de orden epistemológico, y aunque se abre en extenso como una herramienta que sirve para la libre difusión de los conocimientos en el plano de Internet, una cosa es clara y es que las ciencias sociales han llegado algo tarde en comparación a las ciencias exactas (Sadaba, 2014). La comunidad científica ligada al campo de lo social ha hecho los esfuerzos por adquirir prácticas abiertas y, de este modo, han comenzado a trazar una próspera trayectoria en el campo del Open Access con un fuerte componente político. Las barreras de pago no son el único obstáculo que enfrenta la libre circulación del conocimiento científico, Banzato (2019) indica que la industria editorial ha instalado la idea de una ciencia del centro o bien denominada mainstream, un concepto consolidado globalmente gracias al trabajo hecho por los servicios de Web Of Science WoS y Scopus que han creado indicadores bibliométricos que segmentan a las investigaciones científicas, fomentan el uso del inglés como la lengua ilustre de la ciencia, entregan prestigio a aquellos trabajos que siguen los estándares de publicación y son indexadas en las revistas de gran renombre. En suma, generan un sistema restrictivo donde existe poca representatividad de las revistas de ciencias sociales. Según Beigel (2018), las bases de datos comerciales no solo contribuyeron en la ilusión de una ciencia del centro, sino que también desarrollaron la idea de un tipo de ciencia Periférica, que refiere al trabajo que se reclusa en el terreno de la academia regional-local (como es el caso Latinoamericano). Este tipo de ciencia se indexa en revistas subvaloradas y comprendidas como endogámicas y de baja calidad, pues en su gran mayoría producen y re-producen el conocimiento dentro de la propia región, teniendo así un rol subsidiario en el desarrollo de la ciencia y no protagónico como es el caso anterior. La apuesta del Open Access de hacer frente al oligopolio de la industria editorial y lograr un cambio sociocultural en la ciencia a menudo tiene que luchar con condiciones sociales, culturales y económicas que terminan modelando la forma en que los cambios tecnológicos se convierten en cambios sociales. Por ello el Open Access es un proceso diferencial no solo entre las disciplinas, sino que también entre las zonas geográficas y las distintas regiones del mundo (Sadaba, 2014). La globalización y el auge de Internet por sí mismos no democratizan ni permiten la distribución equitativa del conocimiento, por ello es importante adscribir a las palabras de Babini (2014), coordinadora del programa de acceso abierto de CLACSO, quien hace un llamado a la comunidad científica de tomar responsabilidad por gestionar comunicaciones académicas no comerciales, cuyo objetivo sea permitir que el conocimiento se convierta en un bien público y, por lo tanto, se gestione como tal. La experiencia latinoamericana ha logrado arribar en el puerto de la ruta verde de una forma similar al contexto anglosajón, en el estudio de Piwowar et al. (2019) se evidencia que tanto en ciencias sociales como en psicología se utiliza mayoritariamente la ruta verde para la publicación abierta (véase Figura N° 5.7). Para el caso Latinoamericano, se ha creado una estructura no comercial donde la publicación libre es manejada por institutos de investigación sin fines de lucro o por universidades estatales, dando forma a un ecosistema sustentado por Open Journals Systems (Sistema de Revistas Abiertas en español), un software libre que entrega herramientas para la administración de plataformas digitales como Latindex, Redalyc y Scielo, los principales exponentes del Open Access en la región según Becerril García & Aguado López (2019). Estas plataformas sirvieron de trampolín para el desarrollo de la ciencia abierta de tipo no comercial, una distinción propia de Latinoamérica (Beigel, 2021). Figura 5.7: Piwowar, H. et al. (2019). Porcentaje de diferentes tipos de acceso de una muestra aleatoria de artículos y reseñas de WoS con un DOI publicado entre 2009 y 2015 por disciplina (Traducción propia). Algunas personas ligaran de manera exclusiva el Open Acces a metodologías de carácter cuantitativo, desconfiando del uso de estas técnicas para la investigación cualitativa con el temor de la pérdida de confidencialidad o el reproche sobre la toma de decisiones metodológicas. La evidencia levantada por Mardones et al. (2018) demuestra que existen experiencias cualitativas de trabajos publicados en abierto que no tienen repercusiones negativas, aún cuando estos declaran y describen sus diseños. Ello demuestra que la publicación abierta no afecta la particularidad y flexibilidad del diseño, siempre y cuando este se dirija con el fin de develar el fenómeno de estudio. Taylor (2020) realizó un análisis sistemático de la publicación en abierto de libros y capítulos en el área de las ciencias sociales, pues ha habido una falta de atención en la publicación de libros en abierto, muy por el contrario al análisis que se realiza casi por completo a artículos y revistas. Este estudio comprende la existencia de un gran número de científicos sociales que se abocan a publicar en libros y, dentro de los resultados de la investigación, se evidencia que el número de libros y capítulos publicados en acceso abierto es mucho más bajo que el de los artículos. Sin embargo, a través de los años ha ido en un ligero incremento, siendo estos en su gran mayoría de las disciplinas de la psicología y la economía, y en último lugar, textos del área de la filosofía. Lo anterior no solo evidencia un auge constante de la publicación de libros y capítulos en abierto, también da cuenta de que al igual que en el panorama general, dentro de las humanidades y las ciencias sociales ocurre una dicotomía entre las disciplinas. Las revistas académicas y los repositorios antes mencionados son administrados, dirigidos y financiados por instituciones académicas o por organismos no gubernamentales sin fines de lucro -como es el caso del Centro Latinoamericano de Ciencias Sociales (CLACSO)-, por lo que no se incluyen tarifas ni para autores ni para lectores. América Latina ha desarrollado una suerte de ecosistema en red, que se configura cómo un espacio virtual donde los miembros de las universidades ponen a disposición el contenido intelectual en repositorios de sus casas de estudio, los cuales a su vez se encuentran interconectados a otros repositorios académicos. Un ejemplo claro de ello es LaReferencia que integra más de 1.3 millones de archivos según Becerril García & Aguado López (2019). En términos de políticas públicas, los organismos estatales han desarrollado leyes que promueven el uso de prácticas abiertas en el desarrollo de investigaciones con fondos estatales, sin embargo, por lo que señala Becerril García & Aguado López (2019), los mandatos tienden a ser aún muy débiles y operan como sugerencias más que como obligaciones metodológicas. Otra debilidad indicada por el mismo estudio da cuenta de que la mayoría de los sistemas de validación social de las investigaciones descansan en el renombre de la revista, aún cuando estas se encuentren lejos de las discusiones locales o bien ajenas a los contextos latinoamericanos. El destino de las ciencias sociales en el mundo del Open Access es bastante amplio. Los beneficios que entrega este paradigma no solo contribuyen a la difusión y amplio reconocimiento de la obra y de su autoría, también aportan a la apertura del conocimiento científico que sirve a nivel local en la toma de decisiones, en la consecución de estrategias políticas y a nivel regional en tanto aporta al desarrollo cultural y económico de la sociedad en su conjunto. Sin duda, el camino que han trazado otras personas sigue su curso e invita no solo a investigadores a incurrir en este tipo de prácticas, sino que también pone la responsabilidad en las instituciones universitarias y gubernamentales en proporcionar las herramientas, guías y conocimientos necesarios para que el Open Access sea una alternativa viable por la cual la ciencia y el conocimiento se transformen. Referencias "],["referencias.html", "Referencias", " Referencias "],["404.html", "Page not found", " Page not found The page you requested cannot be found (perhaps it was moved or renamed). You may want to try searching to find the page's new location, or use the table of contents to find the page you are looking for. "]]
+[["index.html", "Ciencia Social Abierta Presentación", " Ciencia Social Abierta 18 octubre 2021 Presentación "],["introducción.html", "Capítulo 1 Introducción", " Capítulo 1 Introducción El interés de realizar investigaciones científicas con base en la Ciencia Social Abierta ha ido aumentando en la última década. Distintos centros de investigaciones y organismos nacionales e internacionales han posicionado como un estándar mínimo de calidad, confianza y trasparencia que los(as) científicos sociales suscriban sus investigaciones bajo los principios de la Ciencia Abierta. En este libro se abordan los conceptos principales que explican de qué se trata la Ciencia Abierta, sin embargo, el objetivo final es convertirse en una guía para los(as) investigadores de las Ciencias Sociales. A partir de la revisión de los principios a los que suscriben los principales organismos internacionales y de las principales herramientas utilizadas para cumplir con este propósito es que este libro permite consolidar las experiencias actuales para transformarlas en una serie de recomendaciones que les permitan a los(as) investigadores de las Ciencias Sociales empíricas suscribirse bajo los estándares de la Ciencia Social Abierta. Este libro se guía bajo cuatro principios clave de la Ciencia Abierta y que constituyen cada uno de los capítulos tratados a continuación: 1) Transparencia; 2) Apertura de datos; 3) Reproducibilidad y 4) Publicaciones libres. En el primer capítulo se aborda uno de los principales estándares que guían este tipo de investigaciones y que tiene que ver con la transparencia. En este libro, transparencia se asocia con la apertura pública del diseño de investigación, lo que refiere a la práctica científica de abrir al público todo tipo de información que sea relevante en la ejecución del estudio, desde las hipótesis hasta el plan de análisis. Así, quienes lean los hallazgos de la investigación (tanto científicos como el público en general) podrán evaluar la credibilidad de estos y descartar la influencia de prácticas cuestionables de investigación. En el segundo capítulo se aborda un elemento clave para fomentar la colaboración en las investigaciones de las Ciencias Sociales. La publicación de los datos de investigación (open data) se suscribe como un estándar de calidad internacional que permite contribuir a que los(as) investigadores se centren en la investigación y creación de hallazgos relevantes, antes que en la producción de datos. Más aún, se señala la importancia de publicar los datos de investigación cumpliendo con estándares internacionales sobre los datos y la documentación, de modo tal que cualquier investigador sea capaz de reutilizar los datos sin la necesidad de contactarse con el equipo que los produjo y con la información suficiente para reconocer o citar el aporte del equipo productor de los datos. En el tercer capítulo se aborda la discusión existente sobre la reproducibilidad y replicabilidad de una investigación, poniendo el principal foco en la reproducibilidad de los resultados de investigación. Reproducibilidad refiere a una publicación detallada de la documentación, código y datos que permitan obtener los mismos resultados publicados por los autores, enfatizando que los análisis sean transparentes y claros con el objetivo de ser verificados por sus pares. En el escenario actual, la falta de reproducibilidad de los resultados afecta la robustez y credibilidad de la evidencia reportada por las investigaciones, principalmente por la falta de precisión en los procedimientos y las barreras de acceso a materiales clave del proceso de análisis (Freese & Peterson, 2017). Finalmente, el cuarto capítulo está enfocado en la parte final de una investigación y se centra en el proceso de divulgación científica. Para este propósito se abordan dos puntos clave. Por un lado, se aborda la idea de propiedad intelectual junto a los elementos centrales de la producción científica y el resguardo legal que poseen los(as) autores sobre sus investigaciones. Por otro lado, se aborda el movimiento del Open Access (OA), que tiene por objetivo promover el acceso libre a la producción de conocimiento científico digital y hacer uso de él sin restricciones de copyright, instalando la posibilidad de que cualquier persona pueda reutilizar la información de la investigación en cuanto a datos, procesos y resultados. Referencias "],["diseño-transparente.html", "Capítulo 2 Diseño transparente", " Capítulo 2 Diseño transparente Uno de los principios que guía el quehacer científico es el escepticismo organizado (Merton, 1973). Ningún hallazgo se acepta porque sí, sino que los científicos deben demostrarle a otros miembros de la comunidad científica que sus hallazgos son válidos. En orden de lograr esto es que se han desarrollado varios tipos de herramientas como los indicadores de impacto, la revisión por pares o las convenciones para el reporte de análisis estadístico. Sin embargo, casos como los de Diderik Stapel han dejado al descubierto que este tipo de herramientas pueden no ser suficientes para asegurar la credibilidad de los hallazgos científicos. Diderik Stapel fue un investigador en el campo de la psicología social. Su carrera se caracterizó por una trayectoria ejemplar: entre 1995 y 2015 publicó aproximadamente 150 artículos en revistas científicas, algunas de las más prestigiosas (e.g. Science). También, fue galardonado con el premio a la trayectoria académica por la Sociedad de Psicología Social Experimental (SSEP, por sus siglas en inglés). Stapel llegó a ser una figura reconocida en su área, sin embargo, todo cambió el año 2011 cuando se confirmó que gran parte de sus artículos contenían datos inventados. La investigación final de su caso determinó que más de 50 de sus artículos eran fraudulentos (Carey, 2011). De hecho, Stapel figura dentro de los diez investigadores con más artículos retractados (58) en Retraction Watch, una plataforma que se dedica a sistematizar y mantener una lista actualizada sobre retracciones de artículos. A efectos de este escrito, lo más destacable es que Stapel cometió mala conducta académica durante más de 15 años. ¿Cómo fue esto posible? ¿cómo ninguno de sus colegas, alumnos o coautores se dio cuenta de sus malas prácticas? La respuesta tiene que ver con el concepto central de este capítulo: por la falta de transparencia durante el proceso de investigación. Stapel se caracterizaba por hacer el trabajo solo y a puertas cerradas, es decir, nadie más que él tenía acceso a los datos brutos, ni tampoco a la ejecución de las pruebas estadísticas. Generalmente, sólo compartía con sus colegas los datos procesados y con los análisis ya efectuados. A raíz de esta forma de trabajo es que se abría la oportunidad para que Stapel inventara datos a su conveniencia. Como nadie más colaboraba con el procesamiento de datos, ni tampoco parecía extraño que así fuera, Stapel pudo sostener una trayectoria académica destacable en base a la falta de transparencia. El ejemplo de Stapel es solo una forma de poner en discusión la importancia de la transparencia en el proceso de investigación. Siguiendo esta línea, este capítulo busca presentar una primera aproximación, tanto teórica como práctica, sobre la transparencia en la investigación social. El objetivo es que investigadoras e investigadores de las ciencias sociales empíricas se introduzcan en la temática de la transparencia, así como también que conozcan las principales herramientas que se están utilizando para adoptarla. Referencias "],["sobre-la-transparencia.html", "2.1 Sobre la transparencia", " 2.1 Sobre la transparencia La transparencia es un concepto multidimensional. Elliott (2020) propone entender la transparencia en torno a cuatro preguntas: ¿por qué?, ¿quién? ¿qué? y ¿cómo? (ver Figura N° 2.1). Cada una de estas preguntas se relaciona a una dimensión. La primera pregunta (¿por qué?) se refiere a las razones y propósitos por los cuales es necesario adoptar la transparencia; la segunda pregunta (¿quién?) apunta a la audiencia que está recibiendo la información; la tercera pregunta (¿qué?) hace alusión al contenido que es transparentado y la cuarta pregunta (¿cómo?) consiste en cuatro dimensiones distintas sobre cómo adoptar la transparencia: actores, mecanismos, tiempo y espacios. También, esta taxonomía estipula una dimensión sobre las amenazas que podrían afectar a las iniciativas que busquen promover la transparencia. A raíz de estas dimensiones podemos comprender qué tipo de prácticas y situaciones caben dentro del concepto de transparencia. Figura 2.1: Taxonomía de Transparencia Basándonos en esta taxonomía, presentaremos una propuesta sobre qué se entiende por transparencia en las ciencias sociales y cómo podemos adquirir prácticas orientadas a este principio. Nuestra propuesta es entender la transparencia como la apertura pública del diseño de investigación, lo que incluye todo tipo de información importante para la ejecución del estudio, desde las hipótesis hasta el plan de análisis. Esto permitirá que las personas que lean los hallazgos de investigación (ya sean científicos o la ciudadanía) puedan evaluar la credibilidad de estos y descartar la influencia de prácticas cuestionables de investigación. Para llevar a la práctica esta propuesta, presentaremos la elaboración de preregistros como una de las principales herramientas que contribuyen a hacer público el diseño, además de otras que complementan su uso. Referencias "],["por-qué.html", "2.2 ¿Por qué?", " 2.2 ¿Por qué? La pregunta del por qué es necesario avanzar hacia la transparencia encuentra su respuesta en la existencia de prácticas de investigación que merman la credibilidad de los hallazgos científicos. A modo de entender qué es lo problemático de ciertas prácticas, es que Steneck (2006) propone el concepto de Conducta Responsable de Investigación (RCR, por sus siglas en inglés) como un ideal que engloba prácticas éticas e íntegras dentro de la investigación científica (ver Figura N° 2.2). Según este autor, la distinción entre la ética y la integridad recae en que la primera tiene que ver con seguir principios morales dentro de la investigación (e.g. usar consentimientos informados), en cambio, la segunda está más relacionada con el seguimiento de códigos de conductas y estándares profesionales (Abril Ruiz, 2019). Figura 2.2: Conducta Responsable de Investigación. Imagen de Abril Ruiz (2019) basada en Steneck (2006) Las prácticas de investigación se pueden evaluar en un continuo que representa cuánto adhieren los investigadores a los principios de integridad científica (Steneck, 2006). La Figura N° 2.3 esquematiza esta idea mostrando dos extremos, donde a la izquierda está el mejor comportamiento (RCR) y a la derecha el peor comportamiento (FFP). Las FFP son una abreviación en lengua inglesa para referirse a Fabrication, Falsification, Plagiarism (Invención, Falsificación y Plagio), también conocidas como mala conducta académica. En el medio del continuo están las prácticas cuestionables de investigación (QRP, por sus siglas en inglés) las cuales refieren a las acciones que violan los valores tradicionales de la empresa de investigación y que pueden ser perjudiciales para el proceso de investigación (National Academies of Science 1992 en Steneck, 2006, p. 58). Las QRP se caracterizan porque tienen el potencial de dañar la ciencia, en tanto las FFP la dañan directamente. Figura 2.3: Gradación del comportamiento integro en investigación. Imagen de Abril Ruiz (2019) basada en Steneck (2006) La mala conducta académica implica la violación de los principios de integridad científica. Esto se relaciona con el falseamiento de datos de cualquier forma: invención de datos, alteración de gráficos o tablas, entre otros. El caso de Diderik Stapel presentado en la introducción de este capítulo es un ejemplo que cabe dentro del concepto de mala conducta académica. Según la literatura, la prevalencia de este tipo de prácticas no es alta (e.g. Fanelli, 2009; John et al., 2012), sino que más bien son casos aislados (ver Abril Ruiz, 2019, pp. 23-128 para una revisión). En contraste, las QRP han demostrado ser más prevalentes. 2.2.1 Prácticas cuestionables de investigación (QRP) Existen una serie de estudios que han intentado medir directamente la prevalencia de estas prácticas a través de encuestas. Fanelli (2009) hizo un metaanálisis que tenía por objetivo sistematizar los resultados de estudios que hasta esa fecha habían abordado las prácticas de investigación desde encuestas cuantitativas. Los resultados mostraron que un 1.97% de investigadores había inventado datos al menos una vez (FFP) y que un 33.7% había realizado alguna vez una QRP como borrar puntos de los datos basados en un sentimiento visceral. Unos años más tarde, John et al. (2012) efectuaron otro estudio similar, demostrando que un 36.6% de quienes participaron alguna vez habían practicado alguna QRP. En detalle, analizando los porcentajes práctica a práctica los resultados muestran que el 50% de los psicólogos encuestados alguna vez reportaron selectivamente estudios que apoyaran sus hipótesis; un 35% alguna vez reportaron resultados inesperados como esperados; y un 2% alguna vez reportó datos falsos. Este estudio ha sido replicado en Italia (Agnoli et al., 2017), en Alemania (Fiedler & Schwarz, 2016) y en Brasil (Rabelo et al., 2020). Más recientemente, han emergido estudios similares en otras áreas disciplinarias. Por ejemplo, a través de encuestas online Makel et al. (2021) logran constatar que existe una prevalencia considerable de las QRP en el campo de investigación educacional. De los participantes de la muestra, un 10% admitió haber rellenado datos faltantes (NAs) y un 67% señaló alguna vez haber omitido ciertos análisis de manera intencional. Siguiendo el mismo método, en el campo de la investigación comunicacional se ha encontrado evidencia parecida: 9% de los encuestados señala haber imputado datos faltantes sin reportarlo, un 34% declaró alguna vez haber excluido casos extremos de forma arbitraria y un 60% señala no haber reportado análisis con variables clave que no funcionaron. Del mismo modo, en los estudios cuantitativos sobre criminología existe un uso extendido de las QRP: un 87% de la muestra de Chin et al. (2021) ha utilizado múltiples QRP, siendo el reporte selectivo de resultados el más común (53%). Por último, fuera del área de las ciencias sociales, pero siguiendo la misma línea, Fraser et al. (2018) también encuentran evidencia a favor de la existencia de distintas QRP en el campo de la ecología y evolución. Los estudios mencionados arriba corresponden a la evidencia existente sobre la medición de QRP a través de encuestas. A modo de resumen, la Tabla N° 2.1 adaptada del trabajo de Chin et al. (2021) agrupa la información que hemos revisado (y más), ordenándose por prácticas, campos de estudio y los artículos correspondientes a cada campo de estudio. Los números dentro de las casillas representan el porcentaje de prevalencia de cada práctica reportado por los participantes del estudio, y entre paréntesis el número de casos de la muestra. Los guiones significan que este estudio no incluyó esa práctica en el cuestionario. Tabla 2.1: Porcentajes de prevelanecia por QRP según distintos trabajos.. Práctica Psicología Psicología Psicología Ecología Evolución Educación Comunicación John et al. (2012) Agnoli et al. (2017) Rabelo et al. (2020) Fraser et al. (2018) Fraser et al. (2018) Makel et al. (2021) Bakker et al. (2020) Omitir estudios o variables ni significativas 46 (485) 40 (217) 55 (232) - - 62 (783) 60 Subreportar resultados 63 (486) 48 (219) 22 (232) 64 64 67 (871) 64 Subreportar condiciones 28 (484) 16 (219) 35 (232) - - - - Muestreo selectivo 56 (490) 53 (221) 22 (232) 37 51 29 (806) 23 Excluir datos selectivamente 38 (484) 40 (219) 20 (232) 24 24 25 (806) 34 Excluir covariables selectivamente - - - - - 42 (773) 46 Cambiar análisis selectivamente - - - - - 50 (811) 45 HARK 27 (489) 37 (219) 9 (232) 49 54 46 (880) 46 Redondear valores p 22 (499) 22 (221) 18 (232) 27 18 29 (806) 24 Mal orientar respecto a los efectos de sociodemográficos 3 (499) 3 (223) 4 (232) - - - - Esconder problemas - - - - - 24 (889) - Esconder imputaciones 1 (495) 2 (220) 1 (232) 5 2 10 (898) 9 Como se observa en la Tabla N° 2.1, las encuestas sobre QRP han incluido varias prácticas relativas al tratamiento y análisis de los datos. No obstante, consideramos que existen tres términos que, en su mayoría, logran sintetizar esta tabla y que están relacionados a la transparencia en los diseños de investigación. Estas son: 1) los sesgos de publicación, 2) el p-hacking y el 3) HARKing. Sesgo de publicación El sesgo de publicación ocurre cuando el criterio determinante para que un artículo sea publicado es que sus resultados sean significativos, en desmedro de la publicación de resultados no significativos. Un ejemplo ilustrativo que usan Christensen et al. (2019) para explicar esta práctica es el cómic xkcd titulado Significant. Este cómic (Figura N 2.4) muestra cómo es que un hallazgo de investigación sufre del sesgo de publicación. Al publicarse únicamente el resultado significativo e ignorándose los otros 19 no significativos, cualquier lector tendería a pensar que efectivamente las gominolas verdes causan acné, cuando probablemente sea una coincidencia. El trabajo de Rosenthal (1979) fue de los primeros en llamar la atención respecto de esta práctica, adjudicando el concepto de file drawer problem (en español: problema del cajón de archivos), el que hace alusión a los resultados que se pierden o quedan archivados dentro de un cuerpo de literatura. Desde ese estudio en adelante varios autores han contribuido con evidencia empírica sobre el sesgo de publicación. Por ejemplo, el estudio de Franco et al. (2014) logra cuantificar esta situación encontrando que los resultados nulos tienen un 40% menos de probabilidades de ser publicados en revistas científicas, en comparación a estudios con resultados significativos. Es más, muchas veces los resultados nulos ni siquiera llegan a ser escritos: más de un 60% de los experimentos que componen la muestra del estudio de Franco et al. (2014) nunca llegaron a ser escritos, en contraste con el 10% de resultados significativos. Figura 2.4: Comic Significant de xkcd El principal problema del sesgo de publicación es que puede impactar en la credibilidad de cuerpos enteros de literatura. Por ejemplo, en economía se han hecho varios metaanálisis que han buscado estimar el sesgo de publicación en distintos cuerpos de literatura (e.g. Brodeur et al., 2016; Viscusi, 2014; Vivalt, 2015). Uno de los trabajos más concluyentes es el de Doucouliagos & Stanley (2013), quienes efectúan un metaanálisis de 87 artículos de metaanálisis en economía. En este trabajo encuentran que más de la mitad de los cuerpos de literatura revisados sufren de un sesgo sustancial o severo. Si bien en economía se ha avanzado mucho en este tipo de estudios, también a partir del desarrollo de distintos métodos de detección, se ha podido diagnosticar el sesgo de publicación en importantes revistas en sociología y ciencias políticas (A. Gerber & Malhotra, 2008; A. S. Gerber & Malhotra, 2008). P-hacking Otra práctica bastante cuestionada es el p-hacking. El p-hacking suele englobar muchas de las prácticas que vimos en un inicio, especialmente las que refieren al manejo de datos: excluir datos arbitrariamente, redondear un valor p, recolectar más datos posterior a hacer pruebas de hipótesis, entre otras. Lo que tienen todas estas prácticas en común y lo que define el p-hacking es que se da cuando el procesamiento de los datos tiene por objetivo obtener resultados significativos. Si el sesgo de publicación afecta la credibilidad de un cuerpo de literatura, el p-hacking afecta a la credibilidad de los artículos mismos, ya que al forzar la significancia estadística la probabilidad de que en realidad estemos frente a un falso positivo aumenta. Un trabajo que da sustento a esta idea es el de Simmons et al. (2011), quienes calculan la posibilidad de obtener un falso positivo (error Tipo I) de acuerdo con el nivel de grados de libertad que son utilizados por parte de los investigadores. El resultado principal es que a medida que aumenta el uso de grados de libertad, la posibilidad de obtener un falso positivo aumenta progresivamente. El p-hacking también contribuye a sesgar cuerpos enteros de literatura. Para diagnosticar esto se ha utilizado una herramienta denominada p-curve, la cual describe la densidad de los p-values reportados en una literatura, aprovechando el hecho de que si la hipótesis nula no se rechaza (es decir, sin efecto), los p-values deben distribuirse uniformemente entre 0 y 1 (Christensen et al., 2019, p. 67.). De esta manera, en cuerpos de literatura que no sufran de p-hacking, la distribución de valores p debería estar cargada a la izquierda (siendo precisos, asimétrica a la derecha), en cambio, si existe sesgo por p-hacking la distribución de p-values estaría cargada a la derecha (asimetría a la izquierda). Simonsohn et al. (2014) proponen esta herramienta y la prueban en dos muestras de artículos de la Journal of Personality and Social Psychology (JPSP). Las pruebas estadísticas consistieron en confirmar que la primera muestra de artículos (que presentaban signos de p-hacking) estaba sesgada, en cambio la segunda muestra (sin indicios de p-hacking), no lo estaba. Los resultados corroboraron las hipótesis, esto es: los artículos que presentaban solamente resultados con covariables resultaron tener una p-curve cargada a la derecha (asimétrica a la izquierda). HARKing Por último, pero no menos importante, está la práctica del HARKing. El nombre es una nomenclatura en lengua inglesa: Hypothesizing After the Results are Known, que literalmente significa establecer las hipótesis del estudio una vez que se conocen los resultados (Kerr, 1998). El principal problema de esta práctica es que confunde los dos tipos de razonamiento que están a la base de la ciencia: el exploratorio y el confirmatorio. El objetivo principal del razonamiento exploratorio es plantear hipótesis a partir del análisis de los datos, en cambio, el razonamiento confirmatorio busca plantear hipótesis basado en teoría y contrastar esas hipótesis con datos empíricos. Como señala Nosek et al. (2018), cuando se confunden ambos tipos de análisis y se hace pasar un razonamiento exploratorio como confirmatorio se está cometiendo un sesgo inherente, ya que se está generando un razonamiento circular: se plantean hipótesis a partir del comportamiento de los datos y se confirman las hipótesis con esos mismos datos Referencias "],["qué-y-quién.html", "2.3 ¿Qué? y ¿Quién?", " 2.3 ¿Qué? y ¿Quién? Preguntarse por el qué es básicamente cuestionarse sobre lo que se está poniendo a disposición del escrutinio público. Dentro de la literatura sobre ciencia abierta, son varios los contenidos que pueden ser transparentados. Por ejemplo, la apertura de los datos es una alternativa que, ciertamente, contribuye a hacer un estudio más transparente (Miguel et al., 2014). Al estar los datos abiertos al público, la posibilidad de escrutinio por parte de las audiencias es mayor. Otro ejemplo es la idea de disclosure, la cual se refiere a la declaración que hacen los investigadores respecto a si la investigación cuenta con conflictos de interés o si está sesgada de alguna manera. En base a esta idea, recientemente han emergido propuestas cómo las de OBoyle et al. (2017) que, además de la declaración de conflicto interés, llaman a adoptar declaraciones relacionadas a las QRP. Básicamente declarar si se ha cometido QRP o no durante el transcurso de la investigación. No obstante, la apertura pública de los diseños de investigación es, sin duda, la práctica que mejor representa la transparencia en el último tiempo. Como hemos revisado anteriormente, existe una emergente preocupación en las ciencias sociales respecto a la credibilidad de los hallazgos científicos y la influencia que pueden tener las QRP. En disciplinas como la psicología la apertura de los diseños de investigación ha sido la principal herramienta ante el diagnóstico que una parte considerable de los hallazgos eran irreproducibles o irreplicables (Camerer et al., 2018; Motyl et al., 2017; Wingen et al., 2020). Ante un diagnóstico similar en sociología (Breznau et al., 2021), en ciencias de la gestión (Byington & Felps, 2017) y en economía (Gall et al., 2017), por dar algunos ejemplos, también se ha reconocido la apertura del diseño de investigación como una herramienta importante para avanzar hacia la transparencia. A razón de esto, es que nuestra propuesta se focaliza en la apertura de los diseños de investigación y el uso de preregistros. Además de preguntarse por los contenidos que se transparentan, también es relevante hacer un alcance respecto al quién. Esto es tener en consideración quiénes van a recibir la información que sea transparentada. En principio, los hallazgos de la investigación científica son un bien público -o están pensados para serlo-. Si bien en algunos países o áreas especificas del conocimiento el financiamiento de la ciencia es por parte de privados, la investigación en ciencias sociales en Chile se financia con los impuestos de los habitantes. Organismos como la Agencia Nacional de Investigación y Desarrollo de Chile (ANID), quienes están encargados de la administración de fondos para la ciencia, tienen un rol público, por lo que los hallazgos no solo sirven para alimentar el avance del conocimiento dentro de la academia, sino que también son insumos relevantes para los tomadores de decisiones y/o para cualquier ciudadano que se podría beneficiar de esos hallazgos. En consiguiente, cualquier tipo de información que sea transparente es un insumo más para que distintos tipos de audiencias puedan beneficiarse de hallazgos más creíbles y robustos. Ya sean investigadores, tomadores de decisión o la ciudadanía. Referencias "],["cómo.html", "2.4 ¿Cómo?", " 2.4 ¿Cómo? Una buena forma de introducir el cómo adoptar la transparencia son las Transparency and Openess Promotion (TOP) Guidelines (Guías para la Promoción de la Transparencia y la Accesibilidad). Las TOP Guidelines son una iniciativa del Centro para la Ciencia Abierta (COS, por sus siglas en inglés) que busca fomentar la ciencia abierta a partir de la adopción de distintos principios. Su objetivo es que tanto los investigadores como las revistas científicas adhieran a prácticas transparentes. Los principios van desde temas de citación, hasta la replicabilidad (ver el detalle sobre esta propuesta en https://osf.io/9f6gx/). Si bien esta es una iniciativa que incluye principios que escapan del enfoque de este capítulo, es un buen punto de partida ya que permite situar la transparencia en el diseño de investigación y el uso de preregistros como parte de una red de principios más grandes a instalar en la ciencia. Además, permite dar cuenta que ya existe un conjunto de actores preocupados por temáticas de ciencia abierta, que han reconocido la transparencia en los diseños de investigación como un principio importante por adoptar. En lo que sigue, revisaremos cómo los preregistros logran fomentar la transparencia en los diseños de investigación. 2.4.1 Preregistros Los preregistros son una marca temporal sobre las decisiones del diseño, el método y el análisis de un artículo científico y se suelen hacer antes del levantamiento de datos (Stewart et al., 2020). Básicamente, preregistrar un estudio implica que un grupo de investigadores dejarán por escrito una pauta de investigación, la cual seguirán cuando desarrollen la investigación, especialmente la recopilación y el análisis de los datos. El objetivo del preregistro es reducir el margen de flexibilidad que tienen los investigadores a la hora de analizar los datos. El que exista una guía sobre qué hipótesis probar y qué análisis realizar hace menos probable que los científicos recurran en prácticas como el sesgo de publicación, p haking o el HARKing. Como vimos, el sesgo de publicación se trata de publicar selectivamente los resultados de investigación: resultados que no hayan sido significativos, o hipótesis que no funcionaron simplemente se omiten. Sin embargo, cuando existe un documento como un preregistro, el cual deja estipulado claramente las hipótesis que deben ponerse a prueba y los análisis que se emplearán para ello, se torna más difícil reportar selectivamente los resultados. Dicho de otra forma, cuando existe una pauta a la cual apegarse, la discrecionalidad en el reporte de los resultados disminuye. En el caso del p-hacking, el efecto del preregistro es parecido. El p-hacking consiste en abusar de las pruebas estadísticas para obtener resultados significativos. Abusar en el sentido de buscar toda vía posible para obtener un valor p que confirme las hipótesis planteadas. El hecho de preregistrar el plan de análisis y el procesamiento que se le efectuará a las variables permite evitar este tipo de búsqueda intencionada: como hay una guía que seguir, cualquier desviación debe ser justificada. En esta misma línea, un preregistro evita el HARKing ya que las hipótesis están previamente planteadas y no es posible cambiarlas una vez que se han visto los resultados. En suma, el plantear un registro a priori de la investigación, disminuye la flexibilidad que suele dar paso a las QRP. Existen resquemores respecto del uso de preregistros de los que es preciso hacerse cargo. Una de las principales preocupaciones es que el uso de preregistros tendería a coartar la creatividad y la producción de conocimiento exploratorio (Moore, 2016). La lógica es que, como cada parte de la investigación debe ser registrada detalladamente previo a la recopilación, no queda espacio para la espontaneidad durante el análisis de datos. Sin embargo, más que inhibir la investigación exploratoria, el objetivo de preregistar un estudio es separar la investigación confirmatoria (pruebas de hipótesis) y la exploratoria (generación de hipótesis) (Nosek et al., 2018). En ese sentido, es posible la investigación exploratoria bajo el modelo de preregistros, solo que hay que especificarla como tal. Una segunda creencia es que realizar un preregistro añade un nivel de escrutinio mayor del necesario, es decir, como se conoce cada detalle, la investigación se vuelve un blanco fácil de críticas. Sin embargo, la situación es todo lo contrario (Moore, 2016). Por ejemplo, haber preregistrado un plan de análisis para una regresión logística binaria con datos que originalmente eran ordinales hará más creíble los resultados, ya que quienes evalúen la investigación tendrán pruebas de que el nivel de medición no se cambió solo para obtener resultados significativos. Una tercera idea en torno a los preregistros es que conllevan una gran inversión de tiempo y energía. Si bien es cierto que se añade un paso más al proceso de investigación, el avance en la temática ha logrado que existan una variedad de plantillas que hacen el proceso más rápido y eficiente. Desde una lógica racional, el tiempo que toma este paso nuevo en la investigación es un costo bajo en contraste a los beneficios que trae. La característica más importante de los preregistros es que sean elaborados previo al análisis de datos y deseablemente previo a su recopilación. Este requisito es lo que permite asegurar la credibilidad de los resultados, ya que si no hay datos que alterar, entonces las probabilidades de que ocurra una QRP son básicamente nulas. Generalmente, para las ciencias médicas o la psicología experimental (disciplinas donde cada vez se usan más los preregistros), esto no suele ser un problema ya que se utilizan diseños experimentales. Estos se apegan al método científico clásico: se plantean hipótesis basadas en la teoría, se diseña un experimento para probar esas hipótesis y luego se recopilan y analizan los datos para ver si dan soporte a las hipótesis planteadas. Sin embargo, en muchas disciplinas de las ciencias sociales los diseños experimentales son una pequeña fracción del conjunto de la literatura (e.g. según Card et al., 2011, en 2010, solo un 3% de los artículos en las mejores revistas de economía eran experimentales), y lo que prima son los diseños observacionales con datos secundarios. A diferencia de los estudios experimentales, en los estudios con datos preexistentes se afecta el principal componente de credibilidad de los preregistros. Nada puede asegurar que los datos fueron analizados antes de la escritura del preregistro y que, por ejemplo, las hipótesis se están planteando una vez conocidos los patrones significativos (HARKing). De ahí que nace la pregunta sobre la posibilidad de utilizar preregistros en estudios con datos preexistentes. En la literatura sobre preregistros se han discutido los desafíos que implica preregistrar estudios que utilicen datos preexistentes (e.g. Editors, 2014). Existen posturas que proponen que, en realidad, no existe una forma creíble para preregistrar este tipo de estudios (Christensen & Miguel, 2018). No obstante, otras posturas han profundizado en las situaciones en las que aún es posible preregistrar estudios con datos elaborados previamente. Burlig (2018) propone tres escenarios donde el preregistro de datos observacionales es valioso. El primero es, básicamente, cuando los investigadores que diseñaron la investigación generan sus propios datos, en este caso, los investigadores sí pueden elaborar un preregistro previo a la recolección de datos. El segundo escenario se da cuando se preregistra un estudio que tiene como objeto de interés un suceso que aún no ha ocurrido, lo que se conoce como estudios prospectivos. Por ejemplo, un grupo de investigadores puede estar interesado en el efecto que tendrá la introducción de una ley en las prácticas sociales, o el efecto de un tratado en las variaciones del PIB. Para esos casos, el preregistro aún mantiene su validez original ya que, si bien los datos ya existen, no es posible hacer los análisis antes del preregistro porque el evento de interés no ha ocurrido. El tercer escenario ocurre cuando los datos existen, pero no están abiertos al público. En estos casos, es la accesibilidad lo que determina la credibilidad del preregistro. Por ejemplo, el grupo de investigadores que elaboraron los datos pueden establecer que serán accesibles con previo contacto y que se solicitará un preregistro. Por ende, en orden de analizar los datos, los investigadores interesados deberán elaborar un preregistro para utilizar los datos. Conforme a lo anterior, Mertens & Krypotos (2019) proponen dos prácticas para asegurar la credibilidad de un preregistro con datos secundarios. Primero, que el grupo de investigadores que analiza los datos sea distinto e independiente de quien propuso el diseño de investigación y segundo, que el equipo realice sintaxis de análisis con datos simulados, con tal de demostrar que las hipótesis ya existían previas a acceder a los datos. Estas propuestas muestran que el requisito sobre la temporalidad del preregistro puede. La recomendación más transversal y a la vez simple para preregistrar análisis con datos secundarios, es ser sincero y claro respecto a lo que se ha hecho y lo que no (Lindsay, 2020 ; Nosek et al., 2018). Por ejemplo, reportar si es que se ha leído el reporte descriptivo sobre la base de datos o si se tiene conocimiento de algún tipo de patrón de los datos. Es preciso transparentar cualquier tipo de aproximación a los datos previo haberlos analizado. Para lograr este nivel de detalle y ser eficiente con los tiempos y la comunicación hacia otros investigadores, es que existen plantillas predeterminadas para preregistrar distintos tipos de artículos en diferentes situaciones. En la siguiente sección presentaremos las plantillas más usadas. Referencias "],["herramientas-para-los-diseños-transparentes.html", "2.5 Herramientas para los diseños transparentes", " 2.5 Herramientas para los diseños transparentes Nuestra principal apuesta para promover la transparencia en los diseños de investigación son los preregistros, por lo que es a lo que le dedicaremos más espacio de esta sección. De todos modos, también revisaremos un par de herramientas que pueden complementar el uso de preregistros. Esperamos que, posterior a esta sección, el lector pueda ser capaz de utilizar estas herramientas para sus investigaciones. 2.5.1 Plantillas de preregistro En la práctica, preregistrar un artículo es básicamente sintetizar la información importante sobre nuestra investigación en una plantilla estandarizada y alojar ese documento en un lugar público. Por lo que el primer paso para elaborar un preregistro es elegir la plantilla correcta. Existen plantillas estandarizadas que están estructuradas de tal forma que son útiles para preregistrar estudios de cualquier disciplina, así como también existen plantillas dedicadas a una disciplina o a situaciones particulares. En este apartado presentaremos plantillas bajo cuatro categorías: a) plantillas genéricas, b) plantillas para experimentos y previas a recolección de datos, c) plantillas para datos existentes/secundarios, c) plantillas para estudios de replicación y d) plantillas para registered reports. Además de proveer una descripción de cada una, orientaremos al lector para elegir una plantilla de acuerdo al tipo de investigación que está desarrollando. El Open Science Framework (OSF), que en español se traduce como un marco de referencia para la ciencia abierta, actúa cómo una herramienta y un repositorio que alberga las plantillas que trataremos en esta sección (y más). Para ver todas las plantillas disponibles en OSF hacer clic en el siguiente enlace: https://osf.io/zab38/wiki/home/. 2.5.1.1 Plantillas Genéricas Las plantillas genéricas son aquellas que pueden ser utilizadas independientemente de las características del estudio, ya que suelen incluir campos que abordan distintos tipos de situaciones (e.g. si un estudio es experimental o observacional). Acá revisaremos dos plantillas genéricas, la plantilla estándar de AsPredicted, y la plantilla estándar de OSF. AsPredicted La plantilla de AsPredicted es quizás una de las más conocidas para hacer preregistros, dado que está estandarizada y puede ser utilizada en cualquier disciplina. Recomendamos utilizarla cuando lo que se busque es optimizar tiempo y energías. La plantilla cuenta solamente con nueve preguntas clave que aplican a cualquier tipo de artículo. Esta plantilla la podemos encontrar tanto en OSF, como en la página de AsPredicted, en este caso, mostraremos cómo es el proceso en la página original. Partimos por entrar a la página de AsPredicted, donde veremos algo similar a la Figura N° 2.5. Acá se nos da la opción de crear un preregistro, de ver los que ya hemos hecho (si es que ese es el caso) y también una breve descripción de AsPredicted. A grandes rasgos, la página nos dice que AsPredicted es una plataforma que busca facilitar el preregistro de estudios por parte de los investigadores a través de nueve simples preguntas. La página genera un documento .pdf y una URL asociada. También, cuenta cómo funciona el preregistro. Básicamente, un autor elabora un preregistro de un estudio y los coautores reciben un mail para aprobar ese preregistro. Una vez aprobado por todos los autores, el preregistro queda alojado en la plataforma de manera privada, y no cambia hasta que un autor decida hacerlo público. Además, en caso de que el estudio entre en revisión por pares, se puede enviar una versión anónima del preregistro. Por último, nos entrega una recomendación sobre qué hacer en el caso de que el proceso de investigación no haya podido apegarse totalmente a lo predicho. Figura 2.5: Botón para comenzar un preregistro Para elaborar un preregistro debemos hacer click en el rectángulo azul que dice Create. Una vez hecho eso, nos pedirá una dirección de email para continuar. Cuando ingresemos un email, nos enviará un enlace al email que hayamos ingresado, con ese enlace podremos comenzar el preregistro. Una vez hayamos entrado en el enlace, veremos la plantilla de preregistro. Lo primero que aparece es una sección donde debemos escribir los emails de los autores colaboradores del estudio. También, nos da la opción de añadir otros emails además del que hemos introducido. Una vez pasada esta parte, ya nos encontramos con las preguntas del preregistro, que son las siguientes: Recogida de datos. ¿Se han recogido ya datos para este estudio? Hipótesis. ¿Cuál es la pregunta principal que se plantea o la hipótesis que se pone a prueba en este estudio? Variable dependiente. Describa la(s) variable(s) dependiente(s) clave especificando cómo se medirán. Condiciones. ¿Cuántos y qué condiciones se asignarán a los participantes? Análisis. Especifique exactamente qué análisis realizará para examinar la pregunta/hipótesis principal. Valores atípicos y exclusiones. Describa exactamente cómo se definirán y tratarán los valores atípicos, así como su(s) regla(s) precisa(s) para excluir las observaciones. Tamaño de la muestra. ¿Cuántas observaciones se recogerán o qué determinará el tamaño de la muestra? Otros. ¿Hay algo más que quiera preinscribir? Nombre. Poner un título a este preregistro de AsPredicted Finalmente. A efectos de registro, indíquenos el tipo de estudio que está preinscribiendo. Las preguntas son bastante autoexplicativas, pero no está de más entregar algunos detalles adicionales. En la pregunta de recolección de datos, las opciones son tres: Sí, se han recolectado datos, No, no se han recolectado datos y Es complicado. Es importante mencionar que, en esta plantilla, la respuesta de que se han recolectado datos no es válida, por lo que si se está llevando a cabo un estudio con datos secundarios hay que responder Es complicado y en la pregunta 8 de la plantilla especificar por qué este preregistro sigue siendo válido pese a que los datos son preexistentes. Otro detalle importante es que cada pregunta está pensada para ser respuesta en aproximadamente una oración. Esta plantilla tiene el objetivo de ser lo más eficiente posible, por lo que, en general, se recomienda que todo el documento no pase de los 3200 caracteres. Otro detalle que especificar es que la pregunta acerca del tipo de estudio que se está preregistrando también es semicerrada, tenemos las opciones de: Proyecto de clase, Experimento, Encuesta, Estudio observacional y Otro. Es responsabilidad de quien hace el preregistro el seleccionar la opción que más se asemeje a su situación. Por último, es importante señalar que el preregistro, al menos en la página de AsPredicted, solo puede ser rellenado en inglés, por lo que en caso de utilizar otro idioma solicitará traducirlo. OSF Estándar La plantilla estándar de OSF también es de carácter general y busca abarcar distintas situaciones y tipos de estudios. La diferencia que tiene con la plantilla de AsPredicted es que contiene más preguntas y más detalladas. Por ejemplo, contiene preguntas relativas a en qué momento específico se está efectuando el preregistro (i.e antes de recopilar los datos, antes de cualquier observación humana a los datos, antes de acceder a los datos, entre otros) o si se harán transformaciones de las variables y su nivel de medición. La plantilla puede verse en este enlace: https://osf.io/preprints/metaarxiv/epgjd/. A continuación, veremos el inicio del proceso para registrar en OSF, el cual sirve tanto para la plantilla estándar como para otras que veremos más adelante. El primer paso es acceder a la sección específica de preregistros de la página de OSF, la cual se encuentra en el siguiente enlace: https://osf.io/prereg/ (para usar este servicio es necesario tener una cuenta). Si entramos al enlace, la apariencia de la página será algo similar a la Figura N° 2.6. Seleccionemos Start a new preregistration, le damos un nombre al proyecto y hacemos click en Continue. En la página siguiente, podemos ver que hemos creado un proyecto nuevo en OSF, el cual nos da la opción de preregistrarlo haciendo click en el botón New registration. Figura 2.6: Opciones para comenzar un preregistro en OSF En la Figura N° 2.7 podemos ver dos cosas. Primero, la descripción de lo que está haciendo OSF al comenzar un nuevo preregistro, lo que en pocas palabras es una versión no modificable del proyecto al momento que hacemos el preregistro. En otras palabras, es una versión congelada del proyecto en OSF. Segundo, también se aprecia una serie de opciones para preregistrar, estas son las plantillas que mencionamos anteriormente. OSF nos ofrece distintas plantillas de acuerdo con el carácter que tiene nuestro estudio. Figura 2.7: Opciones de plantilla de pre-reistro El primer paso es escoger la plantilla de acuerdo a la situación en la que nos encontremos. En este caso, seleccionamos la plantilla estándar de OSF. Una vez hayamos hecho eso, será necesario llenar los metadatos del estudio (e.g. Figura N° 2.8). Esta sección es transversal a todas las plantillas y consiste en registrar el título, descripción, contribuyentes, entre otras cosas que ayudan a identificar el proyecto. Figura 2.8: Ejemplo de campos de metadatos para rellenar Una vez hayamos rellenado los campos correspondientes a los metadatos, podemos rellenar la plantilla de preregistro. Con los campos rellenados podremos proceder a preregistrar nuestro proyecto. 2.5.1.2 Plantillas para diseños experimentales y previas a recolección de datos Considerando que el sentido original de un preregistro es que sea elaborado previo a la recolección y análisis de los datos, en principio cualquier plantilla genérica podría servir. Por ejemplo, la plantilla estándar de OSF ofrece preguntas detalladas que refieren al uso de diseños experimentales (i.e. cuáles son las condiciones de tratamiento o quiénes están al tanto de las manipulaciones experimentales del estudio). Sin embargo, OSF ofrece una vía alternativa para preregistrar estudios previo a la recolección de datos a través de la plantilla OSF-Standard Pre-Data Collection pre-registration. Esta plantilla es un complemento de la plantilla estándar y se utiliza solamente si es que el preregistro original está archivado en un documento. Esto quiere decir que, en el caso de que el equipo de investigación no haya usado el flujo de preregistro de OSF, sino que ya cuenta con un archivo que alberga el preregistro del estudio, entonces puede escoger esta plantilla de complemento para no efectuar todo el proceso de nuevo. Esta plantilla agrega algunas preguntas cruciales sobre la recopilación de datos, siendo las siguientes: ¿Ha comenzado la recogida de datos para este proyecto? No, la recopilación de datos no ha comenzado Sí, la recopilación de datos está en curso o se ha completado ¿Ha mirado los datos? Sí No Otros comentarios 2.5.1.3 Plantillas para datos secundarios En el último tiempo se ha comenzado a considerar cómo es que investigadores de las ciencias sociales empíricas que trabajan con datos preexistentes pueden, de todas maneras, preregistrar sus estudios para asegurar la credibilidad de sus hallazgos. Si bien OSF cuenta con una plantilla tipo para este tipo de situaciones (ver en https://osf.io/x4gzt/), nosotros recomendamos la plantilla de Mertens & Krypotos (2019) dada la simpleza y exhaustividad de sus preguntas. La plantilla de Mertens & Krypotos (2019) se puede ver en el siguiente enlace: ttps://osf.io/p26rq/. Esta plantilla está dirigida a investigadores que usen datos secundarios. Hace más simple el proceso de preregistro al enfocarse en las preguntas que se asemejan realmente a la situación del investigador que trabaja con grandes encuestas o datos administrativos, lo cual es muchas veces el caso en disciplinas como sociología, ciencias políticas o economía. Esta plantilla cuenta con las siguientes diez preguntas: ¿Cuál es la hipótesis que se investigará? ¿Cómo se operacionalizarán las variables cruciales? ¿Cuál es la fuente de los datos incluidos en los análisis? ¿Cómo se obtendrán estos datos? ¿Hay algún criterio de exclusión de los datos? ¿Cuáles son los análisis estadísticos previstos? ¿Cuáles son los criterios para confirmar y desconfirmar las hipótesis? ¿Se han validado los análisis con un subconjunto de datos? En caso afirmativo, facilite los archivos de datos y la sintaxis de los mismos. ¿Qué se sabe sobre los datos que podría ser relevante para las hipótesis probadas? Facilite un breve calendario para los diferentes pasos del prerregistro. Como podemos ver, además de los campos que se pueden encontrar en cualquier plantilla como la especificación de las hipótesis del estudio o los criterios de exclusión de datos, esta plantilla hace preguntas relativas al nivel de conocimiento previo de los datos. Por ejemplo, en la pregunta 4 solicita especificar la fuente de los datos. Como son datos secundarios, esto implica detallar cómo se accederá o serán solicitados los datos: si es que es necesario rellenar algún formulario o contactar a alguien en específico para obtener acceso. También, en la pregunta 9 se solicita describir cualquier conocimiento de algún patrón en los datos que sea relevante para la pregunta de investigación (e.g. la media o la mediana de una variable). Estos son ejemplos de preguntas que hacen esta plantilla útil para los investigadores que trabajen con datos preexistentes y que quieran preregistrar sus estudios. 2.5.1.4 Plantillas para estudios de replicación Tratar en extenso qué es y cómo se hace un estudio de replicación escapa de los objetivos de este capítulo, sin embargo, es una práctica de la ciencia abierta que no podemos dejar fuera ya que también cuenta con una plantilla para prerregistro. Replicar un estudio significa regenerar los hallazgos de un estudio, siguiendo sus hipótesis y plan de análisis, pero con datos distintos. OSF ofrece dos plantillas para investigadores que tienen el objetivo de replicar un estudio. La primera es una plantilla para estudios de replicación previo a su ejecución, la cual incluye una serie de preguntas relativas al estudio original, por ejemplo, qué efecto se está buscando replicar, por qué es importante replicarlo o en qué área geográfica fue conducido el estudio original. Esta plantilla se puede ver en el siguiente enlace: https://osf.io/4jd46/. La segunda plantilla es para estudios de replicación que ya han sido completados. En este caso, las pvreguntas están relacionadas a los hallazgos del estudio de replicación, por ejemplo, cuál fue el efecto obtenido en la replicación y si se considera que este efecto logra replicar los resultados originales o no. El enlace para esta plantilla se puede encontrar en este enlace: https://osf.io/9rp6j/. 2.5.1.5 Plantillas para registered reports Cómo veremos en la siguiente sección, los registered reports son un modelo alternativo de publicación donde el diseño del estudio pasa por un proceso de revisión por pares, a diferencia del modelo tradicional donde el documento que pasa por revisión por pares es el artículo finalizado. La plantilla que ofrece OSF es para estudios que han sido aceptados en la revisión por pares en una revista académica que cuenta con el modelo de registered reports. El objetivo de esta plantilla es poder dejar un registro público sobre el artículo en proceso, por lo que la plantilla de preregistro consta de, básicamente, una sección para el título del artículo, la fecha de aceptación, el manuscrito y archivos complementarios. Esta plantilla se puede ver en este enlace: https://osf.io/gm36s/. Referencias "],["otras-herramientas.html", "2.6 Otras herramientas", " 2.6 Otras herramientas Sí bien los preregistros son una de las herramientas que más ha ido tomando protagonismo para promover la transparencia, existen otras. Específicamente, queremos mencionar dos de ellas: el modelo de registered reports (en español, informes registrados) y la transparency checklist (en español, lista de transparencia). 2.6.1 Registered Reports El modelo de registered reports es una alternativa al modelo tradicional de publicación. Consiste en que el artículo atraviesa una revisión por pares en etapas tempranas de la investigación, específicamente previo a la recolección de datos. Esta práctica tiene por objetivo que el estudio sea evaluado por su innovación y calidad del diseño de investigación, más que por resultados impactantes (Chambers et al., 2015). Además, busca dejar sin efecto prácticas como el sesgo de publicación, p-hacking y HARKing, ya que no solamente existe una marca temporal que avala el diseño de investigación del estudio (como es el caso de un preregistro), sino que también existe un grupo de científicos anónimos que están de acuerdo con que el artículo es un aporte al conocimiento (Chambers, 2013; Marsden et al., 2018; Nosek & Lakens, 2014). Los registered reports tienen dos características principales (Marsden et al., 2018). Primero, un manuscrito con la justificación del estudio, lo que incluye una introducción, revisión de antecedentes y una pregunta de investigación, dando la posibilidad de una aceptación preliminar (IPA, por sus siglas en inglés In principle acceptance). La segunda característica es que el IPA no puede revocarse en base a los resultados del estudio, esto evita que trabajos con resultados no significativos no sean publicados y así combatir el sesgo de publicación. Relacionado a ambas características, los informes registrados pasan por dos etapas de revisión, la primera es la del manuscrito, siendo este el determinante de se el estudio se acepta o no, y la segunda revisión que se da posterior a terminar la recolección y análisis de datos. El modelo, en comparación al sistema tradicional de publicaciones, se puede ver en la Figura N° 2.9. Figura 2.9: Método convencional y de registered reports para publicación cientifica Para enviar un artículo bajo el modelo de registered reports, primero se debe tener en conocimiento cuáles son las revistas que cuentan con este tipo de revisión. El Centro para la Ciencia Abierta cuenta con una lista actualizada de revistas aquí. Una vez escogida una revista, el proceso no es tan distinto al método convencional, en el sentido de que los investigadores envían su manuscrito con la justificación del estudio y este puede ser aceptado o rechazado por el editor, ya sea directamente o después de la corrección de algunos comentarios. Una vez se cuenta con el IPA y se efectúa la revisión en la segunda etapa, los revisores se aseguran de que el estudio ha seguido el plan de análisis inicialmente planteado y si sus conclusiones tienen sentido de acuerdo a los datos y resultados obtenidos, así como también que toda desviación del plan original sea debidamente justificada (Stewart et al., 2020). Desviaciones muy sustanciales y/o que no sean debidamente justificadas pueden conllevar el rechazo del artículo, aunque puede seguir el proceso en el método convencional de publicación (Stewart et al., 2020). 2.6.2 Transparency Checklist La transparency checklist es una herramienta complementaria elaborada por Aczel et al. (2020) que busca acompañar el proceso de reportar un estudio, contribuyendo a que estos sean más transparentes. Esta lista ha sido elaborada específicamente para investigadores de las ciencias sociales y del comportamiento que trabajan con datos primarios, aunque puede ser útil para otros enfoques y disciplinas. La lista consta de 36 items divididos en cuatro categorías: preregistro, método, resultados y discusiones y accesibilidad de datos, donde cada ítem refiere a alguna característica de un reporte transparente, preguntando si ha sido efectuada o no, es decir, las respuestas posibles de cada ítem son Sí, No y N/A. Existe una versión más corta de 12 items, los cuales son los siguientes: Sección de preregistro: Antes de analizar el conjunto completo de datos, se publicó un prerregistro con sello de tiempo en un registro independiente de terceros para el plan de análisis de datos. El estudio fue registrado antes de que cualquier dato fuera recolectado después de que algunos datos fueron recolectados, pero antes de explorarlos después de que todos los datos fueron recolectados, pero antes de explorarlos después de explorar los datos, pero antes de que cualquier análisis estadístico fuera efectuado después de efectuar algunos análisis estadísticos, pero no todos en otro momento, explicar: El análisis estadístico previsto para cada pregunta de investigación (esto puede requerir, por ejemplo, información sobre la unilateralidad de las pruebas, los criterios de inferencia, las correcciones para pruebas múltiples, los criterios de selección de modelos, las distribuciones previas, etc.). Sección de método El manuscrito describe completamente la justificación del tamaño de la muestra utilizado (por ejemplo, un análisis de potencia a priori). el diseño, los procedimientos y los materiales del estudio para permitir una réplica independiente. las medidas de interés (por ejemplo, la amabilidad) y sus operacionalizaciones (por ejemplo, un cuestionario que mide la amabilidad). ¿algún cambio en el prerregistro (como cambios en los criterios de elegibilidad, en los límites de pertenencia al grupo o en los procedimientos experimentales)? Sección de resultados y discusión El manuscrito distingue explícitamente entre la confirmación (es decir, preestablecido) y exploratorio (es decir, no preestablecidos). Sección de disponibilidad de datos, código y materiales Se han hecho públicas las siguientes los datos (procesados) en los que se han basado los análisis del manuscrito. todo el código y el software (que no esté protegido por derechos de autor). todas las instrucciones, los estímulos y los materiales de las pruebas (que no estén protegidos por derechos de autor). El manuscrito incluye una declaración sobre la disponibilidad y localización de todos los elementos de la investigación, incluidos los datos, materiales y códigos pertinentes para su estudio. Tanto la versión completa de 36 items, como la recortada de 12 están disponibles para rellenar en línea. Aquí se puede encontrar la lista online, es una aplicación de uso simple, además que permite generar el reporte final de manera automática. Referencias "],["anexos.html", "Anexos", " Anexos Tabla 2.2: Algunas situaciones de QRP Dimensión Práctica Diseño y procesamiento Ignorar ciertos aspectos de los requerimientos de las personas participantes. Diseño y procesamiento Pasar por alto el uso de datos cuestionables o de interpretaciones cuestionables que otros hacen. Diseño y procesamiento Cambiar partes de un estudio como respuesta a la presión de una fuente de financiación Diseño y procesamiento Eliminar observaciones de los análisis basados en la intuición de que eran inexactos. Diseño y procesamiento Redondear un valor p (por ejemplo, reportar que un p-value de 0,054 es menor a 0,05) Diseño y procesamiento Eliminación, adición o alteración de datos después de pruebas de hipótesis. Diseño y procesamiento Supresión selectiva o adición de variables. Diseño y procesamiento Invertir la dirección o reformular hipótesis para respaldar los datos Redacción, reporte y publicación Ampliar de manera innecesaria la bibliografía de un estudio. Redacción, reporte y publicación Tergiversar los logros de la investigación. Redacción, reporte y publicación Exagerar la importancia y la relevancia práctica de los resultados. Redacción, reporte y publicación Retener detalles de la metodología de investigación (e.g. no reportar todas las variables dependientes de un estudio) Redacción, reporte y publicación Retener resultados de la investigación (e.g. no presentar datos que contradicen una propia investigación previa). Redacción, reporte y publicación Establecer publicaciones o brindar apoyo a publicaciones que no cumplen el proceso de control de calidad de la investigación Redacción, reporte y publicación Publicar los mismos datos o resultados en dos o más publicaciones. Redacción, reporte y publicación Selectivamente reportar estudios que funcionaron. Redacción, reporte y publicación Reportar hallazgos inesperados como previstos desde el principio. Redacción, reporte y publicación Afirmar que los resultados no se ven afectados por variables demográficas cuando uno no está realmente seguro (o sabe que lo hacen). Citación y autoría Manipular la autoría o denigrar el papel de otros investigadores en las publicaciones. Citación y autoría Asignar inapropiadamente los crédios de autoría. Citación y autoría Volver a publicar partes sustanciales de publicaciones propias anteriores, incluidas las traducciones, sin citar debidamente el original (autoplagio). Citación y autoría Citar de forma selectiva para mejorar los propios resultados o para complacer a los editores, los revisores o los colegas. Citación y autoría Usar ideas de otros sin obtener permiso o dar crédito Citación y autoría Uso no autorizado de información confidencial en relación con la propia investigación. Relaciones con otros Permitir que los patrocinadores pongan en peligro la independencia en el proceso de investigación con el fin de introducir sesgos. Relaciones con otros Acusar a un investigador de conducta indebida u otras infracciones de forma maliciosa. Relaciones con otros Retrasar u obstaculizar inadecuadamente el trabajo de otros investigadores. Relaciones con otros Emplear la experiencia profesional propia para alentar a que se incumpla la integridad de la investigación. Relaciones con otros Ignorar supuestos incumplimientos de la integridad de la investigación cometidos por terceros o encubrir reacciones inadecuadas a conductas indebidas. Relaciones con otros No divulgar adecuadamente la participación en empresas cuyos productos se basan en la investigación de uno. Relaciones con otros Relaciones con estudiantes, sujetos de investigación o clientes que pueden ser interpretadas como cuestionables. "],["apertura-de-datos.html", "Capítulo 3 Apertura de datos", " Capítulo 3 Apertura de datos Si alguna vez has intentado conseguir datos de una investigación social producidos por otros profesionales, probablemente sabes cuán difícil es. Si no lo has intentado, es algo como Mickey Mouse intentando pasar a la siguiente habitación, puesto que nos enfrentaremos consecutivamente a una barrera tras otra. Imagine que el investigador responsable de un Fondecyt, Dr. González, desea estudiar la calidad de vida de los inmigrantes. En su revisión bibliográfica encuentra una investigación con datos que podrían ayudar al desarrollo del proyecto. Logra conseguir el contacto de la investigadora responsable y esta pese a su voluntad de compartir los datos le advierte que tardara unas semanas en ello, puesto que está muy ocupada y no sabe la ubicación actual de los mismos. Pese a perder valioso tiempo de su proyecto, el Dr. González logra acceder a la base de datos, no obstante, esta se encuentra dispersa en distintas hojas de cálculo. Al abrirlos e intentar conectarlos, se da cuenta que no comprende el significado de cada variable, por lo cual requiere un libro de códigos de los datos. Vuelve a contactar a la investigadora, le solicita el cuestionario y el significado de cada variable. Lamentablemente, el equipo que creo la base de datos señala que no posee documentación sobre el significado de cada variable. Sin más, al no poder utilizar debidamente los datos producidos por la investigación anterior, el Dr. González se resigna, y decide volver a invertir recursos en una encuesta, la que probablemente tampoco quede a disposición de futuros investigadores. En suma, al intentar conseguir datos de otras investigaciones nos enfrentamos a diversas barreras, como pueden ser la posibilidad de contactar al equipo, la voluntad del equipo de compartir sus datos, la calidad de la documentación de los datos, los formatos que pueden estar en versiones pagadas, entre otras. ¿Qué podemos hacer los investigadores sociales para evitar estas situaciones? Para ello, el movimiento de la ciencia abierta incentiva a los investigadores a publicar sus datos de investigación (Open Data). Más aún, se señala la importancia de publicarlos cumpliendo estándares internacionales sobre los datos y la documentación, de modo tal que cualquier investigador sea capaz de reutilizar los datos sin la necesidad de contactarse con el equipo que los produjo y con la información suficiente para reconocer o citar el aporte del equipo productor de los datos. A nivel internacional existe una amplia preocupación por democratizar el conocimiento. En esta línea, la Organización para la Cooperación y el desarrollo Económicos (OCDE, 2020), ha incluido dentro de las condiciones para mantenerse en la organización la obligación de que cada país incluya políticas de ciencia abierta, transparentando los procesos y resultados, para todas las investigaciones financiadas públicamente. A nivel nacional tanto el Instituto Nacional de Estadísticas (INE), dependiente del Ministerio de Economía, como la Agencia Nacional de Investigación y Desarrollo (ANID, 2020a) dependiente del Ministerio de Ciencia, han incorporado políticas y prácticas propias de la ciencia abierta. En vista de estos cambios realizados por las instituciones chilenas de investigación, resulta evidente que aprender prácticas de ciencia abierta sobre cómo compartir los análisis y los datos producidos se vuelve una necesidad para los investigadores Chilenos que trabajan en instituciones estatales o financiadas con fondos públicos. En vista de esta necesidad el objetivo de este documento es facilitar los conocimientos necesarios para abrir la información producida por las investigaciones. Referencias "],["ventajas-de-la-apertura-de-datos-de-investigación-social.html", "3.1 Ventajas de la apertura de datos de investigación social", " 3.1 Ventajas de la apertura de datos de investigación social Las ventajas de la apertura de datos son varias. A continuación nos centramos en los tres puntos que consideramos más relevantes: las características éticas, la contribución a la calidad y la eficiencia científica y otros incentivos personales importantes de considerar. Ética: Es justo que el público general tenga acceso a los datos producidos, especialmente cuando estos son producidos con fondos públicos (Bueno, 2017). Cabe destacar que Chile gasta aproximadamente $668.551 MM de pesos en investigaciones científicas, lo cual equivale a un 0,35% del producto interno bruto. La apertura de los datos fomenta la ética investigativa y la confiabilidad, reduce el fraude y aumenta el valor de las ciencias sociales para los políticos y el público en general (Breznau, 2019). Calidad y eficiencia científica: Dejar la base de datos a libre disposición permite hacer evaluaciones sobre la rigurosidad de los resultados mediante la reproducibilidad, mejorando la calidad y la confianza en la ciencia (UNESCO, 2020). Fomenta que más investigadores utilicen los datos y produzcan información (Whyte & Pryor, 2011), aumentando la colaboración y con ello la innovación científica, según señala el Foro Abierto de Ciencias Latinoamérica y el Caribe CILIAC (Ramírez & Samoilovich, 2019). Considerando que los recursos públicos asignados a investigación son escasos, la apertura de las bases de datos permite su reutilización y por ello ahorra recursos en la construcción de bases de datos, fomentando la eficiencia fiscal (Gómez et al., 2016). Facilita la preservación de información para estudios históricos que recopilen evidencia de larga data. Almacenar los datos permite resguardar el conocimiento producido a generaciones futuras. Poder acceder a los productos, procesos y discusiones propias de la investigación cualitativa, puede ayudar pedagógicamente a la formación universitaria, dando una idea más clara de lo que implica una investigación (Bishop & Kuula-Luumi, 2017). Incentivos personales: Publicar los datos de la investigación fomenta un mayor impacto y visibilidad. Como señala la evidencia producida por Piwowar & Vision (2013) una investigación que comparte sus datos puede ser citada un 30% más que una que no lo hace. Compartir el diseño de investigación, las hipótesis y los datos puede fomentar comentarios constructivos por parte de otros/as investigadores, respecto a la dirección de la investigación, ayudando a mejorar la calidad de la publicación final (Sharan, 2020) y con ello, mejorar también la visibilidad e impacto de la investigación. Pese a las ventajas otorgadas por la apertura de la información producida, los investigadores poseen reticencias a la hora de publicar abiertamente sus datos (Ferguson, 2014). Estas reticencias de los investigadores, según Sharan (2020), pueden ser consideradas más bien mitos, los cuales se sustentan en prenociones que no corresponden a la realidad. A continuación, se destacan algunos de estos mitos y las razones de por qué podemos considerarlos como tal. Mito 1: Preocupación a las consecuencias negativas (mal uso, consecuencias legales o comerciales). En parte este problema se soluciona mediante el uso adecuado de licencias, las cuales pueden restringir el uso para ciertos fines. Además, para disminuir el posible mal uso, la preparación de datos incluye hacer anónimos los datos. Respecto a las consecuencias legales, hay que considerar que en general estas investigaciones son financiadas con fondos públicos o por instituciones humanitarias, los cuales en el contexto actual fomentan en general la apertura de los datos. Mito 2: Temor a la falta del reconocimiento debido de su trabajo. Como señalamos anteriormente, lejos de quitarle merito a su trabajo y disminuir su reconocimiento, el preparar y publicar los datos de modo adecuado puede ayudar a difundir la investigación y aumentar el número de citas. Además, usted también puede nutrirse de las investigaciones sobre sus datos. Mito 3: Disgusto frente a la carga de trabajo que implica preparar los datos para su publicación. Sin duda esta es una aprensión comprensible, no obstante, cada vez existen más herramientas que facilitan la labor de la preparación de datos cualitativos y cuantitativos. Por ejemplo, este documento le ayudará a disminuir dicha carga. Además, hay que considerar que si bien aumenta la carga de trabajo actual, disminuye la futura en tanto la buena documentación de los datos también le permitirán a usted volver a trabajar con ellos en el futuro o con datos de otra investigación. Mito 4: Desconocimiento de cómo y dónde compartir los datos. Esta razón, igual de comprensible, es parte de una cultura académica poco acostumbrada al trabajo colaborativo. Por ello, debemos aprender sobre plataformas que faciliten compartir nuestros datos de investigación. Para ello, este trabajo ofrece una guía para preparar los datos y sobre como subirlos a la plataforma de ciencia abierta Open Science Framework. En miras de las dudas más comprensibles de los investigadores señaladas (Ferguson, 2014; Sharan, 2020) y de la necesidad tanto ética como legal de avanzar hacia la apertura de datos en el contexto chileno, el presente documento busca facilitar la introducción al almacenamiento y publicación abierta de datos. Se busca entregar información para resolver los cuatro puntos señalados, dando cuenta de lo que debe hacerse para disminuir los riesgos, fomentar el reconocimiento del trabajo propio, facilitar el mejoramiento de la calidad de los datos y entregar información sobre dónde y cómo compartir los datos. Para ello, este documento ofrece una propuesta de pasos a seguir para mejorar la calidad de los materiales de investigación producidos antes de publicarla en la web. Esta propuesta busca conciliar los estándares considerados óptimos en materia de almacenamiento y preservación de datos con la realidad de las capacidades y herramientas de los investigadores chilenos en ciencias sociales. Dicho de otro modo, proponemos una lista de tareas a realizar para cumplir con los mínimos necesarios para mejorar la calidad de los datos a publicar. Referencias "],["consejos-para-la-apertura-de-datos-de-investigación-social.html", "3.2 Consejos para la Apertura de Datos de Investigación Social", " 3.2 Consejos para la Apertura de Datos de Investigación Social A continuación, se presenta una sencilla pauta sobre cómo y dónde publicar abiertamente información cualitativa o cuantitativa producida por investigaciones sociales, cumpliendo con estándares internacionales de almacenamiento. Esta pauta ayuda a cumplir con objetivos señalados por el Consejo Internacional para la Ciencia (ICSU, 2014), los cuales promueven el acceso oportuno a los registros científicos sin barreras, mejorando su calidad y de modo que sea perdurable en el tiempo. Igualmente, proponemos una guía de almacenamiento que permite cumplir con los principios FAIR (Findable, Accessible, Interoperable, Reusable) promovidos por organizaciones científicas del Estado Chileno, americanas y europeas (ANID, 2020a; EC, 2016; Ramírez & Samoilovich, 2019). Los estándares FAIR tienen el objetivo de hacer los datos fáciles de encontrar en la web y que estén en formatos que cualquier investigador pueda utilizar (FAIR, 2020). Esta pauta para la publicación de datos fue creada en base a otros materiales de apoyo con objetivos similares, como la guía de preparación de datos creada por el Consorcio interuniversitario para la investigación política y social (ICPSR), el manual de Autoevaluación para proveedores de repositorios abiertos (RISE) del Digital Curation Center (DDC) (DDC, 2017), los planes europeos de manejo de datos (DMP) y los consejos de distintos investigadores tanto para datos cuantitativos como cualitativos (CCSDS, 2012; Kapiszewski & Karcher, 2019). Para publicar los datos de investigación proponemos los siguientes tres momentos: 3.2.1 Preparar 3.2.1.1 Datos cualitativos: Considerando que al estar presente en la entrevista se cuenta con una mayor información que solo leyendo su transcripción, cualquier anotación que dé cuenta del ambiente anímico de la entrevista o del gesto que acompaña alguna frase es bienvenida. También es importante subir la pauta de la entrevista si es que existe. Asimismo, aquellos investigadores que hacen un análisis mediante codificación tienen registro del proceso por el cual llegaron a los códigos utilizados para la categorización de la información. Además, esto puede ser complementado con la descripción de las discusiones que surgieron entre el equipo de investigación para establecer tales códigos y el esquema de análisis (Kapiszewski & Karcher, 2019). Igualmente necesario es cambiar en el texto y/o audio lo que sea necesario para que los sujetos de investigación no puedan ser identificados. También es conveniente compartir el cuaderno de campo de la investigación. Esta información bien almacenada no solo ayudará a las ciencias sociales por su apoyo con información a otros investigadores, sino que conjuntamente es un gran aporte a la formación de los estudiantes sobre cómo investigar cualitativamente, pues estos materiales permiten una aproximación más concreta al proceso de investigación cualitativo (Bishop & Kuula-Luumi, 2017). Confidencialidad en datos cualitativos Respecto a la confidencialidad de los datos, ICPSR recomienda que: antes de enviar datos cualitativos a un archivo, los depositantes de datos deben tener cuidado de eliminar la información que permita identificar a cualquiera de sus sujetos de investigación. Este proceso se puede hacer menos arduo creando un esquema para anonimizar antes de la recopilación de datos y anonimizando los datos a medida que se crean los archivos cualitativos para el análisis. Algunas de las modificaciones que se pueden hacer a los datos cualitativos para asegurar confidencialidad del entrevistado, según Marz y Dunn (2000), son: (1) Reemplazar nombres reales con texto generalizado; (2) Reempalzar fechas; (3) Eliminar elementos únicos y/o publicitados. Dado que los investigadores están más familiarizados con sus datos, se les pide que utilicen su juicio sobre si cierta información cualitativa en combinación con el resto del texto o información cuantitativa relacionada podría permitir la identificación de un individuo. Los depositantes de datos deben documentar cualquier modificación para enmascarar información confidencial en los datos cualitativos. Esto garantizará que el personal del archivo no realice cambios innecesarios en las modificaciones del investigador cuando realice su revisión de confidencialidad. Por tanto, la información también se pondrá a disposición de los usuarios secundarios de los datos para ayudarles a utilizarlos. 3.2.1.2 Datos cuantitativos: Bases de datos Para resguardar la calidad de nuestros datos debemos asegurar una correcta codificación de las respuestas y nombramiento de las variables, ambas bases fundamentales de los datos (filas y columnas). Para esto, ICPSR propone, entre otros, los siguientes puntos: Errores de codificación Verifique cuidadosamente la coherencia entre las respuestas del cuestionario y los valores en la base de datos para el primer 5 a 10 por ciento de los registros de datos creados y luego elija registros aleatorios para controles de calidad. Posteriormente, puede realizar análisis descriptivos de distribución para evaluar si existen valores atípicos atribuibles a errores de codificación (por ejemplo 66 en la variable hijos en vez de 6). El uso de computadores y programas de encuesta y codificación puede ayudar a disminuir estos errores. Algunos de los serivicios recomendados son Qualtrics o SurveyMonkey, entre otros. Recodificación automática Al recodificar la fuente original de datos (sin procesar), es recomendable dejar que la computadora realice codificaciones y rectificaciones complejas. Por ejemplo, para crear una serie de variables que describen la estructura familiar, escriba un código de computadora para realizar la tarea. Los códigos de computadora no solo son precisos si las instrucciones son precisas, sino que también se puede cambiar fácilmente para corregir un error lógico o de programación. Incluya en la documentación los códigos utilizados para la recodificación. Consistencia Evalúe la coherencia entre las variables, identificando a quienes poseen combinaciones incoherentes. Por ejemplo, si alguien señala que su hijo no asiste a la escuela y luego responde preguntas sobre la escuela. Esto también es posible de realizar a través de filtros en un cuestionario bien diseñado. Identificadores individuales y grupales Proporcione variables identificadoras suficientes. Es fundamental que cada sujeto posea un identificador único. Además, si la encuesta es longitudinal, se puede proporcionar junto al identificador de encuestado, un identificador por cada ocasión que contesta la encuesta. Otros identificadores dependen del tema del estudio, por ejemplo, si se trabaja con escuelas, verifique que cada escuela tiene un identificador id-escuela. Si trabaja con encuestados de modo tal que dos o más son de la misma familia y cada encuestado corresponde a un núcleo familiar, indique un único identificador para cada familia. Nombres de Variables El nombre de la variable será con lo que más se trabajará con los datos, por ende, deben ser claros y utilizables por distintitos softwares. Existen distintos estándares para elegir los nombres de las variables. El primero consiste en asignar un numero único anteponiendo una V de modo tal que, siendo n el número de variables, las variables se nombran como Vn según su posición (p ej. V0001, v0002,Vn). Se antepone la V por que los softwares en general no permiten nombres de variables con solo caracteres numéricos. El segundo modo utiliza letras y números para agrupar las variables según escalas o temas (por ejemplo Q1,Q2a,Q2b), si bien es un sistema que entrega más información, no informa sobre el contenido. El tercero consiste en utilizar abreviaturas mnemotécnicas, es decir, nombres cortos de variables que representan el significado sustantivo de las variables facilitando su memorización y comprensión. Por ejemplo educpadr como Educación del Padre. Este tipo de nombres podrían ayudar a disminuir los errores en los análisis producidos por agregar una variable incorrecta en el código. El problema es que con la limitación de caracteres de los softwares es difícil generar abreviaturas arbitrarias que sean ampliamente reconocibles por un público diverso. El cuarto consiste en abreviaciones compartidas y registradas. Un sistema de raíces y sufijos. Por ejemplo, todas las variables que tienen que ver con la educación pueden tener la raíz ED, y podría expresarse Educación del Padre como FAED, siendo esta nomenclatura previamente documentada. Esto implica una planificación previa y capacidad de organización para compartir las abreviaturas, así como herramientas para facilitar el encontrar las abreviaturas correctas en la biblioteca o documento de sufijos y prefijos. En consideración de estas opciones expuestas por ICPSR, se recomienda utilizar la tercera, puesto que cumple con la cualidad de la primera y la segunda de identificar las variables de modo único, a la vez que cumple con el criterio de hacer más comprensible y fácil de recordar. Junto a lo señalado por ICPSR, consideramos que al crear un nombre de la variable este debe ser utilizable por los distintos softwares comúnmente utilizados como SPSS, STATA y R. En vista de lo anterior sugerimos: Dos variables no pueden tener el mismo nombre No utilizar más de 12 caracteres en el nombre Empezar con una letra Deben ser solo alfanuméricos (Números y letras, sin símbolos . ; , : $ @) En minúscula No utilizar la letra ñ, remplazarlo por gn (agnos, en vez de años) No utilizar palabras con tildes (tipo á; ü) Remplazando espacios por guion bajo. (edad_rec) Etiquetas de variables Las variables deben ser correctamente etiquetadas. Las etiquetas deben partir con el número del ítem en el cuestionario para poder asociarlo. Luego debe darse información sobre el contenido de la variable o ingresar directamente la pregunta realizada al encuestado. Considerando las limitaciones de caracteres de los softwares, en base a manuales universitarios de SPSS y STATA, se sugiere que las etiquetas de las variables no superen los 120 caracteres. Codificación Variables de identificación. Proporcione campos al comienzo de cada registro para acomodar todas las variables de identificación. Las variables de identificación a menudo incluyen un número de estudio único y un número de encuestado para representar cada caso. Categorías de código. Las categorías de códigos deben ser mutuamente excluyentes, exhaustivas y estar definidas con precisión. Cada respuesta de la entrevista debe encajar en una y solo una categoría. La ambigüedad provocará dificultades de codificación y problemas con la interpretación de los datos. Conservación de la información original. Codifique tantos detalles como sea posible. Registrar datos originales, como edad e ingresos, es más útil que colapsar o poner entre corchetes la información. Con datos originales o detallados, los analistas secundarios pueden determinar otros paréntesis significativos por sí mismos en lugar de limitarse a los elegidos por otros. Preguntas cerradas. Las respuestas a las preguntas de la encuesta que están precodificadas en el cuestionario deben conservar este esquema de codificación en los datos legibles por máquina para evitar errores y confusiones. Preguntas de final abierto. Para los ítems abiertos, los investigadores pueden usar un esquema de codificación predeterminado o revisar las respuestas iniciales de la encuesta para construir un esquema de codificación basado en las categorías principales que surgen. Cualquier esquema de codificación y su derivación deben informarse en la documentación del estudio. Respuestas codificadas por el usuario. Cada vez más, los investigadores envían el texto completo de las respuestas a las preguntas abiertas a los archivos para que los usuarios puedan codificar estas respuestas ellos mismos. Debido a que dichas respuestas pueden contener información confidencial, deben ser revisadas por riesgo de divulgación y, si es necesario, tratadas por archivos antes de su publicación. Comprobar codificación. Es una buena idea verificar el código de algunos casos durante el proceso de codificación, es decir, repetir el proceso con un codificador independiente. Por ejemplo, si se asigna más de un código a la respuesta de una entrevista, esto resalta problemas o ambigüedades en el esquema de codificación. Esta codificación de verificación proporciona un medio importante de control de calidad en el proceso de codificación. Serie de respuestas. Si una serie de respuestas requiere más de un campo, organizar las respuestas en clasificaciones importantes significativas es útil. Respuestas dentro de cada especialidad o categoría se les asigna el mismo primer dígito. Los dígitos secundarios pueden distinguir respuestas específicas dentro de las categorías principales. Tal esquema de codificación permite el análisis de los datos utilizando agrupaciones amplias o categorías más detalladas. Identificar Casos perdidos ICPSR no establece un modo determinado de identificar los casos perdidos, aunque señala las ventajas y desventajas de distintos tipos de codificación. Igualmente sugiere distintos tipos de casos perdidos que deben ser identificados. Cabe destacar que, como regla general para la preservación, los casos perdidos se deben codificar del modo más similar a las categorías de las variables, de modo tal que una variable numérica de un digito se indica con (8,9) y una variable categórica con alternativas de texto con (No sabe, No responde) Rechazo / Sin respuesta. El sujeto se negó explícitamente a responder una pregunta o no la respondió cuando debería haberlo hecho. No lo sé. El sujeto no pudo responder una pregunta, ya sea porque no tenía una opinión o porque la información requerida no estaba disponible (por ejemplo, un encuestado no pudo proporcionar los ingresos familiares en dólares del año anterior). Error de proceso. Por alguna razón, no hay respuesta a la pregunta, aunque el sujeto proporcionó una. Esto puede resultar de un error del entrevistador, codificación incorrecta, falla de la máquina u otros problemas. No aplica. Al sujeto nunca se le hizo una pregunta por alguna razón. A veces, esto se debe a patrones de omisión después de preguntas de filtro, por ejemplo, a los sujetos que no están trabajando no se les pregunta sobre las características del trabajo. Otros ejemplos de inaplicabilidad son los conjuntos de elementos solicitados solo de submuestras aleatorias y los solicitados a un miembro de un hogar, pero no a otro. Sin coincidencia. Esta situación surge cuando los datos se obtienen de diferentes fuentes (por ejemplo, un cuestionario de encuesta y una base de datos administrativa) y no se puede localizar la información de una fuente. Datos no disponibles. La pregunta debería haberse formulado al encuestado, pero por otro motivo distinto de los enumerados anteriormente, no se dio ni registró ninguna respuesta. Considerando las ventajas y desventajas de las distintas formas de codificación se sugiere utilizar valores perdidos con valores altos en negativo de modo tal que sean estándar para todas las variables y no sean confundible con los valores posibles de dichas variables. Se propone utilizar los siguientes valores perdidos, usando numéricos o caracteres según corresponda. Código de texto Código numérico No responde -999 No sabe -998 Error de Proceso -997 No aplica -996 Sin coincidencia -995 No disponible -994 Para obtener información adicional sobre datos georreferenciados e imputaciones revise directamente la guía ofrecida por ICPSR disponible en este enlace 3.2.2 Documentar Existen distintos estándares sobre qué información incorporar junto con los datos, destacando la importancia de que estos materiales sean legibles por humanos y por inteligencia artificial (FAIR, 2020). A continuación, se propone un conjunto de documentos comunes que deben estar incluidos, junto con una guía de como escribirlos en formato abiertos para cumplir con las recomendaciones del libro Managing and sharing research data: a guide to good practice (Corti, 2019). Readme El readme es un documento que debe responder las siguientes preguntas sobre la producción de la información (Tierney & Ram, 2020). Quién produjo la información Cuál es el contenido de los datos Cuándo fue producida la información Dónde fue recolectada Por qué se recopiló Cómo se recopiló Para crear este documento se suele utilizar el formato y lenguaje Markdown de extensión .md. Este formato posee la ventaja de no ser un formato propietario que permite incluir de modo sencillo distintos elementos útiles como enlaces, imágenes y tablas. Le recomendamos realizar la escritura en este formato. Para ello se puede escribir el documento en RStudio señalando como extensión .md o para quienes no manejen el software, pueden crear el documento en la página Dillinger. Licencia La licencia se puede crear fácilmente al publicar los datos en el Open Science Framework. En la siguiente sección se señala cómo hacerlo. Metadatos La creación de los metadatos requiere previamente que se cree el identificador y la página web en OSF que almacenara los datos. Por ello la creación de los metadatos será posterior a la publicación. Cabe desacatar que el modo de crear metadatos difiere según si el tipo de material es una transcripción de entrevista en PDF o una base de datos en formato sav, stat o rda. Documentos especiales según tipo de metodología Para publicar datos cuantitativos se recomienda recopilar y producir los siguientes materiales con el objetivo de que los usuarios de la base de datos cuenten con información suficiente para utilizarla correctamente. Los siguientes documentos deben ser subidos en PDF y Block de notas.txt con codificación utf8. Cuestionario Consentimiento informado Libro de códigos Ficha técnica Manual de usuario Descriptivos (Optativo) Publicaciones asociadas a los datos (Optativo) Descripción e información detallada para metadatos. Para publicar datos cualitativos se sugiere documentar la siguiente información. Transcripciones registros audiovisuales (de ser necesario) Investigar métodos y prácticas que estén completamente documentados Copia en blanco del formulario de consentimiento informado con el número de aprobación del IRB Detalles sobre el escenario de las entrevistas Detalles sobre la selección de los sujetos de la entrevista Instrucciones dadas a los entrevistadores Instrumentos de recopilación de datos como cuestionarios de entrevistas Medidas tomadas para eliminar identificadores directos en los datos (por ejemplo, nombre, dirección, etc.) Cualquier problema que surgió durante el proceso de selección y/o entrevista y cómo se manejaron Lista de entrevistas 3.2.3 Publicar OSF y plataformas para publicar datos La plataforma web Open Science Framework (OSF) ofrece gratuitamente servicios de infraestructura digital que permite un espacio de registro para las distintas etapas de un proyecto de investigación. Actualmente existen otras plataformas con objetivos similares como Zenodo, Dataverse, GitHub, Mendeley, Figshare, Dryad o ICPSR, y si bien todas son buenas herramientas, se remienda utilizar OSF por diversos motivos señalados por Kryvokhyzha (2019) y un documento informativo de la Librería de Universidades de la Universidad de OKLAHOMA (2020). En primer lugar, a diferencia de Dryad, OSF es una plataforma gratuita, con mejor estructura de repositorios y con posibilidades de corregir errores. En segundo lugar, Figshare tiene la capacidad de estructurar los repositorios en distintos componentes, pero no está optimizado para descargar muchos archivos a la vez y, además es una empresa con fines de lucro. Por su parte OSF, permite estructurar de diversos modos los repositorios, esta optimizado para descargas y es una organización sin fines de lucro que es financiada por el Centro para la Ciencia Abierta (cos) con recursos para 50 años más. En tercer lugar, a diferencia de Zenodo y GitHub, OSF si cuenta con estadísticas de descarga que nos permiten evaluar la visibilidad de los datos. En último lugar, GitHub si bien es una alternativa que ha sido utilizada para este fin, en realidad más que una plataforma para subir datos es una plataforma para crear códigos de forma colaborativa, usualmente de aplicaciones, además no nos permite crear de modo automático un DOI, lo cual es fundamental para cumplir con los principios FAIR. No obstante, si el equipo investigador lo considera conveniente podría subir sus datos a múltiples plataformas. En esta línea, además de OSF, recomendamos almacenar los datos paralelamente en OpenICPSR puesto que esto permitirá conectar nuestros datos con el buscador de ICPSR, el cual tiene amplia visibilidad dentro del campo de las ciencias sociales a nivel internacional. En esta página, un usuario puede crear un repositorio denominado proyecto, que puede contener, al mismo tiempo, componentes que pueden ser investigaciones o datos específicos dentro del proyecto. Se pueden crear más componentes de estos tipos de los componentes del proyecto. Esta estructura permite almacenar conjuntamente algunos trabajos relacionados. La plataforma promueve que se registren productos de la investigación de las distintas etapas del proceso. En primer lugar, posee un espacio para los pre-registros que son un documento en el cual se expone brevemente el diseño de la investigación, las hipótesis y la metodología, lo cual aumenta la rigurosidad de las investigaciones. Ambas evaluaciones de OSF señalan que un problema es el límite de almacenamiento de solo 5gb por archivo. Este límite ha sido modificado el 5 de noviembre del 2020, agregando un límite de 5gb a los proyectos que estén privados y 50gb a los públicos. No obstante, el problema del espacio se puede resolver conectando OSF con otros servicios de almacenamiento con mayor capacidad. Crear Metadatos para datos cualitativos o cuantitativos. Paso 1 Para crear los metadatos de forma muy sencilla se puede utilizar un archivo csv, que se puede editar con el programa Excel o cualquier Hoja de cálculo. A continuación, entregamos un link para descargar un csv con los campos para rellenar los metadatos, cumpliendo con los campos utilizados por Dataverse Harvard y los Social Science and Humanities Metadata de ICPSR. Para crear los metadatos usted solo debe escribir en las casillas de abajo de las categorías, la respuesta para cada uno de los campos, señalando el identificador, el Título de los datos, los autores, entre otros. Es necesario que rellene los campos en inglés. Con una traducción simple de Google Traductor o DeepL es suficiente. Para descargar el archivo csv editable en Excel seleccione Descargar Metadata.cvs. Si no le ofrece directamente abrirlo con Excel, puede apretar click derecho sobre el archivo, seleccionar Abrir con, luego Excel, si no aparece seleccionamos Elegir otra aplicación, Más aplicaciones y luego Excel. Cabe destacar que, para el primer campo correspondiente al Identificador, antes del código entregado por OSF debe estar escrito https://doi.org/ como se muestra en el documento descargado. Esto es para cumplir con los estándares FAIR. Paso 2 Después de haber creado el documento csv con nuestra información solo debemos seleccionar al siguiente link e ir al sitio web: csvjson.com. En este sitio tenemos que apretar Select a file y buscar el documento csv creado. Posteriormente, se debe señalar output: Array y Minify, como se señala en la imagen. Con estas opciones apretamos el botón morado >Convert bajo el cuadrado que posee nuestro documento CSV. Cuando esté listo apretamos el botón Download, como se señala en la Figura N° 3.1. El documento se descargará con el nombre csvjson, debe cambiarlo a metadata. Figura 3.1: Creación de documento de metadatos Paso 3 Finalmente debemos agregar los archivos csv y json al repositorio, recuerde cambiar el nombre del documento a metadata. Referencias "],["estándares-y-experiencias-internacionales.html", "3.3 Estándares y experiencias internacionales", " 3.3 Estándares y experiencias internacionales Para poder generar una ciencia social más colaborativa y eficiente, es necesario que la comunidad de las ciencias sociales compartan estándares respecto a la calidad de los datos y del almacenamiento. De este modo los trabajos de investigación y los materiales, de por sí complejos, serán más fáciles de comprender y ser utilizados por terceros. En esta sección de revisarán algunas declaraciones de instituciones relacionadas con la apertura y mantenimiento de los datos, además de documentos que fijan normas comunes para el almacenamiento. Posteriormente, se evaluan distintos repositorios a partir de los criterios de calidad sistematizados, buscando ventajas y desventajas de distintas experiencias en el almacenamiento de bases de datos de investigación social. El resultado final es una propuesta de almacenamiento acorde a los estándares internacionales y un manual que facilite a los usuarios seguir estos estándares. Los estándares internacionales revisados son los siguientes: Acceso abierto ICSU FAIR DMP 3.3.1 Estándares internacionales 3.3.1.1 Acceso abierto ICSU El Consejo Internacional para la Ciencia (ICSU, 2014) defiende los siguientes objetivos para la apertura. El registro científico debe ser: libre de barreras financieras a las que pueda contribuir cualquier investigador; libre de barreras financieras para que cualquier usuario acceda inmediatamente después de la publicación; disponible sin restricción de reutilización para cualquier propósito, sujeto a atribución adecuada; calidad garantizada y publicada de manera oportuna; y archivado y disponible a perpetuidad 3.3.1.2 Principios FAIR: Datos, Metadatos e infraestructura digital. Los principios de almacenamiento FAIR (Findable, Accessible, Interoperable, Reusable), son ampliamente reconocidos a nivel mundial. Estos principios han sido promovidos por organizaciones científicas regionales como El Foro Abierto de Ciencias de América Latina y el Caribe (CILAC) (Ramírez & Samoilovich, 2019) y Europeas (EC, 2016). En Chile, la ANID del Ministerio de Ciencia, Tecnología, Conocimiento e Innovación, ha señalado que la política de acceso a datos que impulsará se guiará por los principios FAIR (para más detalles ver Capítulo V). Los principios FAIR, son sumamente compatibles con las diversas formas de información producida por las ciencias sociales, ya sean documentos de texto, audiovisuales o bases de datos. Este es un buen motivo para fomentar los principios FAIR en todos los tipos de investigaciones en ciencias sociales. El objetivo general de estos principios es que los productos de investigación estén disponibles en la web, de modo tal que puedan ser buscados directamente por investigadores o por inteligencia artificial (FAIR, 2020). A continuación, se explican estos principios y como pueden ayudar a las ciencias sociales. Los principios se refieren a tres tipos de entidades: datos (o cualquier producto de investigación como objeto digital), metadatos (información sobre ese objeto digital) e infraestructura digital (Capacidades y herramientas necesarias en repositorios web). Findable (Encontrables) El primer paso para (re) usar datos es encontrarlos. Los metadatos y los datos deben ser fáciles de encontrar tanto para humanos como para computadoras. Los metadatos legibles por máquina son esenciales para el descubrimiento automático de conjuntos de datos y servicios, por lo que este es un componente esencial para alcanzar el estándar de los principios FAIR. A continuación se enumeran cuatro características claves de los principios FAIR para encontrar los datos. F1. A los datos se les asigna un identificador único y persistente a nivel mundial. F2. Los datos se describen con metadatos enriquecidos (definidos por R1 a continuación) F3. Los metadatos incluyen de forma clara y explícita el identificador de los datos que describen F4. Los datos y metadatos se registran o indexan en un recurso de búsqueda Por un lado, los identificadores únicos eliminan la ambigüedad, facilitando que una investigación, una base de datos o cualquier producto de investigación, no sea confundido con otro producto por tener un nombre o características similares. Los ejemplos más comunes de identificadores son los URL (Localizador Uniforme de Recursos) los cuales asignan un sitio único a cada página web, como los URL www.google.com o www.youtube.com. Otro tipo de identificadores más cercano a las ciencias sociales son los ISBN (Número Internacional Normalizado del Libro) o el DOI (Identificador de Material Digital) que solemos ver asociados a los artículos de investigación. A diferencia del URL el DOI no cambia, aunque el material cambie de ubicación en la web. Así, los identificadores se asocian de forma única a los datos, como es el ejemplo de este DOI https://doi.org/10.5064/F6HTXF0H que corresponde al identificador de un conjunto de materiales y Focus Groups sobre género y participación en el desarrollo comunitario en Senegal. Estos identificadores también ayudarán a que el trabajo sea fácilmente compartido, reconocido y posea un mayor impacto. En la misma línea, facilita su citación puesto que, al ingresar estos identificadores en gestores de bibliografía como Zotero, se genera una referencia bibliográfica automática. Para generar un identificador único se pueden usar páginas especializadas que pueden encontrarse en DoiChile. También, para facilitar el trabajo, muchos repositorios de datos generarán automáticamente identificadores persistentes y únicos a nivel mundial para los conjuntos de datos depositados. Por otro lado, los metadatos son información sobre los datos. Los archivos comunes poseen metadatos automáticos, por ejemplo, Microsoft Word registra el creador y la fecha. Los principios FAIR, señalan la importancia de incluir metadatos generosos y extensos, incluida información descriptiva sobre el contexto, la calidad y condición, o las características de los datos. En ciencias sociales es importante entregar información sobre la muestra y el proceso de recopilación de datos, así como cualquier información útil para que el investigador que recurra a ellos pueda tomar decisiones correctas. Finalmente, junto con los identificadores y los metadatos, para que los datos sean fáciles de encontrar es necesario que estén disponibles en algún recurso de búsqueda. Google es el recurso de búsqueda más conocido. Para los datos de ciencias sociales es importante que estas bases de datos se encuentren disponibles en buscadores de instituciones de investigación o bibliotecas. Accesibles A1. Los datos y metadatos son recuperables por su identificador utilizando un protocolo de comunicaciones estandarizado Esto significa que los identificadores permiten la redirección a una página web específica que contiene los datos, esto se puede ver en el identificador cuando posee un http al comienzo de la URL. De este modo, basta con poner el identificador en la barra del navegador para poder acceder a la página de los datos mediante solo un click. A1.1 El protocolo es abierto, gratuito y de implementación universal Este sub-punto refiere a que la forma en que se puede acceder a la pagina web mediante el identificador es universal, es decir, cualquier persona con un computador e internet puede acceder. Lo contrario a esto sería dejar el documento en un sitio web que sea pagado o que no esté disponible a nivel mundial. A1.2 El protocolo permite un procedimiento de autenticación y autorización, cuando sea necesario Además, el modo por el cual se accede a los datos mediante el identificador puede tener algunas solicitudes o exigencias para el usuario. Así, FAIR no es sinónimo de OpenData, pues se puede tener un dato altamente restringido por distintas razones, pero si se especifican bien las condiciones para su acceso, entonces un dato no abierto puede ser FAIR. A2 . Los metadatos son accesibles, incluso cuando los datos ya no están disponibles Suele ocurrir que los datos en internet desaparecen por que mantenerlos implica un costo. Este punto señala como necesario que, pese a que desaparezcan los datos, los metadatos, que son más fáciles y económicos de almacenar, deben ser persistentes, es decir, deben mantener su existencia en la web. Interoperables Los datos normalmente deben integrarse con otros datos. Además, los datos deben interoperar con distintas aplicaciones o flujos de trabajo para análisis, almacenamiento y procesamiento. Para que esto sea posible, es necesario que los datos se encuentren en formatos que sean legibles y trabajables por distintos softwares. I1. Los datos y metadatos utilizan un lenguaje formal, accesible, compartido y de amplia aplicación para la representación del conocimiento. Para que los datos puedan ser encontrados por las herramientas como barras de búsqueda es necesario que los términos utilizados en los metadatos para describir el estudio sean parte de un vocabulario controlado, los cuales sirven para sistematizar los sinónimos dentro de un campo temático (Collins, 2015). Esto permite que, al buscar un término, por ejemplo relaciones de pareja en un repositorio de materiales de investigación también aparezcan aquellos materiales que son descritos con el término noviazgo. Los vocabularios controlados utilizados por repositorios de investigación suelen ser denominados también tesauros u ontologías. Además es necesario que los metadatos estén estructurados en base a esquemas comunes. Al respecto existen múltiples modos de organizar los metadatos como DDI, Dublin Core, JSON, entre otros. Sin la intención de profundizar en el tema es necesario señalar que no existen amplios consensos en el uso de un estándar de metadatos en ciencias sociales y humanidades (Gómez et al., 2016), por lo cual se considera adecuado que un repositorio permita almacenar los metadatos en distintos formatos. I2. Los datos y metadatos usan vocabularios que siguen los principios FAIR Es importante que los vocabularios controlados utilizados para la descripción de los datos sigan principios FAIR, es decir, posean identificadores y metadatos adecuados para poder localizar el vocabulario controlado al que se hace referencia. Un ejemplo de vocabulario controlado que sistematiza los sinónimos de distintos idiomas para journal article se puede encontrar aquí. Este ejemplo cumple en buena medida con los principios FAIR I3. Los datos y metadatos incluyen referencias calificadas a otros datos y metadatos Los datos y la información referida a ellos deben tener múltiples vínculos web que permitan acceder a información asociada. Por ejemplo, si tenemos una investigación que ha utilizado datos de una encuesta publicada, se debe hacer alusión a dicha encuesta a partir de su identificador. Del mismo modo se puede tener vínculos con instituciones asociadas, o páginas de proyectos de investigación propias o estatales. Reutilizables Los metadatos y los datos deben estar bien descritos para que puedan replicarse y/o combinarse en diferentes entornos. R1. Los datos y metadatos se describen detalladamente con una pluralidad de atributos precisos y relevantes Para que un usuario decida si utilizar los datos o no, debe contar con una gran cantidad de información detallada. Este punto es similar a F2 (Metadatos suficientes), pero destaca la importancia de información particular del campo de uso. Para ello, en ciencias sociales, es importante describir cuándo fue realizada la muestra, a quienes se le aplica, si posee control de variables experimentales, entre otras informaciones relevantes. Se debe señalar la mayor información posible, incluyendo tipo de muestreo, intención de la creación de la base de datos, entre otros. Esta información debe ser plural para fomentar el uso más allá de las ciencias sociales. R1.1. Los datos y metadatos se publican con una licencia de uso de datos clara y accesible Se recomienda en general utilizar licencias Creative Commons, estas licencias permiten a los dueños de los materiales dejar a libre disposición los datos producidos, aunque señalando aquellas condiciones en las cuales se pueden utilizar y aquellas en que no. Esta es una condición más legal que técnica para la reutilización de los datos. R1.2. Los datos y metadatos están asociados con la procedencia detallada Este punto refiere a entregar información sobre los productores y el flujo de trabajo. También en este punto se debe destacar cómo se debe citar la base de datos. Entonces, se deben responder las siguientes preguntas ¿Quién estuvo a cargo del diseño? ¿Quién a cargo del terreno y la aplicación? ¿Quién editó los datos? ¿Cómo desea que este material esté referenciado? R1.3 . Los datos y metadatos cumplen con los estándares comunitarios relevantes para el dominio Los datos y los metadatos deben estar nombrados y ordenados de modo coherente con los estándares de las ciencias sociales. Por ejemplo, las bases de datos deben estar estructuradas de tal modo que los sujetos sean las filas y las variables las columnas. La documentación que se entrega está nombrada con términos comunes, como manual de usuario o cuestionario. Según la investigación de Gómez et al. (2016), el esquema metadatos más utilizados en las ciencias sociales es el de DDC. No obstante, existe una gran divergencia respecto a cuales deben ser los metadatos incluidos. 3.3.1.3 DMP Los planes de manejo de datos (DMP) son una herramienta utilizada por la comisión europea (EC) para mejorar la producción y almacenamiento de datos producidos por investigaciones, consiste en una planificación respecto al ciclo de vida de los datos desde su creación hasta su preservación. En este sentido son una herramienta para la organización y estandarización del manejo de datos. En un documento de apoyo para investigadores la EC (2016), a modo de síntesis, proponen documentar los siguientes puntos respecto al manejo de los datos Resumen de datos Indique el propósito de la recopilación / generación de datos Explicar la relación con los objetivos del proyecto. Especificar los tipos y formatos de datos generados / recopilados Especifique si los datos existentes se están reutilizando (si corresponde) Especificar el origen de los datos Indique el tamaño esperado de los datos (si se conoce) Describa la utilidad de datos: para quién será útil Datos FAIR 2.1. Haciendo que los datos se puedan encontrar, incluidos disposiciones para metadatos Describir la capacidad de descubrimiento de datos (provisión de metadatos) Resuma la identificabilidad de los datos y consulte el mecanismo de identificación estándar. ¿Utiliza identificadores persistentes y únicos como los identificadores de objetos digitales? Esquema de convenciones de nomenclatura utilizadas Describa el enfoque hacia las palabras clave de búsqueda Describir el enfoque para versiones claras Especificar estándares para la creación de metadatos (si los hubiera). Si no hay estándares en su disciplina describe qué tipo de metadatos se crearán y cómo se hará. 2.2 Hacer que los datos sean accesibles abiertamente Especifique ¿qué datos estarán disponibles abiertamente? Si algunos datos se mantienen cerrados, proporcione justificación para hacerlo Especificar cómo estarán disponibles los datos Especifique qué métodos o herramientas de software se necesitan para acceder a los datos. ¿Es necesaria la documentación sobre el software para acceder a los datos incluidos? Es posible que incluir el software relevante sea necesario (por ejemplo, en código fuente abierto) Especificar dónde están los datos y los metadatos asociados, la documentación y el código depositado Especifique cómo se proporcionará el acceso en caso de que haya restricciones 2.3. Hacer que los datos sean interoperables Evalúe la interoperabilidad de sus datos. Especifique qué vocabularios de datos y metadatos, estándares o metodologías que seguirá para facilitar la interoperabilidad. Especifique si utilizará vocabulario estándar para todos los tipos de datos presentes en su conjunto de datos, para permitir la interoperabilidad interdisciplinaria. Si no es así, ¿proporcionará un mapeo para ontologías de uso más común? 2.4. Incrementar la reutilización de datos (mediante aclarar licencias) Especificar cómo se licenciarán los datos para permitir la mayor reutilización posible Especifique cuándo los datos estarán disponibles para su reutilización. Si corresponde, especifique por qué y por qué período se necesita un embargo de datos Especificar si los datos producidos y / o utilizados en el proyecto son utilizables por terceros. En particular después de la finalización del proyecto, si la reutilización de algunos datos es restringido, explica por qué Describir los procesos de aseguramiento de la calidad de los datos. Especifique el período de tiempo durante el cual los datos permanecerán reutilizables Asignación de recursos Estime los costos para hacer que sus datos sean FAIR. Describa cómo piensa cubrir estos costos Identifique claramente las responsabilidades de la gestión de datos en su proyecto Describir los costos y el valor potencial de la preservación a largo plazo. Seguridad de los datos Abordar la recuperación de datos, así como el almacenamiento seguro y la transferencia de datos sensibles. Aspectos éticos Para ser cubierto en el contexto de la revisión de ética, sección de ética de DoA y ética entregables. Incluya referencias y aspectos técnicos relacionados. Otro Consulte otros procedimientos nacionales / financiadores / sectoriales / departamentales para la gestión de datos. 3.3.2 Experiencias internacionales sobre el almacenamiento de datos de investigación En el presente apartado presentamos un conjunto de repositorios digitales de materiales de investigación. Se realizarán comentarios, evaluaciones y destacarán aportes de estos repositorios digitales. Para ordenar su presentación primero revisaremos aquellas experiencias internacionales que han destacado como las mejores en el ámbito. Luego veremos algunas experiencias a nivel latinoamericano y chileno, para evaluar sus fortalezas y debilidades en base a los criterios y estándares presentados en la sección anterior. 3.3.3 Exitosos repositorios internacionales ICPSR Este es un consorcio internacional de más de 750 instituciones académicas y organizaciones de investigación, el Consorcio Interuniversitario de Investigación Política y Social (ICPSR) proporciona liderazgo y capacitación en acceso a datos, curación y métodos de análisis para la comunidad de investigación en ciencias sociales. ICPSR mantiene un archivo de datos de más de 250.000 archivos de investigación en las ciencias sociales y del comportamiento. Alberga 21 colecciones especializadas de datos en educación, envejecimiento, justicia penal, abuso de sustancias, terrorismo y otros campos. Qualitative Data repository El repositorio de datos cualitativos (QDR) es un archivo dedicado a almacenar y compartir datos digitales (y la documentación adjunta), generados o recopilados a través de la investigación cualitativa y de múltiples métodos en las ciencias sociales. QDR proporciona servicios de consultoría en gestión de datos y selecciona activamente todos los proyectos de datos, manteniendo el valor y la utilidad de los datos a lo largo del tiempo y asegurando su disponibilidad y posibilidad de encontrarlos para su reutilización. Este repositorio cuenta con un identificador indicado en metadatos contundentes que además están indexados en un buscador web. También poseen un protocolo de comunicación estandarizado, además de poseer medios para la autorización del uso del material. Además, la página facilita el uso permitiendo previsualizaciones de los documentos que se encuentra abiertos, recurso que se encuentra igualmente en los otros buenos ejemplos de repositorios de datos. Otra temática importante que es trabajada por este repositorio es su apoyo en el hacer anónimos los datos, lo cual da cuenta de un compromiso por resguardar la seguridad de los investigadores y apoyarles como sugiere necesario el documento de Autoevaluación RISE. UK Data Service El Servicio de Datos del Reino Unido está financiado por el Consejo de Investigación Económica y Social (ESRC) para satisfacer las necesidades de datos de investigadores, estudiantes y profesores de todos los sectores, incluidos el mundo académico, el gobierno central y local, organizaciones benéficas y fundaciones, centros de investigación independientes, grupos de expertos y consultores empresariales y del sector comercial. La recopilación del Servicio de datos del Reino Unido incluye las principales encuestas patrocinadas por el gobierno del Reino Unido, encuestas transnacionales, estudios longitudinales, datos del censo del Reino Unido, agregados internacionales, datos comerciales y datos cualitativos. Dataverse Harvard El Proyecto Dataverse es una aplicación web de código abierto para compartir, preservar, citar, explorar y analizar datos de investigación. Facilita la puesta a disposición de los datos y le permite replicar el trabajo de otros con mayor facilidad. Los investigadores, las revistas, los autores de datos, los editores, los distribuidores de datos y las instituciones afiliadas reciben crédito académico y visibilidad en la web. De este modo, Dataverse no solo apoya el proceso de almacenamiento de materiales e información para la investigación sino que también posibilita el almacenamiento de códigos para la reproducibilidad, comprendida como la posibilidad de volver a ejecutar un análisis con los mismos datos y mismos procedimientos usualmente especificados en códigos. Un repositorio de Dataverse es la instalación del software, que luego aloja varios archivos virtuales llamados colecciones de Dataverse. Cada colección de Dataverse contiene conjuntos de datos, y cada conjunto de datos contiene metadatos descriptivos y archivos de datos (incluida la documentación y el código que acompañan a los datos). Como método de organización, las colecciones de Dataverse también pueden contener otras colecciones de Dataverse. 3.3.4 Experiencia regional LAPOP. Según su propia página web (LAPOP, 2020) LAPOP es la principal institución académica que realiza encuestas de opinión pública en las Américas, con más de 30 años de experiencia. Como centro de excelencia en investigación por encuestas, LAPOP usa enfoques y métodos innovadores con los estándares más altos para llevar a cabo encuestas nacionales; conducir estudios de evaluación de impacto, y producir reportes acerca de las actitudes, evaluaciones y experiencias de los individuos. El Barómetro de las Américas es la única encuesta comparativa y científicamente rigurosa que cubre 34 naciones incluyendo Norte, Centro y Sur América, así como también, un significativo número de países en el Caribe. Cada año publica docenas de estudios académicos de alta calidad y artículos de relevancia para la elaboración de políticas públicas. Cabe destacar que si bien esta es una experiencia de almacenamiento de datos para investigaciones, posee algunas diferencias. Por ejemplo es una plataforma solo para almacenar encuestas del proyecto LAPOP y no así de otras investigaciones afines. Por ello los servicios de clasificación de datos y priorización no son tan importantes por que no se posee un volumen tan grande de datos. Plataforma integrada de datos del MINCYT Argentina A partir de la información recopilada por el foro CILAC, se puede decir que en algunos países del continente los gobiernos están realizando esfuerzos por fomentar la apertura de los datos. Por ejemplo, en argentina, a partir de una nueva ley de Acceso abierto, se propuso una plataforma integrada para el acceso a datos. Esta plataforma entrega información sobre distintas disciplinas. Entre estos trabajos, el más cercano a las ciencias sociales son los Datos de personal de ciencia y tecnologia, que permite hacer análisis sociodemográfico de los académicos. Esta plataforma posee una previsualización y una tabla con las variables que facilita el conocimiento de los datos, los cuales están disponibles para descargar en distintos formatos. Esta previsualización se puede realizar a modo de tablas, gráficos y mapas. No obstante, la visualización mediante gráficos es relativamente ineficiente, puesto a que es difícil lograr gráficos que sean comprensibles. 3.3.5 Experiencias nacionales. Hace bastantes años que a nivel nacional se realizan esfuerzos por fomentar el registro abierto de datos. La antigua Comisión Nacional de Investigación Científica y Tecnológica (CONICYT), en la página Datos Cientificos (Programa de Información Científica, 2019), realiza una propuesta de política para datos abiertos. El primer punto de dicha propuesta exige a todos los beneficiarios de CONICYT la publicación de informes con datos producidos de la investigación. En favor de dicha política se publicaron el año 2010 y 2014 dos documentos con sugerencias para la apertura de los datos. El primero de estos informes es una revisión del estado del arte de la accesibilidad de datos (Muñoz, 2010). se destacan las siguientes recomendaciones. A partir de la experiencia de las Políticas de Intercambio de Datos Científicos en China se evidenció la dificultad de desarrollar una política nacional de gestión cuando en la cultura científica local persistió la idea de propiedad personal. Por ello, es fundamental realizar políticas de concientización respecto a los datos abiertos. En base a la recopilación de datos epidemiológicos del National Center for Health Statistics de Estados Unidos, se releva la importancia de preparar alternativas para datos sensibles. Considerando la naturaleza de los datos, es necesario en algunas ocasiones mantener los datos en la mayor confidencialidad posible. En esta línea, la organización mencionada junto con dejar los datos de acceso abierto, mantuvieron algunos datos en privado a los cuales solo se puede acceder en base a una solicitud con una propuesta de investigación y mediante una plataforma que posibilita cálculos sin permitir el acceso directo a los datos ni su transferencia. Es fundamental identificar aquellas investigaciones que requieren un resguardo mayor de datos y generar protocolos para su uso. El segundo documento, escrito el 2014, se denomina Datos Científicos Abiertos La Ciencia la hacemos entre todos, Programa de Información Científica (Hernández, 2014). Este informe posee la intención de ser un manual respecto a cómo abrir los procesos investigativos. Se destacan las siguientes recomendaciones: Utilizar una licencia de Creative Commons: permiten autorizar el uso de terceros sin perder los derechos de atribución. Utilizar repositorios interoperables: Para facilitar la recopilación automática de datos y el uso de estos desde distintos Software, se recomienda poseer buenos metadatos siguiendo los parámetros de interoperabilidad de Dublin Core. Los metadatos son los datos sobre los datos es decir aquella información que nos permite saber a qué corresponde la base de datos, quienes y cuando la crearon entre otras informaciones relevantes. Esta página propone una decena de metadatos indispensables para la interoperabilidad (Ej. creador, colaborador, editor, título, fecha, idioma, formato, tema, descripción, identificador, relación, fuente, tipo, cobertura y derechos, entre otros) (Dublin-Core, 2020). Si bien esta publicación no da cuenta de que metadatos debe ser específicamente utilizado a partir de la información anterior producida por lisa podemos decir que es beneficioso utilizar el conjunto de metadatos para social-science que es un conjunto bastante parsimonioso de información. Centro de estudios públicos (CEP) El Centro de Estudios públicos produce constantemente encuestas de opinión publica, con bastante contenido electoral. Esta es una de las bases de datos más conocidas en el campo de la sociología de Chile. Y en el último tiempo mejoro su plataforma de almacenamiento. Ahora la página posee un buscador de datos, un espacio para descargar una base consolidada longitudinal con los distintos estudios y un recurso para realizar gráficos en línea, lo cual fomenta la utilización por el público no especializado. Además, como siempre, la página cuenta con material suficiente para utilizar las bases de datos como las fichas técnicas, documentos de resultados y las bases de datos en distintos formatos (SPSS, STATA y R). Respecto a las bases de datos, es de las pocas analizadas que codificó las etiquetas de la base de datos en UTF-8. Como aspectos negativos se puede señalar que no se cuenta con recurso para descargar metadatos ni posee un identificador único Referencias "],["análisis-reproducibles.html", "Capítulo 4 Análisis reproducibles", " Capítulo 4 Análisis reproducibles En la discusión sobre los problemas de transparencia en torno a los procedimientos de investigación, se vuelve necesario precisar de qué manera es entendido el concepto de reproducibilidad en la ciencia. En esta línea, la laxitud con que se ha empleado el término ha llevado a definiciones poco claras, lo cual ha generado una tendencia a confundir lo que refiere a la transparencia de un proceso único que ya ha sido realizado, con un proceso nuevo y que puede realizarse de manera reiterativa, obteniendo los mismos resultados. Por este motivo, esta sección propone dar luces respecto a cómo entendemos el concepto de reproducibilidad, en contraste con el de replicabilidad en la ciencias sociales. La discusión en torno a cómo se entiende la reproducibilidad, habitualmente lleva al contraste respecto al concepto de replicabilidad. Al respecto Earth & Behavioral (2019) mencionan que, por un lado, con el incremento de las herramientas computacionales a principios de los años 90, el término de investigación reproducible era concebido como las investigaciones que proveían un compendio detallado de la documentación, código y datos que permitieran obtener los mismos resultados publicados por los autores, enfatizando que los análisis fueran transparentes y claros con el objetivo de ser verificados por sus pares. Por otro lado, los autores sostienen que, en otras disciplinas, el concepto de reproducibilidad era asociado a investigaciones independientes entre sí en términos de los datos empleados, los materiales, métodos e implementación de un estudio, lo cual estaría orientado a robustecer o cuestionar la evidencia previa (Earth & Behavioral, 2019, pp 33-34). Actualmente, a esta última práctica se la entiende como replicabilidad de una investigación y no debe ser confundida con el concepto de reproducibilidad (Barba, 2018). Barba (2018) sugiere que la confusión entre reproducibilidad y replicabilidad ha contribuido a obstaculizar las prácticas en ambas dimensiones. En una revisión reciente realizada por la autora se han identificado al menos tres escenarios o versiones de cómo se entienden ambos conceptos en una amplia gama de disciplinas que van desde las ciencias sociales hasta estudios clínicos en las ciencias médicas. El primer escenario (A), y a la vez el más común, es donde el uso de ambos conceptos es indistinto, contribuyendo a la ya mencionada confusión. El segundo escenario (B1) es cuando la reproducibilidad es entendida como la situación en que los datos originales y el código de análisis son empleados para regenerar los resultados originales, mientras que la replicabilidad es entendida cuando investigadores o equipos independientes utilizan datos nuevos para obtener los mismos resultados que la investigación previa. Finalmente, un tercer escenario (B2) es cuando la reproducibilidad es entendida cuando investigadores o equipos independientes obtienen los mismos resultados empleando sus propios datos y métodos, mientras que la replicabilidad es entendida cuando investigadores o equipos independientes llegan a los mismos resultados empleando los artefactos digitales1 originales del autor con menores o mayores modificaciones, los cuales han sido puestos previamente a disposición de sus pares. La Figura N° 4.1 ilustra cómo podemos entender los escenarios B1 y B2 en relación a la distinción entre reproducibilidad y replicabilidad. El color rojo, tanto en los datos como en los métodos, indica que los componentes empleados son idénticos a los del estudio original. Por otro lado, el color azul indica que tanto los datos como los métodos son distintos a los del estudio original. Finalmente, el color morado en los métodos se entiende como un punto intermedio y refiere a cuando se han empleado métodos que siguen las indicaciones del estudio original, pero que han incorporado modificaciones, nuevos métodos u otras innovaciones metodológicas (p. ej. métodos nuevos, pruebas de robustez u otros). Figura 4.1: Escenarios B1 y B2 en reproducibilidad y replicabilidad. En las ciencias sociales, el debate en torno a la investigación reproducible y la replicabilidad no ha estado ausente. Como fue reseñado en el capítulo de transparencia, existen casos icónicos en torno a prácticas cuestionables de investigación que han afectado la confianza en la investigación científica, lo cual ha contribuido a incrementar los esfuerzos por una ciencia social abierta y reproducible (Breznau, 2021; Nosek et al., 2015). En los tres escenarios descritos por Barba (2018), las ciencias sociales han experimentado de manera diversa el ajuste hacia una cultura de mayor apertura y precisión en torno a los problemas de la crisis de reproducibilidad, principalmente a través del estudio sistemático de dicha problemática, dentro de lo cual la psicología ha sido pionera en proveer evidencia para este debate (e.g. Open Science Collaboration, 2015; Gilbert et al., 2016). Al respecto Bishop (2019) sostiene que una de las principales amenazas para el progreso de la ciencia en general ha sido la falta de reproducibilidad de los resultados (irreproducibility), lo cual ha afectado principalmente la robustez y credibilidad de la evidencia reportada por las investigaciones, problema que también ha sido identificado en las ciencias sociales, principalmente por la falta de precisión en los procedimientos y las barreras de acceso a materiales clave del proceso de análisis (Freese & Peterson, 2017). Entonces, retomando la distinción clave entre lo que entendemos por reproducibilidad y replicabilidad, en su revisión, Barba (2018) sugiere que una manera de entender y distinguir ambos conceptos de manera minimalista puede descansar en el carácter de los datos y los métodos. Al respecto Nosek et al. (2015) sostiene que en lo que refiere a estas dos dimensiones, los niveles en que una publicación los incorpora es gradual y puede entenderse como un continuo o espectro (Peng, 2011) y, por tanto, el nivel en que se cumplen bajo determinados criterios nos permite definir el carácter de una investigación en términos de su reproducibilidad. Por ejemplo, la Figura N° 4.2 nos muestra cómo podemos caracterizar una investigación publicada en torno al acceso y vinculación entre código y datos. Por un lado, se observa que en el polo donde únicamente disponemos de la publicación, se entiende como la ausencia de reproducibilidad. Por otro lado, en la medida que incrementa el acceso a los materiales, y se explicita el enlace entre ellos, se puede caracterizar a una publicación como reproducible.2 Figura 4.2: Espectro de Reproducibilidad. Traducción propia en base a Peng (2011) Como sugieren Nosek et al. (2015), el problema de la ausencia o falta de reproducibilidad debe ser abordado a través de un cambio en las prácticas de investigación, para lo cual se requiere de una disposición por parte de la comunidad científica, es decir, que se le atribuya un sentido positivo a estas prácticas. Sin embargo, Peng (2011) sostiene que una de las principales barreras para promover estas prácticas ha sido la falta de mecanismos que faciliten la distribución de la investigación reproducible, como también la poca claridad respecto de los estándares asociados a ello. Siguiendo esta autocrítica de algunos sectores dentro de la comunidad científica, dentro de los últimos años han surgido iniciativas como, por ejemplo, el Open Science Framework, al alero del Center for Open Science, desde donde se busca contribuir con herramientas para el entrenamiento y educación de la comunidad científica en general, como también proveer de una infraestructura tecnológica que facilite la transición cultural hacia una ciencia abierta, transparente y reproducible (Nosek et al., 2015). Por este motivo, proponemos revisar tres iniciativas internacionales que han puesto sus esfuerzos en la promoción de estos principios, con particular atención en la reproducibilidad de la investigación científica, y en particular de las ciencias sociales empíricas cuantitativas. Dentro de estas iniciativas encontraremos esfuerzos orientados a la educación y entrenamiento, herramientas tecnológicas y fortalecimiento de redes de colaboración. Referencias "],["qué-se-ha-hecho.html", "4.1 ¿Qué se ha hecho?", " 4.1 ¿Qué se ha hecho? 4.1.1 Berkeley Initiative for Transparency in the Social Sciences (BITSS) Objetivos y visión Esta iniciativa busca promover la credibilidad en la evidencia generada por las ciencias sociales a través de mecanismos de avanzada para la transparencia, reproducibilidad y prácticas éticas en la investigación social empírica. Desde esta premisa, se ha desarrollado y puesto a disposición de la comunidad científica una serie de herramientas en colaboración con estudiantes, investigadores, entidades académicas y fundaciones de la sociedad civil al alero de tres principios orientadores: Generar evidencia en torno a problemas y soluciones a través de los investigadores y la comunidad de BITSS, quienes han liderado investigaciones meta-analíticas, con atención en las ciencias sociales. Incrementar el acceso a la enseñanza de la ciencia abierta, a través del fortalecimiento de prácticas para reconocer y conducir investigación social transparente y reproducible a través del entrenamiento de investigadores jóvenes, acceso a materiales, apoyo financiero y la consolidación de una red de colaboración. Fortalecer el ecosistema científico, estableciendo condiciones para investigadores e instituciones para contribuir a un cambio efectivo y equitativo en las normas que permitan una consolidación de una política interna orientada a la ciencia abierta y al desarrollo de protocolos en esta dirección. Desde sus inicios, se han desarrollado una serie de componentes que buscan promover y dar soluciones a los problemas de transparencia y reproducibilidad en las ciencias sociales. En particular, nos interesa destacar algunas de las contribuciones en este ámbito que serán presentadas a continuación, las cuales se pueden resumir en Evidencia, Educación y Recursos. Contribución En el ámbito de Evidencia, desde BITSS se ha realizado un esfuerzo por producir y sistematizar evidencia centralizadamente. En este contexto existe la Research Library, una base de datos de publicaciones científicas que engloba una serie de investigaciones meta-analíticas en el ámbito de las ciencias sociales, contribuyendo con un cuerpo de evidencia sistemática en torno a los problemas y soluciones sobre transparencia y reproducibilidad en las ciencias sociales sin precedentes. En este apartado, tanto los colaboradores como investigadores de BITSS ponen a disposición de la comunidad científica las investigaciones que han sido financiadas a través de las Social Science Meta-Analysis and Research Transparency (SSMART) grants, las cuales constituyen fondos orientados a contribuir a la investigación empírica en torno a la transparencia y reproducibilidad en disciplinas como la economía, ciencia política, psicología y ciencias sociales afines. Desde la Educación y Entrenamiento podemos identificar la articulación de una serie de Training activities desarrolladas por BITSS. Dentro de los objetivos de estas actividades encontramos dos aspectos que se buscan abordar desde esta dimensión. Por un lado, se encuentra el promover una visión crítica de los investigadores en las ciencias sociales, esto considera un entendimiento de los principales problemas asociados a la investigación social de calidad al alero de los principios de la ciencia abierta, dentro de lo cual podemos encontrar los sesgos y prácticas referidas a las presiones por publicar, prácticas cuestionables de investigación, reproducibilidad y privacidad de datos. Por otro lado, se han propuesto promover el manejo de técnicas de investigación para la transparencia y reproducibilidad, principalmente a través de actividades de entrenamiento con un foco en el aprendizaje e implementación de herramientas y métodos. En esta línea destacan dos contribuciones que se fundamentan en estos principios, las cuales serán descritas a continuación. Research Transparency and Reproducibility Training Una de las contribuciones señaladas es el Research Transparency and Reproducibility Training (RT2), el cual constituye uno de los principales eventos académicos realizados anualmente por BITSS, teniendo por objetivo el poner a disposición de estudiantes e investigadores una mirada general de las herramientas y prácticas actuales para la transparencia y la reproducibilidad en la investigación empírica en ciencias sociales. Los contenidos de RT2 abordan una serie de tópicos de manera transversal que pueden ser ilustrados en seis puntos: Amenazas para la credibilidad en la ciencia y la reproducibilidad, junto con su relación con el ethos científico: Conducta y valores en la ciencia. Mejoras en las especificaciones de los diseños de investigación: pre-registros y plan de pre-analysis en investigación con datos experimentales y observacionales. Ética e investigación abierta: estándares éticos para la ciencia abierta, manejo de datos y autoría de fuentes de información abiertas (citación). Herramientas y métodos para la investigación reproducible y colaboración: control de versiones y reportes dinámicos. Sistematización de evidencia, reproducibilidad e interpretación: métodos para investigación meta-analítica y revisiones sistemáticas, transparencia y reproducibilidad usando datos administrativos; y replicabilidad en la investigación. Software para la Ciencia Abierta e innovaciones metodológicas. MOOC: Transparent and Open Social Science Research Otra de las contribuciones es el Transparent and Open Social Science Research que corresponde a un curso gratuito online de cinco semanas el cual aborda los fundamentos conceptuales y las principales herramientas para promover una ciencia social abierta y transparente. La Tabla 4.1 muestra el contenido de las sesiones, las cuales se basan en un curso de nivel de grado dictado por el director de BITSS Ted Miguel en la Universidad de California Berkeley. Tabla 4.1: Cursos por semana en el MOOC de BITSS Semana Contenido 1 Introducción a la transparencia y reproducibilidad de la investigación 2 Sesgo de publicación 3 Pre-registro, Plan de Pre-Análisis; y Meta-análisis 4 Replicación y Datos Abiertos 5 Visualización de Datos transparente y Viendo hacia adelante Una de las principales características de este curso introductorio es la sistematización de aspectos claves para la ciencia abierta con un foco particular en las ciencias sociales. Adicionalmente, tiene el objetivo de introducir conceptualmente a los problemas que se han visto presentes en las ciencias y busca dar respuestas a prácticas a través de herramientas y métodos concretos para solucionarlo. Finalmente, constituye un esfuerzo breve y preciso, dado que las sesiones semanales poseen una duración promedio de unos treinta minutos y se encuentran dosificadas en videos de corta duración subtitulados. En el ámbito de los Recursos que provee BITTS, podemos encontrar una librería de recursos o simplemente la Resource Library, la cual incluye una multiplicidad de recursos de aprendizaje digitales en torno a la transparencia y reproducibilidad, ordenados según (i) Tópico, (ii) Tipo y (iii) Disciplina de las ciencias sociales. La Figura 4.3 muestra cómo se visualizan los tópicos disponibles en la librería, lo cual puede ser ordenado según tipo y disciplina. Figura 4.3: Librería de Recursos de BITSS 4.1.2 Proyecto TIER (Teaching Integrity in Empirical Research) Objetivos y visión El proyecto TIER es una iniciativa respaldada por la Fundación Alfred Sloan que se propone contribuir a un cambio en las normas y conductas profesionales en torno a la transparencia y reproducibilidad en la investigación empírica en las ciencias sociales. Uno de los principios orientadores de sus actividades es el proveer formación en herramientas para la documentación oportuna de procedimientos que involucren datos estadísticos a través de rutinas y referencias que garanticen la reproducibilidad de estos. La idea subyacente que motiva estas acciones es que los autores puedan concebir la documentación como un componente esencial de la comunicación de sus resultados con sus pares, como también al público no especializado, de modo tal que estas medidas contribuyan a incrementar la confianza y credibilidad en la evidencia científica. En esta línea, su declaración de principios sostiene que su objetivo se puede considerar como logrado cuando: () no proporcionar documentación de replicación para un estudio empírico se considere tan aberrante como escribir un artículo teórico que no contenga pruebas de las proposiciones, un artículo experimental que no describa las condiciones de tratamiento o un artículo de revisión de leyes que no cite los estatutos legales o las decisiones judiciales. (traducción propia) Contribución Es necesario tener presente que uno de los principales campos de acción del proyecto TIER es la Educación y Entrenamiento hacia cientistas sociales en formación, tomando en consideración que es en el ciclo formativo inicial donde se deben impulsar la adopción de prácticas integrales para la investigación social empírica. En esta línea, uno de los elementos destacables es la sección de herramientas para la enseñanza titulada TIER in the Classroom, sus contenidos referidos a temas de reproducibilidad se pueden resumir de la siguiente manera: Soup-to-Nuts Exercises: No existe una traducción en el español, no obstante la expresión Soup-to-Nuts refiere a un proceso de inicio-a-fin. Como lo dice, esta sección muestra ejercicios orientados a la reproducibilidad de los análisis pasando por (1) los datos, (2) procesamiento, (3) análisis y (4) reporte. La idea fuerza de este ejercicio es introducir a estudiantes a los principios y prácticas fundamentales de la investigación social transparente y reproducible para que los implementen en sus tareas o informes. Materiales para clases: Esta sección está fuertemente orientada al análisis estadístico y a los métodos cuantitativos. Se presentan una serie de veinticuatro cursos de pregrado y postgrado que incorporan en su currículum los principios de transparencia y reproducibilidad en la enseñanza de los métodos de manera transversal. Los materiales de cada curso se encuentran disponibles para libre descarga, incorporando ejercicios de análisis estadístico (R, Stata, SPSS), reportes dinámicos (R Markdown, Markstat) y sus respectivos syllabus. Trabajos estudiantiles: En esta sección se incorporan una serie de trabajos estudiantiles/papers, los cuales están acompañados de una completa documentación basada en el Protocolo TIER (ver detalle abajo). El objetivo es presentar modelos de trabajos realizados con análisis reproducibles, de modo tal que quien esté interesado en emplear la estructura de un proyecto pueda observar un trabajo real e, idealmente, logre reproducir completamente sus resultados. Una de las contribuciones más relevantes del proyecto TIER es la elaboración de estándares para la organización, publicación y comunicación de proyectos de investigación empírica cuantitativa reproducible. Al respecto, existen dos esfuerzos orientados a este fin: Por un lado tenemos el Protocolo TIER, el cual constituye una serie de especificaciones respecto a los contenidos de la documentación para la replicación de un estudio, el cual está orientado a ser empleado para la enseñanza de la investigación que incorpore la reproducibilidad de los análisis. En este caso es importante precisar, como ya hemos identificado en un principio, que el concepto de replicación se emplea como sinónimo de reproducibilidad, entendiendo este último como la conjunción de datos y métodos originales que nos permitan regenerar los resultados de un estudio que ha sido publicado. Por lo tanto, cuando en TIER se habla de replicación se refiere a esta idea. La documentación debe incluir una serie de elementos descritos a continuación. Datos empleados por el proyecto Rutinas de código escrito en el software empleado para la preparación y análisis estadístico. Esto se incluye dado que el objetivo es proveer los datos brutos a procesar, junto con todas las instrucciones que permiten regenerar los resultados reportados en el estudio. Fuentes de información que contribuyan a comprender detalladamente cada sección del estudio de inicio a fin. Por otro lado tenemos el Protocolo DRESS (Documenting Research in the Empirical Social Sciences). Al igual que el Protocolo TIER, se incorporan los mismos estándares para la documentación de una investigación transparente que incorpore la reproducibilidad de los análisis. Sin embargo, este se encuentra adaptado a los propósitos de los investigadores profesionales, más que para el uso de los estudiantes durante su formación en investigación. 4.1.3 UK Reproducibility Network (UKRN) Objetivos y visión La UK Reproducibility Network (UKRN) es un consorcio institucional del Reino Unido que tiene por objetivo promover los principios y prácticas de la ciencia abierta con una mirada local, es decir, en las instituciones nacionales y sus investigadores. Para contribuir a este objetivo se realizan esfuerzos en torno a la investigación de los factores que determinan una investigación abierta y robusta, promoviendo el entrenamiento a través de actividades abiertas y diseminando las buenas prácticas para una ciencia abierta. En particular, se proponen profundizar en los factores que determinan la carencia de reproducibilidad y replicabilidad, para lo cual se busca: Desarrollar aproximaciones que contrarresten esta falta de transparencia. Incrementar la confianza y la calidad de la investigación científica. Abordar de manera transversal estos problemas en las distintas disciplinas científicas. Avanzar hacia un cambio cultural en la ciencia y transformar las prácticas de quienes la desarrollan. La UKRN se caracteriza por un trabajo en red, es decir, por un importante componente de vinculación entre instituciones de investigación asociadas a universidades como también a oficinas gubernamentales que desarrollan investigación (ver External Stakeholders). En esta línea, existen diversas iniciativas apoyadas por la UKRN que promueven el entrenamiento, metodologías y recursos tecnológicos para la ciencia abierta. A continuación se presentarán algunas de las contribuciones más relevantes realizadas por la red, como también algunas de las iniciativas externas que han sido respaldadas por la UKRN. Contribución En el ámbito de la Educación y Entrenamiento, es posible identificar, por un lado, las contribuciones realizadas directamente por la UKRN y, por otro lado, las iniciativas que son respaldadas por la red y que promueven la formación en torno a los principios y prácticas de la ciencia abierta, particularmente en la etapa temprana de la carrera de investigación. Respecto a una de las iniciativas elaboradas por los académicos e investigadores involucrados en la UKRN, encontramos uno de los principales recursos virtuales en un breve curso online que aborda una serie de tópicos relevantes para la promoción de la ciencia abierta, dentro de lo cual encontramos el uso de pre-prints, autorías, registered reports, datos abiertos y reproducibilidad. A continuación se puede observar la lista de sesiones que han sido desarrolladas en torno a estos temas. Junto con las sesiones, existe una serie de recursos compartidos a través de un proyecto abierto en el Open Science Framework. Aquí es posible acceder a documentos breves que abordan los tópicos de cada sesión, además de recursos adicionales sobre uso de software de código abierto y repositorios. Un ámbito de desarrollo ha sido la disposición de recursos tecnológicos que promuevan y faciliten las prácticas en ciencia abierta. Una de las iniciativas impulsadas es el Open Research Calendar, el cual consiste en un instrumento colaborativo y abierto que busca brindar a la comunidad de investigadores interesados en temas relacionados a la ciencia abierta un flujo constante de actualizaciones en torno a workshops y conferencias a nivel mundial que abordan tópicos sobre ciencia abierta unificados en un calendario. El carácter colaborativo de esta herramienta permite que usuarios previamente registrados y validados puedan contribuir con información que se centraliza en el calendario de eventos, precisando los contenidos y redireccionando a la inscripción y/o enlace para las actividades que se realizan a través de internet. Para facilitar la experiencia de usuario, el calendario se integra con Google Calendar que puede sincronizarse con la agenda personal y que se van actualizando automáticamente. Otra herramienta tecnológica patrocinada por la UKRN es la plataforma Octopus. A la fecha, la plataforma se presenta como una aplicación en desarrollo y abierta a comentarios de los usuarios. En términos generales se propone ser una alternativa para contribuir a la apertura de publicaciones. El detalle se presenta así: () sustituir a las revistas y los artículos como lugar para establecer la prioridad y registrar su trabajo con todo detalle, Octopus es de uso gratuito y publica todo tipo de trabajos científicos, ya sea una hipótesis, un método, datos, un análisis o una revisión por pares (traducción propia). La Figura 4.4 ilustra un ejemplo de cómo se ve un proyecto en Octopus. Vemos que existen siete componentes que buscan representar el flujo de una investigación. Entendiendo que los procesos de investigación no son lineales y tienden a existir iteraciones entre teoría y métodos, la virtud del registro y publicación de un proyecto permite que otros puedan conocer y evaluar nuestras hipótesis, plan de análisis, resultados y versiones de un artículo, así como también la vinculación entre cada sección. Figura 4.4: Ejemplo de un trabajo registrado en desarrollo en octopus.org Para publicar debemos ingresar con una cuenta de ORCID. Si no tienes una cuenta puedes crear un perfil aquí. Luego, se deben seguir tres pasos. El primero es elegir qué tipo de componente se desea publicar (Problema, Hipótesis, Métodos, etc). Segundo, dar detalles sobre el componente y con qué otros proyectos se relaciona. Finalmente, contribuir con un borrador de escritura que luego será publicado. "],["herramientas-para-los-análisis-reproducibles.html", "4.2 Herramientas para los análisis reproducibles", " 4.2 Herramientas para los análisis reproducibles Generalmente, cuando se habla de reproducibilidad se toma en consideración su dimensión computacional, esto es, el trabajo con código. Como investigadores de las ciencias sociales empíricas y promotores de la ciencia abierta creemos que efectivamente este es el núcleo de la reproducibilidad, sin embargo no es su única acepción. La mera existencia de un código de análisis no nos garantiza que un proyecto sea reproducible per se, dado que es importante tener en consideración cómo es que distintos elementos del proyecto se relacionan entre sí para regenerar los resultados de un trabajo publicado. Considerando esto, es que dividiremos esta sección presentando un flujo de trabajo reproducible con cuatro características: Estructura del proyecto Documentos dinámicos Control de versiones Prácticas de código Veamos cada uno de ellos. 4.2.1 Estructura del proyecto Una de las principales cosas que debemos considerar al elaborar un proyecto es su estructura de carpetas y archivos, con el fin de que esta nos permita entender e identificar los archivos existentes y rol en el flujo de trabajo. En este sentido, una de las herramientas que han sido desarrolladas son los denominados Protocolos (p. ej. TIER, DRESS, IPO), los cuales brindan una serie de orientaciones referentes a estructura digital de carpetas, documentación de archivos y rutinas para conseguir el anhelado objetivo de los análisis reproducibles. Para esto, es posible mencionar una serie de orientaciones generales referentes a dichos procedimientos, por ejemplo en el Proyecto TIER (TIER, 2020) se han desarrollado protocolos orientados a la reproducibilidad de los análisis, los cuales se fundamentan en tres principios que se describen a continuación. Reproducibilidad: La documentación debe permitir regenerar completamente los resultados del estudio original. En primer lugar, se debe comenzar con los datos originales brutos idénticos a aquellos con los que el autor comenzó la investigación. Luego, la posibilidad de realizar las mismas rutinas de código para preparar los datos finales para el análisis. Finalmente, se debe disponer de las rutinas de código que permitan regenerar los mismos resultados publicados, por ejemplo, las tablas o figuras presentes en la investigación. Independencia: Toda la información necesaria para regenerar los resultados del estudio debe estar presente en la documentación. Esto refiere a que no debe ser necesario solicitar ninguna información adicional al autor original. Realismo: La documentación debe estar organizada y presentada con suficiente claridad para que bajo un criterio realista, sea factible que un investigador independiente con un nivel de expertise razonable tenga la posibilidad de regenerar completa e independientemente los resultados del estudio sin mayores dificultades. Teniendo en cuenta lo anterior, la forma en que se encuentran organizadas las partes de un proyecto es fundamental para cumplir a cabalidad con lo que se propone cada principio. Como vimos en la sección previa, es posible entender la reproducibilidad como un espectro que involucra una tríada de tres elementos: Datos, Métodos y Resultados. ESQUEMA: Datos - Métodos - Resultados Este esquema es una síntesis que hacemos de algunos de los protocolos más usados en las ciencias sociales. Más que proponer un protocolo nuevo, buscamos describir los elementos fundamentales que contiene una estructura de proyecto reproducible y que están presentes de alguna u otra forma en la mayoría de los protocolos. 4.2.1.1 Carpeta raíz Antes de detallar los tres elementos que se deben considerar para avanzar en el espectro de reproducibilidad, es importante partir de una base. Esta es la que en distintos protocolos y otras herramientas para la reproducibilidad se conoce como la carpeta raíz (root). La carpeta raíz es donde se alberga toda la documentación de referencia general para el proyecto, lo que abarca desde bases de datos hasta el cuestionario u otros documentos similares. La carpeta raíz es el punto de partida para poder emplear otras prácticas para la reproducibilidad. A modo de ir avanzando en el espectro de reproducibilidad, es importante tener en consideración dos principios en relación con la carpeta raíz: documentar y orientar. La documentación implica exponer ordenadamente el contenido del proyecto completo de manera jerárquica, es decir, el contenido de subcarpetas y su funciones. En cambio, orientar implica conducir una correcta ejecución de las rutinas que permitan regenerar los resultados de la investigación. Una carpeta base que logre considerar estos principios debe tener los siguientes contenidos: Detalle de la base y las subcarpetas organizadas según su contenido. Una manera amigable de representar esta estructura es a través de un árbol de directorios, el cual ilustra la jerarquía de las carpetas y los principales archivos contenidos. Instrucciones para la configuración del paquete estadístico necesario para ejecutar las rutinas de código. Esto considera el número de versión del software, los complementos necesarios que sean adicionales al paquete estándar y cualquier otra información especial sobre el software que el lector necesite conocer para reproducir los resultados del estudio. Instrucciones de inicio-a-fin para regenerar los resultados a través de referencias directas al uso de los archivos de procesamiento de datos en la preparación y análisis. En este apartado se deben incluir detalladamente los objetivos de cada rutina de código de manera independiente. Los contenidos descritos se deben incluir en un archivo que lleve de nombre readme.md/txt/pdf. Una sugerencia de estructura interna de este documento es la siguiente: Estructura y contenido del proyecto reproducible Esquema tipo Árbol de directorios Descripción de cada subcarpeta, sus archivo y roles Instrucciones y rutinas de ejecución de resultados Instrucciones para configuración del software Instrucciones para la ejecución de rutinas de código de inicio-a-fin Con este archivo readme.md/txt/pdf ya contamos con el primer gran paso hacia la reproducibilidad: nuestra carpeta raíz está bien documentada y logra orientar bien a cualquier tercero que quiera reproducir nuestra investigación. Con esto descrito, pasaremos a detallar los tres elementos a considerar para adoptar un enfoque reproducible en un proyecto (Datos-Método-Resultados) 4.2.1.2 Datos En la ciencia trabajamos con datos, ya sean cualitativos o cuantitativos, primarios o secundarios. Si nos desempeñamos como científicos analizaremos datos con tal de sacar conclusiones relevantes para el avance del conocimiento. Es por esto que el cómo albergamos y documentamos los datos para nuestro estudio es uno de los primeros puntos a considerar para adoptar un enfoque orientado hacia la reproducibilidad. El objetivo es que cualquier persona sea capaz de comprender nuestros datos y utilizarlos para reproducir nuestros análisis. Si bien los protocolos varían de acuerdo a cómo se organizan los datos dentro de la carpeta raíz (i.e. en qué carpeta se alojan), algo que suele ser común entre los protocolos y que es relevante de recalcar acá es la diferenciación entre los datos originales o crudos (raw data) y los datos procesados. Los datos originales son aquellos que no han sufrido ningún tipo de modificación, en contraste a los datos procesados. El albergar ambas bases de datos permite comprender de mejor forma las modificaciones que se hicieron y las decisiones que se tomaron. Al igual que con la carpeta raíz, sugerimos ciertas prácticas de documentación y orientación para que el proyecto sea reproducible. Presentamos el detalle para los datos originales y los datos procesados. Para toda fuente de datos original, se debe proveer la siguiente información: Citación bibliográfica en un formato estándar (p. ej. American Psychological Association, Chicago, etc). Sugerimos revisar el componente de Datos Abiertos para la publicación de datos. La fecha de creación de la base de datos o el día en que se accedió por primera vez por parte del autor (en caso de que sean datos secundarios). Una descripción respecto a cómo se puede acceder a una copia de esta base de datos. Se debe ser lo suficientemente claro como para que un usuario independiente pueda acceder a los datos sin requerir información adicional. Un libro de códigos de todas las variables de la base de datos. Sugerimos revisar el apartado ¿Cómo hacer un libro de códigos?. Para toda fuente de datos procesada, es posible identificar dos tipos: Base de datos intermedia, la cual contiene información que, por un lado, puede ser complementaria con una base de datos principal. Por ejemplo, tenemos una base de datos con información de individuos pertenecientes a zonas/territorios (regiones o países), a la cual necesitamos incorporar información adicional que proviene de fuentes externas. En este caso, podemos generar una base procesada intermedia, para luego proceder a combinar ambas fuentes de datos. Base de datos final, es una versión final de una base de datos que contiene las variables completamente procesadas para realizar los análisis. En estos casos se sugiere proveer la siguiente información: Libro de códigos de la base procesada. Para ello, las variables deben estar correctamente etiquetadas. Fecha de creación y versión de la base de datos procesada. 4.2.1.3 Métodos Con los métodos nos referimos a toda información del proyecto relacionada al trabajo con los datos, específicamente al procesamiento y el análisis de datos. Ambas actividades pueden ser albergadas en un mismo archivo, no obstante e independiente del protocolo que se use, sugerimos separar ambas actividades en documentos distintos. Esto hará mucho más fácil la lectura del proceso de toma de decisiones, especialmente si son archivos de código. De esta manera, cualquier tercero podrá entender el proceso, evitando lo más posible que emerjan preguntas tipo ¿y de dónde salió esta variable?. En esta sección presentamos un flujo tanto para el documento de procesamiento como para el de análisis. Independiente del software estadístico que usted esté utilizando, será capaz de adherir a este flujo para hacer estas actividades de forma más ordenada. El procesamiento de los datos cumple una función muy importante para el desarrollo de un artículo: la de procesar los datos que darán paso a los análisis del estudio. Considerando eso, el objetivo final de este documento es generar una base de datos procesada, que contenga solamente los datos importantes para analizar. El flujo puede ser: Cargar la base de datos original: Cargar la base de datos original es el punto de partida para el procesamiento de los datos, y como tal, es muy importante que esta acción sea reproducible. En softwares como R, podemos hacer esta acción de manera reproducible al cargar los datos directamente de la web. Si esta no es una opción, podemos dejar bien documentado la forma en que se debe cargar la base de datos. Revisar la base de datos: Una vez cargada la base de datos original, recomendamos siempre revisar para que todo esté en orden. Cuando decimos ver que todo esté en orden nos referimos a diagnosticar si la base ha sido correctamente cargada. Por ejemplo, a veces podría suceder que la base de datos está en formato .csv con las columnas separadas por punto y coma (;) y nosotros la cargamos en el formato tradicional (,). Seleccionar las variables que se utilizarán: Generalmente no ocupamos todas las variables dentro de una base de datos, en especial en la investigación basada en encuestas con datos secundarios. Es por eso que el comienzo del procesamiento de datos consta de seleccionar las variables que utilizaremos para los análisis. Renombrar las variables: Si bien no es estrictamente necesario renombrar las variables, sí se recomienda para facilitar tanto el propio trabajo cómo el de alguien que vaya a emplear el mismo código. Generalmente, en la investigación de encuestas con datos secundarios nos encontramos con grandes bases de datos, con nombres técnicos y poco autoexplicativos. La principal recomendación aquí es cambiar estos nombres por nombres cortos y autoexplicativos. Procedimientos a realizar por cada variable: Una vez hemos cumplido con los aspectos generales del procesamiento, podemos pasar a la revisión de variable a variable. Aquí proponemos el siguiente flujo: Descriptivo inicial: calcular una tabla de frecuencias o de medidas de tendencia central y dispersión para conocer el estado de la variable previo a cualquier modificación. Recodificación: aquí se toman las decisiones respecto a la recodificación de los datos perdidos y otro tipo de valores a modificar (e.g. errores de tipeo). Es importante que las decisiones sobre la recodificación queden bien estipuladas y transparentadas. Por ejemplo, en caso de hacer imputación en alguna variable, dejarlo comentado en el código. Etiquetado: el etiquetado es una forma simple y eficiente de poder dar más información acerca de una variable. En el caso de bases de datos sobre encuestas, generalmente una base bien documentada trae etiquetas predeterminadas que hacen alusión a las preguntas del cuestionario. Es importante tener en consideración que no todos los softwares soportan el etiquetado en las bases de datos, en esos casos es útil elaborar un libro de códigos para nuestra base de datos procesada. Descriptivo final: recomendamos que, posterior a haber hecho las recodificaciones correspondientes, revisar de nuevo las frecuencias o las medidas de tendencia central de las variables, para diagnosticar que no hemos cometido errores en el procesamiento. Por dar un ejemplo, un error común, es etiquetar mal las categorías de la variable, lo que tendría un impacto directo en la interpretación de los datos. Otros ajustes: en esta última parte del flujo por variable, recomendamos efectuar toda modificación específica y relevante para la forma que analizaremos los datos. Por ejemplo, si fuésemos a construir un índice con algunas de las variables. El seguir este flujo de manera sistemática facilitará la lectura tanto para terceros, como para nosotros mismos en el futuro. Una vez contamos con nuestra base de datos procesada podemos analizar los datos. En el documento de análisis de datos se procede a elaborar todas las tablas, gráficos, pruebas estadísticas etc. que vayan a ser introducidos en el artículo final. Es importante que se piense en este documento como un reporte de análisis en sí mismo, es decir, debe estar dirigido al público y no solo ser un documento de trabajo interno para el equipo de investigación. Al igual que para la sección de procesamiento de datos, aquí también recomendamos un flujo de trabajo para hacer el trabajo -y el código- reproducible y eficiente. Dividimos el flujo en dos secciones, primero, una que contenga los análisis necesarios para probar las hipótesis de investigación. Segundo, una sección con análisis secundarios y/o exploratorios que sean relevantes para lo que el artículo busca plantear. Efectuar análisis descriptivos univariados de los datos. Es ideal una tabla única que sintetice el comportamiento de las variables de interés. Efectuar análisis correlacional de los datos. Es una primera aproximación a las hipótesis, además de ser esquemático. Por ejemplo, el uso de matrices de correlación o de nubes de puntos. Efectuar análisis multivariados. Modelos que suelen ser la principal herramienta para poner a prueba las hipótesis. Efectuar análisis exploratorios. Esto en el caso que se quieran explorar relaciones o patrones que no fueron previamente hipotetizados. Documentación Para una correcta comprensión de los documentos de procesamiento y análisis es importante tener una descripción adecuada de cada una de sus partes, o dicho de otra forma, una correcta documentación. Es relevante precisar de qué manera estos documentos se vinculan con otros archivos dentro del proyecto, para lo cual podemos tomar el ejemplo del Protocolo IPO. Por un lado, el documento de preparación requiere de una fuente de datos inicial, por tanto está directamente relacionada con la carpeta Input y la subcarpeta de datos originales. Por otro lado, el documento de análisis requiere de una fuente de datos procesada, por tanto está directamente relacionada con la carpeta Input y la subcarpeta de datos procesados. Para una correcta ejecución de las rutinas de código, es importante describir adecuadamente la relación entre los archivos de preparación y análisis. Para ello, se sugiere incorporar un archivo de nombre readme-proc.md/txt/pdf, en donde se describa brevemente dicha vinculación. Para ello sugerimos los siguientes puntos a describir: Para la ejecución de la preparación, precisar la ubicación de la o las fuentes de datos originales. (p.ej. input/data/original/original-data.dta) Para el cierre de la preparación, precisar la ruta donde se deben almacenar la base de datos procesada y su extensión (p.ej. input/data/original/proc-data.RData) Para la ejecución de los análisis se debe precisar el origen de la base procesada que fue creada en el punto 2. Para los archivos de resultados provenientes del análisis de los datos, tales como figuras o tablas, debemos precisar la ruta donde se almacenarán y su nombre. 4.2.1.4 Resultados Con los resultados, nos referimos a las figuras, gráficos o tablas que son producto de nuestro análisis y que serán relevantes de alguna forma para el estudio. Comúnmente, los protocolos para la organización de las carpetas proponen que todo lo que esté relacionado a los resultados se guarde en una carpeta aparte. Por ejemplo, el protocolo IPO propone albergar tablas y figuras en las subcarpetas tables e images dentro de la carpeta output. Tomando como ejemplo el uso del protocolo IPO, sugerimos que para una correcta identificación de cada archivo se sigan las siguientes indicaciones: Para las imágenes, sugerimos usar nombres breves e incorporar numeración. Por ejemplo figura01.png, según el orden de aparición en la publicación. Para el caso de los cuadros o tablas, existen distintas extensiones para almacenarlas como archivos independientes (tex/txt/md/html/xls). Para ello, sugerimos emplear nombres cortos e incorporar numeración. Por ejemplo, tabla01.xls, según el orden de aparición en la publicación. 4.2.2 Texto plano y documentos dinámicos Adoptar ciertas prácticas en lo que respecta a la estructura de un proyecto es el primer paso en el espectro de reproducibilidad. El segundo paso que proponemos acá es el uso de texto plano y documentos dinámicos. Probablemente, el programa que más se ha utilizado para la escritura, desde la formación de pregrado hasta el trabajo cotidiano como investigador, sea Microsoft Word. Sin duda, es una herramienta sumamente útil, cuenta con varias funciones que permiten ordenar y hacer más estéticos nuestros documentos, no obstante, no es reproducible. Aunque Microsoft Word sea un formato de archivo ampliamente conocido, necesitamos algún tipo de lector asociado al formato .docx (u otro similar) para poder leer los archivos. Esto implica que solamente las personas que tengan instalado algún lector para este tipo de documentos serán capaces de acceder al contenido, lo cual va en contra de la idea de reproducibilidad. Ahora, también es cierto que el formato de Word está tan extendido, que es realmente difícil que alguien no tenga disponible un lector de este tipo de archivos. Sin embargo, el real problema está con quien es dueño de ese contenido. Acá no nos inmiscuimos en temas de propiedad intelectual, pero sí es importante hacerse la pregunta sobre quién es dueño de lo que escribimos si el medio por donde estamos escribiendo no es propiedad nuestra. Es cosa de imaginarse que, de un día para otro, todo programa asociado a Microsoft desapareciera por alguna razón: todos nuestros documentos quedarían obsoletos. Aquí es donde entra el texto plano. El texto plano es, simplemente, un tipo de texto que se puede leer independiente del lector que se use. Un ejemplo simple es escribir en el bloc de notas de Windows. El texto plano es importante cuando buscamos avanzar hacia la reproducibiliad por dos razones. Primero, es un tipo de texto universal, lo que da la ventaja de que, en principio, cualquier persona será capaz de leer algo escrito en este formato. Segundo, sienta las bases para que surjan lenguajes que permiten sofisticar el formato de los documentos, pero que sigan teniendo el carácter universal del texto plano. Los ejemplos más conoocidos son LaTeX y Markdown. La descripción en detalle del lenguaje LaTeX y Markdown no son objetivo de este capítulo, pero sí es importante tenerlos en cuenta ya que han dado paso a una de las herramientas más utilizadas en la ciencia abierta: los documentos dinámicos. Estos son documentos que incluyen, a la par, texto plano y código. Es decir, ya no es necesario que utilicemos una hoja de código para generar un gráfico y luego pegarlo en un documento Word para escribir nuestro artículo, sino que podemos hacer todo esto en un mismo archivo. Además de hacer nuestro flujo de trabajo más eficiente, también hace más fácil reproducir los archivos. Por ejemplo, si quisiéramos que un colega revisara nuestro artículo, bastaría con que le enviáramos el documento dinámico que contiene tanto el código como el escrito. Así, él podría revisar la escritura del documento, y además, evaluar si los análisis han sido efectuados correctamente. Las distintas formas de documentos dinámicos dependen del software que se vaya a emplear para la programación del código. Según Schindler et al. (2021), los softwares más usados en las ciencias sociales actualmente son R y Stata, por lo que presentaremos un resumen de sus respectivos formatos de documentos dinámicos: RMarkdown y Stata Markdown. También, Python ha sido indiscutiblemente uno de los lenguajes de programación más utilizados en el último tiempo y no solo por científicos sociales. Es por esto que también presentaremos su versión de documento dinámico: Jupyter Notebook. RMarkdown RMarkdown es un tipo de documento dinámico que combina código de R con lenguaje marcado tipo Markdown (para aprender a usar Markdown click aquí). En los documentos de RMarkdown, todo lo que escribamos en el documento, el software asumirá que está en formato Markdown, por lo que si utilizamos alguna de las marcas (e.g. usar negrita en alguna palabra) en el documento final esa marca se hará efectiva. Cuando queremos utilizar código debemos escribirlo en bloques o chunks. Los chunks de código tienen distintas opciones, solo por dar un ejemplo, podemos escribir un código para elaborar un gráfico, pero no queremos que se muestre el código que se utilizó para elaborar el gráfico, pues los chunks nos dan la opción para lograr eso. Caso contrario, si queremos mostrar tanto el gráfico como el código para elaborarlo -por ejemplo, para que alguien revise si hemos cometido algún error-, los chunks de código también tienen una opción para eso. En suma, podemos utilizar las distintas marcas de edición que nos ofrece Markdown, así como las distintas opciones para los chunks de código, con tal de elaborar un documento tal y como nosotros lo queremos. Para más información sobre RMarkdown, ver el enlace aquí. La característica más importante de RMarkdown, es que la combinación del lenguaje marcado y el código se da en un documento renderizado. Renderizado significa que pasa por un proceso en el que se reconocen las distintas indicaciones de marcas y código, dando como resultado final un documento html, pdf o word. La herramienta encargada de este proceso es Pandoc, un convertidor de documentos universal (para más información ver: https://pandoc.org/) Stata Markdown Si bien en Stata han emergidos varios paquetes que buscan apoyar la elaboración de documentos dinámicos (e.g. ver aquí), el comando Markstat es quizás el más conocido. Al igual que otros tipos de documentos dinámicos, Markstat combina lenguaje Markdown con código de Stata, la principal diferencia con RMarkdown es que el código no se ejecuta en chunks, sino que está separado del texto plano con indentaciones. Es importante tener en cuenta que para ejecutar Markstat debemos tener instalado Pandoc. Para más información sobre cómo utilizar Markstat ver aquí. Jupyter Notebook Jupyter Notebook es un tipo de documento dinámico que combina lenguaje marcado tipo Markdown con código de Python. Al igual que RMarkdown, todo lo que escribamos en los Jupyter Notebook será considerado como lenguaje marcado. La diferencia que tiene con RMarkdown es que el documento va renderizando las marcas e indicaciones de código en tiempo real. Es decir, si escribimos en negrita, títulos de distinta jerarquía o añadimos gráficos o tablas el documento lo mostrará inmediatamente. Para más información sobre cómo utilizar Jupyter Notebook ver aquí. 4.2.3 Control de versiones El control de versiones es la tercera herramienta para la reproducibilidad que queremos presentar. Esas son herramientas de software para gestionar los cambios en los documentos. ¿Alguna vez has utilizado Google Docs para trabajar colaborativamente? Pues, este es un ejemplo cotidiano del control de versiones. Google Docs permite rastrear quién hizo qué cambio y cuándo. Además, permite restaurar un documento de una versión anterior. Sin embargo, Google Docs no es tan útil cuando el trabajo que debemos realizar es programar código. Para el control de versiones de códigos existen distintas herramientas, donde quizás la más conocida en el mundo de la programación es Git. Git es un sistema de control de versiones gratuito y abierto, tiene por objetivo hacer más eficiente el flujo de trabajo para proyectos grandes y pequeños. A la par existe Github, el cual es una plataforma colaborativa para el trabajo con código. Distintas disciplinas tanto de ingeniería y software, como relacionadas al ámbito científico utilizan Github como un centro de organización para el trabajo. Se utilizan repositorios, los cuales albergan todo lo relacionado a un proyecto, en el caso de la ciencia, a un proyecto de investigación. Recomendamos el uso de Git y Github como flujo de trabajo para aquellos científicos sociales que trabajan con datos cuantitativos, especialmente cuando son grandes equipos de investigación o son proyectos con varias colaboraciones. Para más información sobre Git y Github ver aquí 4.2.4 Prácticas de código Hasta ahora, hemos procurado que la presentación de la información sea lo más general posible y que no esté relacionada a un software estadístico único. Bajo esa idea, hemos presentado lo que es una estructura reproducible de un proyecto, aludiendo a los elementos comunes que se encuentran en distintos protocolos. También, revisamos cómo el control de versiones y el trabajo con documentos dinámicos pueden ser herramientas para la reproducibilidad. No obstante, no hemos abordado lo que, desde un principio, establecimos como el núcleo de la reproducibilidad: el trabajo con código. Este capítulo busca ser una primera aproximación y enseñar lo básico respecto a reproducibilidad. Con tal de mantenernos bajo esa idea, trataremos el trabajo con código de forma abstracta, sin introducirnos a trabajar con un software en particular. Específicamente, veremos algunas prácticas de código que contribuyen a hacer un trabajo más reproducible. Estas son aplicables a distintos software que utilicen código y cuando nos estemos refiriendo a un software específico lo señalaremos. Nunca hacer trabajo manual. El objetivo de la reproducibilidad es que cualquier persona pueda regenerar nuestro trabajo, y el trabajo manual es un obstáculo para el cumplimiento de ese objetivo. Trabajar con código permite automatizar los procesos de tratamiento y análisis de datos, es cómo establecer un guión paso a paso sobre lo que se ha hecho para llegar a los resultados del artículo, en contraste, documentar un proceso de análisis manual (e.g. en una planilla de datos) es una tarea sumamente compleja. Si bien es posible escribir un guión detallado de cada paso, esto tomaría una cantidad de tiempo y energía considerables, más aún teniendo en cuenta la cantidad de decisiones que tiene que tomar un equipo de investigación en el proceso de análisis de datos. Es por eso que la recomendación base es no hacer trabajo manual y trabajar con código, lo que implica evitar software como Microsoft Excel y otros relacionados. Asegurarse que el código siempre produzca el mismo resultado. Nuestra hoja de código será la receta que otro seguirá para poder elaborar el mismo producto, por lo que tenemos que asegurarnos que esta produzca siempre lo mismo. Un ejemplo es cuando por algún tipo de análisis se necesitan generar números aleatorios. En R, para poder reproducir la generación de esos números aleatorios se utiliza la función set.seed(). Trabajar con scripts. Para poder automatizar el procesamiento y análisis de los datos, la principal recomendación es trabajar con documentos script que albergan el código y permiten su rápida ejecución. En el caso de R, se pueden utilizar documentos .R. Escribir con minúscula, sin espacios, sin ñ y sin tildes. Gran parte de los software disponibles para análisis de datos traen el inglés como idioma nativo, por lo que existe una alta probabilidad de que tengamos problemas si utilizamos caracteres especiales que no se encuentran en ese idioma. Respecto al uso de mayúsculas, existen software que diferencian cuando un código incluye mayúsculas y cuándo no, esto es una característica conocida como case sensitive. Sin embargo, no todos los software cuentan con esta característica, por lo que es mejor evitar su uso. Indentar el código. La indentación es una característica del trabajo con código en general (no solo a nivel de software estadístico) y se refiere a la jerarquía en los niveles del código. Indentar permite una lectura más fácil del código, ya que permite comprender visualmente el orden y la estructura del código. Uno de los ejemplos más conocidos es la elaboración de funciones condicionales de tipo if-else. Comentar el código. Comentar el código es sustancial para que cualquier persona no asociada al proyecto (o incluso uno mismo en el futuro) pueda entender para qué sirve cada función y reproducir el documento sin problemas. Aquí el lema es: nunca es mucho cuando se refiere a comentar el código. Mientras mejor explicado esté qué hace cada cosa y por qué, la receta será más fácil de seguir. Especificar las versiones de paquetes. Gran parte de los software estadísticos trabajan en base a la idea de paquetes. Estos son un conjunto de herramientas que facilitan el trabajo con datos. Existen paquetes tanto para tareas simples como el tratamiento de bases de datos o la generación de gráficos, así como para técnicas estadísticas avanzadas. No obstante, una característica a tener en cuenta es que los paquetes tienen versiones, ya que van mejorando día tras día. Esto ocurre especialmente en software de código abierto como R o Python. A raíz de esto, es que una de las recomendaciones para la reproducibilidad es conocer con qué versión de los paquetes se está trabajando y documentarlo. Inclusive, en software como R existen herramientas que permiten facilitar esta tarea (ver groundhog) Elaborar código autocontenido. Existen dos formas de trabajar con código. La primera es el trabajo tipo cascada, donde el código es como agua que fluye desde arriba hacia abajo. Esta metáfora significa que cada código es parte de un todo interdependiente, y como tal, cada bloque depende del anterior. Un ejemplo simple es que con un bloque de código se carga una base de datos y con otro se presenta un gráfico de la misma. En contraste a esta forma de trabajo, existe una segunda de tipo autocontenida. Esta forma implica que, en vez de que el código sea interdependiente entre sí, cada bloque de código es una tarea que inicia y finaliza en el mismo bloque. Siguiendo el ejemplo, esto implicaría que cargar la base de datos y mostrar un gráfico de ella es una tarea que comienza y termina en el mismo bloque de código. Si bien el trabajar con código ya es un avance hacia la reproducibilidad, trabajar de manera autocontenida es un paso mucho mayor, ya que minimiza la probabilidad de que el código no pueda ser reproducido por un tercero. Nombrar variables de manera óptima. Como se señaló anteriormente, muchas veces los nombres de las variables en las bases de datos siguen una lógica más técnica que sustantiva. Es por eso que, para poder trabajar de manera óptima y que, al mismo tiempo, el código sea más fácil de leer se sugiere renombrar las variables de forma sustantiva y corta. Por ejemplo, si una variable de edad de una encuesta tiene por nombre m01, sugerimos cambiarlo a edad. Etiquetado o buen diccionario de variables. Además de renombrar las variables, recomendamos etiquetar de forma sustantiva las variables que se utilizarán y/o hacer un buen diccionario de ellas. Esto tiene por objetivo que la base de datos que hayamos elaborado para nuestros análisis sea más fácil de leer y reproducir. Utilizar UTF8. Como señalamos, recomendamos evitar el uso de caracteres especiales en trabajo con código, esto implica el uso de tildes o ñ. No obstante, para ciertas situaciones será indispensable que escribamos en nuestro idioma nativo (en este caso español), y por ende utilizar caracteres especiales. Un ejemplo es cuando establecemos los títulos y categorías de una tabla o un gráfico. En estos casos, sugerimos establecer el formato del documento de código en formato UTF-8. Este formato es de tipo universal y acepta todo tipo de caracteres, incluyendo los especiales. Trabajar con rutas relativas. Las rutas relativas son una ubicación en el computador que es relativa a un directorio base o carpeta raíz. En el caso del trabajo con datos, generalmente la carpeta raíz es la que alberga todos los documentos que refieren a ese proyecto y las rutas relativas son direcciones hacia distintos archivos teniendo como base la carpeta raíz. Esta es una forma reproducible de ordenar los archivos ya que no depende de quién está trabajando. Uso de software libre. Con los nuevos avances en la tecnología y en el acceso a ella han emergido iniciativas colaborativas de desarrollo de software. Esto implica que en vez de estar centralizado por una compañía, quien está detrás de los avances en el desarrollo del software es una comunidad activa de usuarios. Software como R y Python son ejemplos de este tipo de iniciativas. Recomendamos el uso de software libre porque, además de alinearse con los principios de la ciencia abierta, proveen un ambiente y herramientas mucho más propenso a adoptar prácticas que avancen hacia la reproducibilidad. Estar en contacto con la comunidad de investigadores y/o desarrolladores de herramientas computacionales. Más que una práctica relacionada al código, es una recomendación respecto a cómo hacer más óptimo nuestro trabajo. Con internet y las nuevas herramientas computacionales, existen varias comunidades a las cuales recurrir en caso de necesitar ayuda con el desarrollo del código. Por ejemplo, Stack Overflow es un foro donde programadores, ingenieros y en general cualquier persona que utiliza código en su día a día puede hacer o responder preguntas respecto a código. Es una gran herramienta para cuando los códigos no funcionan o cuando queremos conocer formas más eficientes de hacer una tarea. Incluimos esta recomendación porque participar de estos foros y ser parte activa de la comunidad implica adoptar prácticas para la reproducibilidad, con tal de que otros puedan entender nuestras preguntas y respuestas. Referencias "],["publicaciones-libres.html", "Capítulo 5 Publicaciones libres", " Capítulo 5 Publicaciones libres Un agricultor hace uso de sus herramientas, talentos y conocimientos para aprovechar lo mejor posible las ventajas del bien común que es la tierra. Una vez que termina la temporada, el agricultor entrega la cosecha a un distribuidor que se encarga de comercializar el fruto de su trabajo y el de otros agricultores. ¿Cuánto recibe realmente el agricultor por su trabajo? ¿Cuáles son las posibilidades reales que tiene la ciudadanía de acceder al bien común de manera autónoma? El problema del agricultor, el distribuidor y la ciudadanía no es una historia del pasado. El producto de un trabajo que hace uso de un bien común, y el cómo este se distribuye y retribuye dentro de la sociedad, es un tema que cada vez suscita más interés no solo en los gobiernos y la ciudadanía, sino que también en la ciencia. Esto debido a que, como el agricultor elaboró cosechas a partir de la tierra, el científico construirá evidencia nueva a partir de conocimientos previos. Ambos crean productos que son bienes esenciales para la ciudadanía a partir de bienes comunes de la humanidad. El problema para ambos está en que parte de ese quehacer ha sido privatizado, restringiendo a la ciudadanía del libre acceso a tales bienes. Esta problemática también es extrapolable a la situación que ocurre con las patentes de vacunas y, en específico, con las patentes de las vacunas de COVID-19, donde gran parte de los organismos internacionales llaman a que estas sean consideradas bienes públicos. Así como la privatización al acceso de un conocimiento médico produce desigualdad entre los países más y menos ricos, también el acceso al conocimiento por parte de la sociedad en general -evidencia de cómo mejorar el cumplimiento de las medidas de cuidado, por ejemplo- implicó un daño invaluable en cómo se produjo y se distribuyó la información para combatir la pandemia. Así, a pesar de que con la globalización y la era digital la labor científica ha podido crear conocimientos con mayor facilidad y divulgarlos de manera inmediata, el desconocimiento y los mitos sobre las leyes que amparan la propiedad intelectual han sido el principal obstáculo para dar el paso hacia la apertura de la creación científica (Fernández et al., 2018). El miedo a ser sancionado por la editorial, el temor al plagio y la pérdida de reconocimiento autoral, destacan entre las principales razones, sin mencionar el dominio que poseen las revistas científicas sobre el conocimiento que se genera y que es publicado por ellas. Dicho esto, la apuesta por destinar los esfuerzo hacia una libre circulación del conocimiento apunta a la necesidad de reapropiarse de los beneficios, resultados y saberes científicos. En este sentido, Banzato (2019) hace un llamado a los organismos de América Latina para generar espacios de evaluación y difusión que sirvan para la democratización del conocimiento, siendo esta una estrategia cultural y política que busca promover los procesos de producción y reproducción social del saber. La apertura de nuestras investigaciones traen más beneficios que dificultades: no solo contribuimos a nutrir el conocimiento colectivo sobre un problema, sino que incluso podemos alcanzar mejor visibilidad de nuestro trabajo científico. Por eso, en el siguiente capítulo te presentaremos aspectos que debes considerar para lograr una exitosa apertura de tus publicaciones y resultados de investigación. Referencias "],["propiedad.html", "5.1 Propiedad intelectual", " 5.1 Propiedad intelectual Esta sección busca comprender la importancia de la propiedad intelectual abordando los elementos centrales de la producción científica y su resguardo legal. Es importante conocer los elementos que nos servirán en el momento de definir el carácter y el modo en que permitiremos que nuestras creaciones sean utilizadas y difundidas. La propiedad intelectual no es un elemento accesorio, pues nos habla de facultades exclusivas que posee el autor sobre su obra y que le permiten gozar de su uso y explotación (Loredo, 2012). Para nuestros efectos, se concibe como el peldaño inicial para abordar los esfuerzos hacia la publicación libre. 5.1.1 Sobre la Propiedad Intelectual y las Licencias La Propiedad Intelectual (PI) es una normativa que permite el reconocimiento autoral de toda invención de la mente humana (World Intelectual Propiety Organization, 2020), su objetivo es fomentar la creación e innovación al mismo tiempo que regula el uso y difusión de las obras. La PI es un tipo de ley cuya rigurosidad varía según el país y funciona en base a dos grandes acepciones: Common Law: rige en Estados Unidos e Inglaterra y regula la reproducción (copia) de la obra, su distribución, su exhibición pública y su transformación ya sea traducida o adaptada (Fernández, 2009). A partir de lo que señala Omatos (2013) se comprende que es una facultad que poseen los autores y su particularidad es que puede ser transferida ya sea por voluntad propia o por prescripción, siendo así ampliados los derechos del uso de la obra bajo distintos tipos de licencias de Copyrigth, Creative Commons, Copyleft y Dominio Público. Derechos de autor: rige en Europa continental y Latinoamérica y regula las facultades patrimoniales y el derecho moral que posee el autor sobre su obra, esto quiere decir que se reconoce la paternidad sobre la creación y se protege la integridad original del trabajo (Loredo, 2012). El derecho moral, a diferencia del Common Law es irrenunciable e inalienable, por lo que no se puede traspasar. A modo de contexto, en el caso de Chile se han suscrito tratados internacionales que permiten el resguardo internacional de cualquier obra intelectual que se haya elaborado en territorio nacional, los más importantes son dos: Tratado de Berna (rectificado en 1973): establece indicaciones a los países asociados para resguardar las obras internacionales en el propio territorio. Convenio de OMPI (rectificado en 1975): establece una suerte de guía a los países adherentes que sirve para la elaboración de leyes que atiendan el resguardo de la propiedad intelectual dentro del mundo digital (Fernández, 2009). 5.1.2 Tipos de Licencias Las licencias sobre la propiedad intelectual regulan los derechos patrimoniales de la obra y establecen las reglas para su uso. Las licencias más conocidas son: Copyright: Esta licencia permite que el autor se reserve todos los derechos sobre la obra y solo se puede hacer uso de ella bajo permiso del autor. Creative Commons (CC): Esta licencia, inspirada en la General Public License - GPL (Licencia Pública General en español),3 tiene el propósito de desarrollar herramientas digitales estandarizadas que faciliten la distribución de la obra, pues entrega al autor, empresa o institución la responsabilidad de autorizar reglamentariamente el modo de uso, difusión y citación de su obra. Existen seis tipos de licencias CC (véase Figura N° 5.1) y cada una de ellas tiene como base la CC-BY que permite hacer uso de la obra con la correspondiente atribución, el resto de licencias funcionan a modo de capas que se superponen a la principal. De este modo, cada capa entrega una especificidad sobre cómo utilizar la obra Creative Commons (2019). Figura 5.1: Capas de las licencias Creative Commons. Elaboración propia. Copyleft: Este tipo de licencia proviene del movimiento Open Access y se orienta a abrir el uso, aplicación, distribución y creación de obras. Además de permitir el uso libre, indica la obligación de que todo proyecto que nazca a partir del original contenga los principios del acceso abierto. Dominio Público: Si bien no corresponde a una licencia como tal, es un estado en el que la obra no posee protección patrimonial pues ha prescrito el plazo de su protección. 5.1.3 El conocimiento es poder pero ¿de quién? Tanto organismos de investigación pública como universidades crean conocimiento científico por medio de la investigación y la docencia con el fin de aportar al bien público. Si bien la apertura de las publicaciones puede ser lo ideal para tales objetivos, en ocasiones la confidencialidad de los resultados científicos permite a sus autores obtener beneficios económicos de su trabajo. Sin importar cuál sea el camino, la propiedad intelectual juega un papel importante al orientar la toma de decisiones en torno al desarrollo, difusión y utilización del conocimiento intelectual (WIPO, 2020). Por ello contar con una política intelectual de calidad es el primer paso para gestionar estratégicamente la difusión y transferencia de los resultados científicos. A continuación, se presentan dos experiencias chilenas que se consideran como buenas prácticas en términos de políticas institucionales, pues promueven la apertura de publicaciones. Política de Acceso Abierto de ANID La Agencia Nacional de Investigación y Desarrollo (ANID) que nace en 2020 como una estructura que reemplaza a la Comisión Nacional de Investigación Científica y Tecnológica (CONICYT), es hoy la institución que encabeza el Ministerio de Ciencia, Tecnología, Conocimiento e Innovación. Siguiendo el legado de su antecesora, su objetivo es apoyar con recursos al desarrollo de la ciencia y la innovación en Chile. Desde el 2021, bajo el principio de que todo conocimiento generado con fondos públicos debe resultar en beneficios para la sociedad, ANID ha implementado una Política de Acceso Abierto con el objetivo de asegurar la disponibilidad del conocimiento científico que resulte de investigaciones financiadas por la institución (Agencia Nacional de Investigación y Desarrollo, 2020). Esta política busca ser un curso de acción progresivo implementado en dos fases: Fase I: En el plazo inicial de dos años se pretende incentivar la apertura de las publicaciones y sus datos. Esta primera fase servirá para la recopilación de antecedentes sobre el uso y gastos asociados a la investigación abierta. En esta primera etapa de la política toman gran relevancia los principios FAIR. FAIR es la abreviatura en lengua inglesa para referirse a Findability, Accessibility, Interoperability y Reusability (Encontrable, Accesible, Interoperable y Reutilizable). El diseño de estos principios tienen el objetivo de ser una guía medible para que los investigadores realicen una eficaz gestión de los datos y para que posteriormente puedan ser replicados (Wilkinson & Dumontier, 2016). Fase II: Los resultados de la primera fase servirán para que en la segunda se implemente -de manera más rigurosa- la publicación libre mediante la Ruta Dorada, la cual corresponde a un formato de publicación que permite eliminar los periodos de embargo, dejando las publicaciones disponibles en acceso abierto de manera inmediata tras el pago del Article Processing Charges - APC a las editoriales. El APC es una tarifa que costea el procesamiento del artículo final para que se adapte al diseño de la revista y, en ocasiones, son las propias instituciones públicas las que costean el APC, devolviendo así un monto no menor a las editoriales. En la sección de Herramientas Para Públicar profundizaremos en ello. ANID ha detectado de manera temprana el conflicto que acarrea la industria editorial, que lidera un mercado donde los conocimientos se tranzan como un bien. Esto beneficia principalmente a las editoriales con un alto margen de ganancias y, por ello, en la propuesta de ANID se especifica que: Esta política busca ser un curso de acción que esté en constante revisión y que permita, de manera progresiva, avanzar hacia un sistema transparente y abierto, donde el acceso, la re-utilización y la constante oferta de nueva información y datos científicos contribuyan de manera real y concreta al desarrollo social, cultural, científico y económico de Chile (ANID, 2020b). Repositorio Institucional, Universidad de Chile La Universidad de Chile es a la fecha la institución de educación superior pionera en desarrollar un repositorio institucional abierto. Este recoge documentos digitales e impresos con previa autorización, tales como tesis de pregrado y postgrado, pre y post-print, libros y capítulos, material didáctico y presentaciones, informes técnicos, recursos audiovisuales e imágenes. El Repositorio Académico de la Universidad de Chile conserva, difunde y proporciona acceso a material científico generado por docentes e investigadores de la institución y cuenta actualmente con más de 68.000 publicaciones. Este repositorio académico hace uso de un protocolo de interoperabilidad que permite que se conecte con otros repositorios, con el propósito de incrementar la visibilidad de los documentos. Bajo este objetivo, los autores deben proteger sus obras con licencias Creative-Commons, de este modo aseguran el reconocimiento e identificación de la propiedad intelectual y favorece la visibilidad del trabajo. Ambos ejemplos de políticas institucionales proveen una exitosa colaboración entre el mundo científico y el público general, ya que orientan la toma de decisiones al finalizar el ejercicio investigativo y permiten la apertura del conocimiento. Según Alperin et al. (2014), en América Latina se ha desarrollado el ejercicio del Open Access mediante el financiamiento -casi exclusivo- de agencias estatales y agencias de cooperación internacional. Sus resultados se publican principalmente en revistas locales o repositorios regionales. Un ejemplo de ello es Argentina, país donde el 80% de los artículos científicos se encuentran indexados en revistas locales (Alperin et al., 2014), ya que la nación se ha inclinado en promover políticas de autoarchivo como la Ley Nacional de Repositorios promulgada en 2013 y la creación del Sistema Nacional de Repositorios Digitales creado en 2011 (Monti & Unzurrunzaga, 2020). La evidencia da cuenta que para el caso Latinoamericano son los organismos universitarios y de investigación pública los responsables de desarrollar eficaces políticas de ciencia abierta con el objetivo de aportar a la libre circulación de los resultados científicos, pues como se ilustra en la Figura N° 5.2, dentro de sus beneficios no solo se evidencia la mayor exposición de los trabajos científicos, sino que también existe un aporte en términos de desarrollo a nivel país, influencia de políticas, entre otros aspectos positivos. Figura 5.2: Beneficios del Open Access. Traducción propia en base a Kingsley, D. & Brown, S. (2021). Referencias "],["formas-open-access.html", "5.2 Formas open access", " 5.2 Formas open access El quehacer científico de las ciencias sociales es una arena de lucha continua, donde investigadores deben mantenerse en constante entrenamiento para no perder el reconocimiento académico que brinda oportunidades laborales y estatus social. Publica o perece es más una realidad que una frase retórica, pues los científicos sociales están en la obligación de investigar y publicar para mantener su carrera laboral a flote. Este agotador panorama da pie a lo que muchos investigadores de las ciencias sociales han denominado como la crisis de la ciencia (Breznau, 2021), un nuevo panorama donde el conocimiento científico es menos confiable producto de prácticas antiéticas en el proceso de investigación. Falta de consistencia, sesgos no controlados, presión editorial, entre otros factores, son los que influyen en un tipo de ciencia con problemas de credibilidad, como es el emblemático caso de Diederik Stapel que se mencionó en el capítulo I. Quizás muchos confiarán la solución de la crisis a las instituciones revisoras de las revistas, quienes aplican rigurosos métodos de control de calidad. Sin embargo, del papel a la práctica hay un gran trecho. La falta de transparencia en la manipulación de información, los métodos de análisis y la recolección de datos hacen imposible corroborar la veracidad total de un trabajo. Actualmente, muchas editoriales han abordado el problema mediante la adopción del Open Access para promover la transparencia de los datos y la apertura de las publicaciones, pues con esto se permite usar la reproducción de los procesos como un mecanismo de control. Por ello, en esta sección conoceremos las particularidades del Open Access, las rutas por las cuales compartir publicaciones, los repositorios y las revistas que recomendamos. 5.2.1 ¿Qué es el Open Access? Open Access - OA (Acceso Abierto en español) es un movimiento cuyo objetivo es promover el acceso libre a la producción de conocimiento científico digital y hacer uso de él sin restricciones de copyright. Esto en base a estándares internacionales que permiten instalar la posibilidad de que cualquier persona pueda reutilizar la información de la investigación en cuanto datos, procesos y resultados. Hace algún tiempo, científicos advirtieron del problema asociado al oligopolio del conocimiento científico del que disfrutan revistas y editoriales de gran renombre, sin mencionar conflictos entre investigadores en torno a la competencia de estatus académico, la manipulación de resultados, los problemas de intersubjetividad y la falta de transparencia en el proceso de investigación (Breznau et al., 2021). De este modo, los primeros vestigios del Open Access aparecieron a la par con la creación de Internet, pero no fue hasta el 2002 con la declaración de Budapest que se definió el concepto de Open Access y que posteriormente sería reforzado con las declaraciones que dieron lugar en Bethesda 2003 y Berlín 2003. Uno de los aspectos destacables de la primera declaración indica que: Retirar las barreras de acceso a esta literatura acelerará la investigación, enriquecerá la educación, compartirá el aprendizaje de los ricos con los pobres y el de los pobres con el de los ricos, hará esta literatura tan útil como sea posible y sentará los cimientos para unir a la humanidad en una conversación intelectual común y búsqueda del conocimiento (Initiative, s. f.). Según Melero & Abad (2008), las causas que gatillan el desarrollo del Open Access son principalmente dos: La constitución de Internet y las nuevas tecnologías como el medio para la divulgación científica permitió abaratar costos de impresión y acelerar el transporte de los conocimientos. Los elevados precios de suscripción a revistas científicas digitales se presentaron como barreras económicas y de copyright para acceder al conocimiento y resultados de investigaciones. ¿Por qué hacer uso del Open Access en mis publicaciones? El estudio de Piwowar et al. (2019) demuestra que desde la década de los noventa ha habido un aumento constante de publicaciones que se adscriben al Open Access y, si bien el fenómeno se desarrolla en mayor medida dentro de las ciencias exactas, las ciencias sociales no se quedan atrás (Swan, 2013). Según Hernández (2016), los beneficios atribuídos a las prácticas científicas de carácter abierto no difieren sobre la disciplina y traen consigo efectos positivos ligados a: Mayor accesibilidad y conservación de los productos científicos. Difusión rápida e inmediata de las publicaciones. Facilita la comunicación directa de los conocimientos científicos ayudando a avanzar en el mejoramiento de la calidad en la investigación. Abre la posibilidad de reutilizar información, datos y procesos para nuevos proyectos. 5.2.2 Las distintas rutas para publicar de manera abierta Swan (2013) -representante de UNESCO- define dos rutas principales (tipos de repositorios) donde depositar publicaciones con el rótulo del Open Access (Dorado y Verde), pero en la práctica se pueden diferenciar en cinco. Según Abierto (2019) las principales características de cada una son: Repositorios de Ruta Dorada: Corresponden a repositorios que publican trabajos de investigación en forma gratuita para el lector, por lo que se puede leer cualquier artículo inmediatamente después de ser publicado. Cabe destacar que, para su publicación, detrás hay un cobro Article Processing Charges - APC (Cargo por Procesamiento de Artículo en español) cuyo costo es pagado por los autores o las instituciones que les financian. Repositorios de Ruta Híbrida: Gran parte de las editoriales académicas utilizan este modelo con el objetivo de ofrecer Acceso Abierto al mismo tiempo en el que mantienen su modelo de negocio habitual basado en suscripciones. Esto permite a los autores optar por pagar una cuota de publicación y tener sus artículos con Acceso Abierto en revistas por suscripción. Repositorios de Ruta Verde: Consiste en un proceso de auto-archivo o auto-depósito donde los autores comparten sus post-print (artículo final) en sus páginas personales o en revistas que no son gratuitas, pero que poseen repositorios de acceso libre. Estos repositorios antes mencionados se adhieren a un conjunto de reglas y técnicas de inter-operación, formando una red interconectada de bases de datos. Repositorios de Ruta Diamante: Es un modelo que intenta dar solución a los inconvenientes que surgen en las rutas anteriores. Este posibilita la revisión por pares de los trabajos enviados por medio de investigadores que trabajan como voluntarios, obteniendo de esta forma reconocimiento académico y social. Esta ruta es considerada como el único modelo que garantiza la sostenibilidad de la publicación de acceso abierto. Repositorios de Ruta Bronce: Según Piwowar et al. (2019) esta es una nueva categoría donde los editores alojan artículos embargados en sitios web de su preferencia, de modo que los trabajos carecen de licencias que permitan su uso autorizado. Figura 5.3: Proyección de la cantidad de visitas y artículos publicados por cada ruta del Open Access. Traducción propia en base al estudio de Piwowar et al. (2019). La Figura N° 5.3 ilustra el modelo elaborado por Piwowar et al. (2019). Este estudio se basa en el análisis de 70 millones de artículos publicados entre 1950 y 2019 que comparten el rasgo de haber sido publicados en acceso abierto y estar alojados en la base de datos de Unpaywall. La técnica utilizada permitió estimar la trayectoria de los artículos hasta el 2025, poniendo énfasis en el porcentaje de visitas y el porcentaje de artículos publicados según cada ruta. De esta manera, en la Figura N° 5.3 se proyecta que para el 2025, los artículos publicados por la vía dorada alcanzarán un aumento de sus visitas en un 33%, la ruta verde un 19% y la ruta híbrida un 10%; mientras que la ruta bronce seguirá la misma trayectoria pero en menor medida. En cuanto al porcentaje de artículos publicados en acceso abierto, esta Figura indica que tanto la ruta verde, dorada e híbrida tendrán un aumento desde el 2019 al 2025, mientras que la ruta bronce en sus categorías inmediata y retrasada se mantendrán uniforme sin aumento ni descenso. Lo importante aquí es un notable aumento de la publicación en abierto en 13 puntos porcentuales, mientras que se estima el descenso de la publicación cerrada en 13 puntos porcentuales. 5.2.3 ResearchGate, Academia.edu y Sci-Hub: ¿Plataformas de aceso abierto? De seguro conoces las plataformas de ResearchGate y Academia.edu o quizás en alguna ocasión has recurrido a estas páginas para compartir tus publicaciones o descargar archivos científicos para uso personal. Sobre estas plataformas hay que mencionar que no son un ejemplo de Open Access, debido a que funcionan como redes sociales similares a Facebook o LinkedIn, pues su objetivo es crear redes de contactos entre colegas e investigadores con intereses afines. Según Fortney & Gonder (2015), ResearchGate y Academia.edu, al ser empresas con fines de lucro, no cumplen con la característica principal de los repositorios de Open Access, los cuales son administrados por universidades, agencias gubernamentales, asociaciones internacionales o editoriales que persigan el objetivo de poner los conocimientos al servicio y disponibilidad pública. Estas páginas al ser de tipo auto-archivo presentan similitudes con los repositorios de ruta verde, ya que los documentos se guardan en sitios personales creados por el propio autor, sin embargo, dadas las características de ResearchGate y Academia.edu, estas no permiten corroborar los estándares de calidad y seguridad de las publicaciones, ni tampoco se asegura su permanencia perpetua. Dicho lo anterior, publicar la producción científica en cualquier plataforma digital no implica estar desarrollando prácticas acordes al Open Access. Las restricciones de pago empujaron al desarrollo de sitios piratas que funcionan como bases de datos integrando diversas publicaciones, estos son denominados como la vía negra del Acceso Abierto que buscan hacer frente a las barreras de pago (Björk, 2017). Un claro ejemplo es el sitio web Sci-Hub que desde el 2011 posibilita el libre acceso a literatura científica (tanto pagada como libre) y para el 2021 alberga más de 85 millones de documentos. Su eslogan Sci-Hub para remover todas las barreras en el camino de la ciencia se instaura bajo tres principios: (1) El conocimiento es para todos, (2) No al Copyright y (3) Apoyo al Open Access. Sin embargo, Monti & Unzurrunzaga (2020) indica que el carácter ilegal del sitio es la razón de que exponentes de la ciencia lo restrinjan, dado que no tiene la injerencia para modificar los aspectos legales de las publicaciones, transgrede los derechos de explotación indicados por los autores y puede conducir a un desprestigio del Open Access. Es evidente que lo atractivo de estos sitios es la posibilidad de acceder de manera libre a las publicaciones. Un hecho corroborable es la investigación de Bohannon (2016), en ella se ha concluido que el 25% de los países que registran la mayor cantidad de descargas desde Sci-hub, corresponden a las naciones más ricas del mundo en Europa y Estados Unidos. Björk (2017) es el primer autor en considerar la plataforma como una vía dentro del Acceso Abierto, y es quizás una reflexión de orden ético-moral la decisión de integrar (o no) los sitios con estas características dentro del Open Access. 5.2.4 Revistas de acceso abierto: Con la invención de Internet también aumentaron las oportunidades de divulgación científica y, si bien el concepto de Open Access no fue precisado hasta los 2000, en la década anterior ya venían gestándose proyectos como The public-access computer systems review (1990), una revista electrónica tipo boletín que era distribuida por correo electrónico. Posteriormente, en 1991 revistas como Surfaces y Psycoloquy fueron pioneras en instalar la metodología de acceso gratuito a sus publicaciones. Hoy en día son muchos los sitios de repositorios que cumplen con políticas de Acceso Abierto, pero con licencias particulares que es necesario conocer para adentrarnos en su uso. Uno de los sitios que se recomienda usar es el de SocArxiv, pues cuenta con un servicio gratuito de acceso, una base de datos completa y que permite a los autores obtener un DOI para su publicación. Sin mencionar la posibilidad de un contador de descargas y otras particularidades que no poseen las plataformas de ResearchGate y Academia.edu (véase Tabla N° 5.1). En la siguiente sección abordaremos en mayor profundidad su uso. Tabla 5.1: Tabla comparativa del uso de SocArXiv versus otros sitios Características ResearchGate, Academia.edu Sitio web personal Repositorio Institucional SocArXiv Acceso libre para leer Requiere Registro Si Si Si Servicio de acceso publico - sin lucro No Solo si es alojado por tu universidad Solo si es alojado por tu universidad Si Metadatos completos, incluidos coautores, DOI, ORCID, etc. Quizás No Quizás Si Enlace para el repositorio para base de datos, codigo, etc. No Solo si tu lo construyes Quizás Si Url persistente en todas las versiones - No No Si Entrega DOI para el paper - No Solo Algunos Si Contador de descargas Solo Algunos Quizás Quizás Si Contribuye al futuro de la comunicación académica abierta No Débilmente Quizás Si Fuente: Traducción propia a partir de tabla comparativa de SocArXiv. Referencias "],["herramientas-para-publicar.html", "5.3 Herramientas para publicar", " 5.3 Herramientas para publicar Imagine que usted es parte de un equipo de investigación que finalizó un estudio sobre las repercusiones socio-económicas que tuvo la pandemia de Covid-19 en el país, desarrollando un aporte significativo para la toma de decisiones en materias de políticas económicas y levantando las bases para nuevas líneas de investigación. Dado el aporte que significan para el bien público los resultados de esta investigación, es necesaria su divulgación inmediata, pero es una realidad que la publicación regular en cualquier editorial toma un periodo largo de revisión y aceptación, es por ello que una alternativa es la pre-publicación del documento en un repositorio de Acceso Abierto. En la siguiente guía abordaremos un marco de referencia para empezar a adoptar prácticas ligadas al Open Access. 5.3.1 El camino hacia la publicación Todo proyecto de investigación tiene la potencialidad de ser publicado pero, como ya se ha ido ilustrando en las secciones anteriores, publicar de manera abierta trae consigo beneficios de visibilidad e impacto social. Para desarrollar una estrategia eficaz de publicación abierta hay que seguir un flujo que se divide tres pasos, como se ilustra en la Figura N° 5.4. Este flujo inicia con la elección de la revista de Acceso Abierto, sigue con la identificación de la etapa del artículo y finaliza con la selección del servicio de publicación. Figura 5.4: Guía paso a paso para publicar libre (Elaboración propia). Paso 1: Pre-rint (Pre-publicación) Es lo que conocemos comúnmente como el borrador del artículo, el mismo que enviamos al proceso de revisión por pares. Este documento tiene la posibilidad de ser publicado en cualquier repositorio de ruta verde (pre-print server) con el objetivo de ser difundido abiertamente para permitir su disponibilidad inmediata. La gran particularidad de este método de pre-publicación es que se obtiene un código alfanumérico que identifica y ubica el documento dentro de Internet, esto se conoce como un Digital Object Identifier - DOI (Identificador de Objeto Digital en español), por lo que se convierte de manera inmediata en un documento referenciable y sin posibilidad de plagio. Algunas personas tendrán el temor de que al pre-publicar un informe de investigación, las posibilidades de que el documento sea aceptado y posteriormente publicado en una revista es menor. Sin embargo, los datos empíricos demuestran que en realidad esto no es un impedimento para su posterior publicación. En la investigación de Abdill & Blekhman (2019) que analizó cerca de 37.648 pre-print alojados en bioRxiv -una extensión centrada en biología del sitio ArXiv-, una de las grandes conclusiones tiene que ver con que la tasa de preprints publicados en 2018 alcanzó un máximo de 2,100 por mes y, de manera más específica, en la Figura N° 5.5 se puede identificar a las diez principales revistas que han publicado la mayor cantidad de pre-print. En esta figura, cada barra indica la cantidad de documentos publicados por cada revista. Figura 5.5: Destino final de los Preprint. Traducción propia en base al estudio de Abdill & Blekhman (2019) Para el caso de las ciencias sociales, el servicio de pre-print que recomendamos utilizar es SocArxiv y particularmente para la disciplina de la psicología PsyArxiv. Estos servicios permiten subir archivos PDF desde la plataforma Open Science Framework - OSF (Marco de Ciencia Abierta en español) -un software de código abierto que permite la reproducibilidad de los procesos- y de este modo se obtiene el beneficio de acceder a un DOI que asegure su correcta citación. Ambos repositorios son extensiones de ArXiv, la plataforma pionera de acceso abierto que en la actualidad alberga alrededor de dos millones de artículos categorizados en ocho áreas temáticas. ArXiv no posee tarifas asociadas a la publicación de los artículos, puesto que los documentos se someten a un proceso de clasificación y no a una revisión por pares. Paso 2: Post-print La segunda etapa es clave para el camino hacia la publicación, pues el post-print corresponde al artículo aceptado tras la revisión por pares, pero cuyo formato de presentación no ha sido adaptado al requerido. Por lo tanto no ha sido publicado de manera oficial por la revista y para lograr ello, interviene un equipo especializado de la editorial que se encarga de tales aspectos, ya sean márgenes, tipos de citación, estructura, entre otros. Hoy en día si bien son varias las editoriales que entregan la posibilidad de publicar el post-print en cualquier repositorio abierto, esto es solo tras el periodo de embargo, el cual consiste en un tiempo determinado donde la editorial se reserva los derechos patrimoniales del artículo para su distribución. Dicho esto, recomendamos tener conocimiento de las posibilidades que tiene el autor de publicar un documento previo a la publicación oficial. Paso 3: Print En la última etapa del flujo, recomendamos optar por abrir la publicación del Print (artículo final). El artículo final que es publicado oficialmente por una revista permite que la editorial conserve para sí los beneficios de los derechos patrimoniales de la obra, mientras que los equipos de investigación solo conservan el derecho al reconocimiento. Publicar en una revista de reconocimiento que integre políticas de acceso abierto brinda la posibilidad de que una vez finalizado el periodo de embargo, los autores puedan abrir sus artículos, pero no todas las revistas tienen las mismas políticas y directrices, por ello plantean formas y periodos distintos para el depósito del artículo en un repositorio abierto. Al momento de realizar el envío de un artículo a una revista cualquiera, puede ocurrir que el autor tenga que firmar un Acuerdo de Transferencia de Derechos (CTA por sus siglas en inglés), transfiriéndole al editor todo derecho sobre la obra y, por lo tanto, imposibilitando toda acción posterior del propio creador sobre la investigación. Para que la publicación dentro de una revista no afecte a la posterior decisión de abrir el acceso a una investigación, en ocasiones las editoriales plantean periodos de embargo en cuyo tiempo gozan de los beneficios económicos sobre la obra, pero al finalizar, el autor es libre de difundir en abierto su publicación. En estos casos los editores tienen una licencia que sirve únicamente para publicar, mientras que los autores deben retener para sí los derechos sobre la obra. En síntesis, para que cualquier recurso científico sea abierto, este debe contener una licencia que explicite a sus usuarios las acciones que pueden realizar sobre la obra e indicar la correcta acreditación de la fuente (Swan, 2013). 5.3.2 Revistas para publicar con Open Access Por lo general, cuando llevamos tiempo investigando y publicando tenemos ciertas nociones de las revistas a las que les puede interesar los temas que estamos trabajando o incluso tenemos ciertas certezas de las posibles revistas en las cuales nuestro proyecto tiene una mayor probabilidad de ser publicado. El paso lógico para la publicación es elegir aquella editorial donde queremos que aparezca nuestro trabajo, ya sea por reconocimiento, por recomendaciones, por el tema que trabajamos o por cualquier otro motivo que tengamos. Una vez elegida la revista, se recomienda revisar las políticas de autoarchivo y para ello recomendamos acceder a Sherpa Romeo y buscar la revista escogida. Sherpa Romeo es un sitio web que funciona como una base de datos que recopila la información básica sobre las políticas de autoría y acceso abierto de las principales revistas científicas de todo el mundo que utiliza un código de cuatro colores para diferenciar los tipos de políticas de cada revista, los que se definen en la Figura N° 5.6: Figura 5.6: Etiquetas de colores de Sherpa Romeo según tipo de acceso abierto (Elaboración propia). El mundo del Open Access es bastante grande y en ocasiones costoso, toda revista de ruta dorada posee costos de APC que deben ser financiados por los investigadores o sus patrocinantes, lo que se vuelve una barrera económica para los equipos de investigación que deseen abrir sus publicaciones, por ello el proceso de autoarchivo surge como una alternativa al alcance de cualquiera y, en su mayoría, cientistas sociales utilizan la vía verde y la diamante para depositar sus manuscritos o tesis en repositorios como Dialnet, Latindex, Scielo, Redalyc y CLACSO. Adicionalmente, existen revistas de ciencias sociales cuyo foco se encuentra en el diseño de metodologías de investigación cualitativa y que, además, poseen un alto factor de impacto, como las resumidas en la Tabla N° 5.2, pues son indexadas a Scopus (Ulloa & Mardones, 2017). Tabla 5.2: Descripción de Revistas de Open Access de orden Cualitativo Revista País Asunto o Categoría Qualitative Sociology Review Polonia Ciencias Sociales diversas The International Journal Qualitative Methods Canadá Educación Forum Qualitative Sozialforscung Alemania Ciencias Sociales diversas Fuente: Adaptación propia a partir de tabla extraída del estudio de Ulloa & Mardones (2017). 5.3.3 Pagos asociados a la publicación abierta El Open Access está redefiniendo la forma en que el capital científico se define, se moviliza y se trata. Este es un nuevo paradigma que choca con las reglas de un mercado académico que por décadas ha mantenido el monopolio económico del conocimiento científico por medio de barreras de pago, un modelo que no siempre es receptivo a alteraciones y novedades (Sadaba, 2014), pero que ha tenido la obligación de adaptarse al nuevo panorama cibernético digital. El modelo de suscripción se presenta como un muro de pago que al ser costeado permite acceder al material científico. Detrás de cada ejemplar físico existe un costo de adaptación, impresión y envío, lo que obligaba a las editoriales a publicar una cantidad determinada. Sin embargo, con el advenimiento de Internet, la digitalización y la inmediatez de la información, las razones y argumentos que daban sustento al modelo se volvieron obsoletas. La era digital permitió avanzar a pasos agigantados en el desarrollo de nuevos conocimientos, en la difusión masiva e instantánea de los trabajos académicos y, por consecuencia, abrió paso al cuestionamiento de las suscripciones pagadas como método de acceso al conocimiento. En este sentido, la declaración que tuvo lugar en Bethesda (2003) fue precisa en indicar que Internet ha cambiado fundamentalmente las realidades prácticas y económicas relacionadas con la distribución del conocimiento científico y el patrimonio cultural. En la nueva era digital, el modelo de suscripción sigue estando presente, pero convive con el paradigma del open access, el que intenta superar las barreras de pago poniendo la responsabilidad de la apertura del conocimiento en el propio autor. Algunos repositorios de ruta dorada e híbrida solicitan un pago de APC para publicar en acceso abierto, esto corresponde a un modelo de negocios cuyo propósito es financiar los gastos asociados a la gestión de la publicación. En estricto rigor, no existe un monto estandarizado del APC, por lo que su costo dependerá únicamente de la revista. Su valor fluctúa según el pago de impuestos adicionales, lo que se puede evidenciar en la Tabla N° 5.3. Según Socha (2018), de las revistas de mayor renombre en la industria académica como Elsevier, Springer, Wiley y Taylor & Francis se han adscrito al acceso abierto cobrando a los autores un costo de APC pero manteniendo su modelo de suscripción. Tabla 5.3: Fluctuación del precio en dolares del APC en las principales revistas científicas Repositorio APC mínimo APC máximo ¿Open Acces o Híbrido? ELSEVIER $100 $5.000 Híbrido SPRINGER $3.000 $3.000 Híbrido WILEY $1.300 $5.200 Híbrido Taylor y Francis $500 $2.950 Open Access Fuente: Adaptación propia a partir de información recopilada en University of Cambridge (2018). Spinak (2019) indica que tanto en Estados Unidos como en países Europeos ha habido un aumento exponencial del costo del APC a través de los años. A modo de ejemplo, el APC promedio de 319 revistas asociadas a las editoriales BMC, Frontiers, MDPI e Hindawi aumentó entre 2,5 y 6 veces la inflación entre el 2012 y el 2018, al alero de un considerable crecimiento en la cantidad de volúmenes que paso de 58.007 hasta 127.528 en aquellos años. Los editores han admitido que el costo del APC lo fijan según el valor económico de la revista que es atribuido según el valor de impacto. La introducción de un sistema de pagos por procesamiento de artículos hace frente al modelo de suscripción, pero no logra reemplazarlo. En cambio, funciona de manera paralela dentro del mercado científico, presentándose como una nueva barrera que obstaculiza la decisión de abrir las publicaciones de aquellas investigaciones que son autónomas o que dispongan de un presupuesto acotado. Los APC tienen sus propios cuestionamientos y uno de ellos refiere a que el pago no tiene mucho que ver con el procesamiento y posterior publicación del artículo, sino que más bien los equipos de investigación pagan por el reconocimiento de ser publicados en una revista de alto factor de impacto (Velterop, 2018). Pareciera ser que el nuevo ciclo de la ciencia que apuntaba a la democratización del conocimiento se vio inmerso en las lógicas económicas en donde las editoriales obtienen los principales beneficios monetarios. ¿Pagar por hacer ciencia o pagar por reconocimiento? Claro esta que existen otras vías gratuitas para publicar de manera abierta, sin embargo la ciencia -y principalmente las ligadas a la medicina, la física y las matemáticas- ha tenido la necesidad imperiosa de ser creíble, reconocida y citada, y por ello existe una mayor competencia en torno al reconocimiento que otorga la publicación en revistas de alto impacto. Sin embargo, el quehacer en pos del conocimiento y su disposición como bien público para la sociedad y su desarrollo poco tiene que ver con una distinción simbólica que sirve dentro del mundo científico. La ciencia social, a diferencia de las ciencias exactas, se ha podido desarrollar con mayor libertad por medio de las vías gratuitas en importantes repositorios de ruta verde, como es el ejemplo del caso latinoamericano que profundizaremos en la siguiente sección. Referencias "],["cuál-es-el-destino-de-las-ciencias-sociales-en-el-mundo-del-open-access.html", "5.4 ¿Cuál es el destino de las ciencias sociales en el mundo del Open Access?", " 5.4 ¿Cuál es el destino de las ciencias sociales en el mundo del Open Access? La dicotomía entre ciencias naturales y sociales es una discusión epistemológica de años que no solo remite al objeto de estudio, sino que también a las metodologías de investigación, a los criterios de validez y quizás lo más importante, a la reflexión en torno al carácter objetivo de la propia ciencia. Es claro que el movimiento del Open Access no pretende dar respuestas ni reflexiones profundas sobre este tipo de cuestionamientos de orden epistemológico, y aunque se abre en extenso como una herramienta que sirve para la libre difusión de los conocimientos en el plano de Internet, una cosa es clara y es que las ciencias sociales han llegado algo tarde en comparación a las ciencias exactas (Sadaba, 2014). La comunidad científica ligada al campo de lo social ha hecho los esfuerzos por adquirir prácticas abiertas y, de este modo, han comenzado a trazar una próspera trayectoria en el campo del Open Access con un fuerte componente político. Las barreras de pago no son el único obstáculo que enfrenta la libre circulación del conocimiento científico, Banzato (2019) indica que la industria editorial ha instalado la idea de una ciencia del centro o bien denominada mainstream, un concepto consolidado globalmente gracias al trabajo hecho por los servicios de Web Of Science WoS y Scopus que han creado indicadores bibliométricos que segmentan a las investigaciones científicas, fomentan el uso del inglés como la lengua ilustre de la ciencia, entregan prestigio a aquellos trabajos que siguen los estándares de publicación y son indexadas en las revistas de gran renombre. En suma, generan un sistema restrictivo donde existe poca representatividad de las revistas de ciencias sociales. Según Beigel (2018), las bases de datos comerciales no solo contribuyeron en la ilusión de una ciencia del centro, sino que también desarrollaron la idea de un tipo de ciencia Periférica, que refiere al trabajo que se reclusa en el terreno de la academia regional-local (como es el caso Latinoamericano). Este tipo de ciencia se indexa en revistas subvaloradas y comprendidas como endogámicas y de baja calidad, pues en su gran mayoría producen y re-producen el conocimiento dentro de la propia región, teniendo así un rol subsidiario en el desarrollo de la ciencia y no protagónico como es el caso anterior. La apuesta del Open Access de hacer frente al oligopolio de la industria editorial y lograr un cambio sociocultural en la ciencia a menudo tiene que luchar con condiciones sociales, culturales y económicas que terminan modelando la forma en que los cambios tecnológicos se convierten en cambios sociales. Por ello el Open Access es un proceso diferencial no solo entre las disciplinas, sino que también entre las zonas geográficas y las distintas regiones del mundo (Sadaba, 2014). La globalización y el auge de Internet por sí mismos no democratizan ni permiten la distribución equitativa del conocimiento, por ello es importante adscribir a las palabras de Babini (2014), coordinadora del programa de acceso abierto de CLACSO, quien hace un llamado a la comunidad científica de tomar responsabilidad por gestionar comunicaciones académicas no comerciales, cuyo objetivo sea permitir que el conocimiento se convierta en un bien público y, por lo tanto, se gestione como tal. La experiencia latinoamericana ha logrado arribar en el puerto de la ruta verde de una forma similar al contexto anglosajón, en el estudio de Piwowar et al. (2019) se evidencia que tanto en ciencias sociales como en psicología se utiliza mayoritariamente la ruta verde para la publicación abierta (véase Figura N° 5.7). Para el caso Latinoamericano, se ha creado una estructura no comercial donde la publicación libre es manejada por institutos de investigación sin fines de lucro o por universidades estatales, dando forma a un ecosistema sustentado por Open Journals Systems (Sistema de Revistas Abiertas en español), un software libre que entrega herramientas para la administración de plataformas digitales como Latindex, Redalyc y Scielo, los principales exponentes del Open Access en la región según Becerril García & Aguado López (2019). Estas plataformas sirvieron de trampolín para el desarrollo de la ciencia abierta de tipo no comercial, una distinción propia de Latinoamérica (Beigel, 2021). Figura 5.7: Piwowar, H. et al. (2019). Porcentaje de diferentes tipos de acceso de una muestra aleatoria de artículos y reseñas de WoS con un DOI publicado entre 2009 y 2015 por disciplina (Traducción propia). Algunas personas ligaran de manera exclusiva el Open Acces a metodologías de carácter cuantitativo, desconfiando del uso de estas técnicas para la investigación cualitativa con el temor de la pérdida de confidencialidad o el reproche sobre la toma de decisiones metodológicas. La evidencia levantada por Mardones et al. (2018) demuestra que existen experiencias cualitativas de trabajos publicados en abierto que no tienen repercusiones negativas, aún cuando estos declaran y describen sus diseños. Ello demuestra que la publicación abierta no afecta la particularidad y flexibilidad del diseño, siempre y cuando este se dirija con el fin de develar el fenómeno de estudio. Taylor (2020) realizó un análisis sistemático de la publicación en abierto de libros y capítulos en el área de las ciencias sociales, pues ha habido una falta de atención en la publicación de libros en abierto, muy por el contrario al análisis que se realiza casi por completo a artículos y revistas. Este estudio comprende la existencia de un gran número de científicos sociales que se abocan a publicar en libros y, dentro de los resultados de la investigación, se evidencia que el número de libros y capítulos publicados en acceso abierto es mucho más bajo que el de los artículos. Sin embargo, a través de los años ha ido en un ligero incremento, siendo estos en su gran mayoría de las disciplinas de la psicología y la economía, y en último lugar, textos del área de la filosofía. Lo anterior no solo evidencia un auge constante de la publicación de libros y capítulos en abierto, también da cuenta de que al igual que en el panorama general, dentro de las humanidades y las ciencias sociales ocurre una dicotomía entre las disciplinas. Las revistas académicas y los repositorios antes mencionados son administrados, dirigidos y financiados por instituciones académicas o por organismos no gubernamentales sin fines de lucro -como es el caso del Centro Latinoamericano de Ciencias Sociales (CLACSO)-, por lo que no se incluyen tarifas ni para autores ni para lectores. América Latina ha desarrollado una suerte de ecosistema en red, que se configura cómo un espacio virtual donde los miembros de las universidades ponen a disposición el contenido intelectual en repositorios de sus casas de estudio, los cuales a su vez se encuentran interconectados a otros repositorios académicos. Un ejemplo claro de ello es LaReferencia que integra más de 1.3 millones de archivos según Becerril García & Aguado López (2019). En términos de políticas públicas, los organismos estatales han desarrollado leyes que promueven el uso de prácticas abiertas en el desarrollo de investigaciones con fondos estatales, sin embargo, por lo que señala Becerril García & Aguado López (2019), los mandatos tienden a ser aún muy débiles y operan como sugerencias más que como obligaciones metodológicas. Otra debilidad indicada por el mismo estudio da cuenta de que la mayoría de los sistemas de validación social de las investigaciones descansan en el renombre de la revista, aún cuando estas se encuentren lejos de las discusiones locales o bien ajenas a los contextos latinoamericanos. El destino de las ciencias sociales en el mundo del Open Access es bastante amplio. Los beneficios que entrega este paradigma no solo contribuyen a la difusión y amplio reconocimiento de la obra y de su autoría, también aportan a la apertura del conocimiento científico que sirve a nivel local en la toma de decisiones, en la consecución de estrategias políticas y a nivel regional en tanto aporta al desarrollo cultural y económico de la sociedad en su conjunto. Sin duda, el camino que han trazado otras personas sigue su curso e invita no solo a investigadores a incurrir en este tipo de prácticas, sino que también pone la responsabilidad en las instituciones universitarias y gubernamentales en proporcionar las herramientas, guías y conocimientos necesarios para que el Open Access sea una alternativa viable por la cual la ciencia y el conocimiento se transformen. Referencias "],["conclusión.html", "Capítulo 6 Conclusión", " Capítulo 6 Conclusión Este libro se plantea como objetivo resaltar los principales elementos que revisten de importancia a la Ciencia Abierta y, a partir de ello, se pretende constituir como una guía para los científicos sociales que quieran suscribirse bajo los principios de la Ciencia Social Abierta. Los cuatro principios que guían este libro se posicionan como las prácticas y experiencias de mayor relevancia para superar la crisis de la ciencia actual (Breznau, 2021), donde el conocimiento científico es menos confiable producto de prácticas antiéticas en el proceso de investigación. A lo largo de este libro se han señalado las principales herramientas que permitirán posicionar su investigación dentro de los márgenes de la Ciencia Abierta, como los preregistros, preprints, el uso de software libres, estándares de calidad para publicación de los datos de la investigación, entre otros. En suma, estas herramientas permiten que su investigación adquiera un estándar mínimo de calidad, robustez y confianza, siempre en miras de lograr una mayor transparencia del diseño de investigación, una correcta apertura de los datos recopilados, un proceso de análisis que sea reproducible y una publicación de hallazgos y resultados que esté abierta a la comunidad científica y al público en general. Se hace necesario avanzar en una mayor divulgación de estas prácticas y herramientas para así lograr hacer de ellas una experiencia cotidiana dentro de la investigación en las Ciencias Sociales empíricas. De esta forma, se podrán elaborar investigaciones más confiables que erradiquen las prácticas antiéticas a lo largo de todo el proceso de investigación. Finalmente, nuestra aspiración es que este trabajo quede abierto y expuesto a la crítica, comentarios y propuestas. Por esta razón es que, si bien no se ha seguido un proceso de investigación con un diseño de investigación, recopilación de datos y análisis de resultados, el texto que constituye a este libro se encuentra en un repositorio público (https://github.com/lisa-coes/lisa-book). De este modo, quien se interese por revisar, replicar o corregir lo que se expone en este libro podrá hacerlo con la mayor facilidad y transparencia posible. Referencias "],["referencias.html", "Referencias", " Referencias "],["404.html", "Page not found", " Page not found The page you requested cannot be found (perhaps it was moved or renamed). You may want to try searching to find the page's new location, or use the table of contents to find the page you are looking for. "]]
diff --git a/docs/sobre-la-transparencia.html b/docs/sobre-la-transparencia.html
index aae1d8a..3b03699 100644
--- a/docs/sobre-la-transparencia.html
+++ b/docs/sobre-la-transparencia.html
@@ -140,6 +140,7 @@
3.1 Ventajas de la apertura de datos de investigación social
Las ventajas de la apertura de datos son varias. A continuación nos centramos en los tres puntos que consideramos más relevantes: las características éticas, la contribución a la calidad y la eficiencia científica y otros incentivos personales importantes de considerar.
-
Ética:
+
Ética:
-
Es justo que el público general tenga acceso a los datos producidos especialmente cuando estos son producidos con fondos públicos (Bueno, 2017). Cabe destacar que Chile gasta aproximadamente $668.551 MM de pesos, lo cual equivale a un 0,35% del producto interno bruto.
-
La apertura de los datos fomenta la ética investigativa y la confiabilidad, reduce el fraude y aumenta el valor de la sociología para los políticos y el público (Breznau, 2019).
+
Es justo que el público general tenga acceso a los datos producidos, especialmente cuando estos son producidos con fondos públicos (Bueno, 2017). Cabe destacar que Chile gasta aproximadamente $668.551 MM de pesos en investigaciones científicas, lo cual equivale a un 0,35% del producto interno bruto.
+
La apertura de los datos fomenta la ética investigativa y la confiabilidad, reduce el fraude y aumenta el valor de las ciencias sociales para los políticos y el público en general (Breznau, 2019).
Calidad y eficiencia científica:
Dejar la base de datos a libre disposición permite hacer evaluaciones sobre la rigurosidad de los resultados mediante la reproducibilidad, mejorando la calidad y la confianza en la ciencia (UNESCO, 2020).
-
Fomenta que más investigadores utilicen los datos y produzcan información (Whyte y Pryor, 2011), aumentando la colaboración y con ello la innovación científica, según señala el Foro Abierto de Ciencias Latinoamérica y el Caribe CILIAC (Ramírez & Samoilovich, 2019).
+
Fomenta que más investigadores utilicen los datos y produzcan información (Whyte & Pryor, 2011), aumentando la colaboración y con ello la innovación científica, según señala el Foro Abierto de Ciencias Latinoamérica y el Caribe CILIAC (Ramírez & Samoilovich, 2019).
Considerando que los recursos públicos asignados a investigación son escasos, la apertura de las bases de datos permite su reutilización y por ello ahorra recursos en la construcción de bases de datos, fomentando la eficiencia fiscal (Gómez et al., 2016).
Facilita la preservación de información para estudios históricos que recopilen evidencia de larga data. Almacenar los datos permite resguardar el conocimiento producido a generaciones futuras.
Poder acceder a los productos, procesos y discusiones propias de la investigación cualitativa, puede ayudar pedagógicamente a la formación universitaria, dando una idea más clara de lo que implica una investigación (Bishop & Kuula-Luumi, 2017).
@@ -193,17 +194,17 @@
3.1 Ventajas de la apertura de da
Incentivos personales:
Publicar los datos de la investigación fomenta un mayor impacto y visibilidad. Como señala la evidencia producida por Piwowar & Vision (2013) una investigación que comparte sus datos puede ser citada un 30% más que una que no lo hace.
-
Compartir el diseño de investigación, las hipótesis y los datos puede fomentar comentarios constructivos respecto a la dirección de la investigación, ayudando a mejorar la calidad del material (Sharan, 2020).
+
Compartir el diseño de investigación, las hipótesis y los datos puede fomentar comentarios constructivos por parte de otros/as investigadores, respecto a la dirección de la investigación, ayudando a mejorar la calidad de la publicación final (Sharan, 2020) y con ello, mejorar también la visibilidad e impacto de la investigación.
Pese a las ventajas otorgadas por la apertura de la información producida, los investigadores poseen reticencias a la hora de publicar abiertamente “sus” datos (Ferguson, 2014). Estas reticencias de los investigadores, según Sharan (2020), pueden ser consideradas más bien mitos, los cuales se sustentan en prenociones que no corresponden a la realidad. A continuación, se destacan algunos de estos mitos y las razones de por qué podemos considerarlos como tal.
-
“Preocupación a las consecuencias negativas” (mal uso, consecuencias legales o comerciales).
+
Mito 1: “Preocupación a las consecuencias negativas” (mal uso, consecuencias legales o comerciales).
En parte este problema se soluciona mediante el uso adecuado de licencias, las cuales pueden restringir el uso para ciertos fines. Además, para disminuir el posible mal uso, la preparación de datos incluye hacer anónimos los datos. Respecto a las consecuencias legales, hay que considerar que en general estas investigaciones son financiadas con fondos públicos o por instituciones humanitarias, los cuales en el contexto actual fomentan en general la apertura de los datos.
-
Temor a la falta del reconocimiento debido de su trabajo.
+
Mito 2: Temor a la falta del reconocimiento debido de su trabajo.
Como señalamos anteriormente, lejos de quitarle merito a su trabajo y disminuir su reconocimiento, el preparar y publicar los datos de modo adecuado puede ayudar a difundir la investigación y aumentar el número de citas. Además, usted también puede nutrirse de las investigaciones sobre sus datos.
-
Disgusto frente a la carga de trabajo que implica preparar los datos para su publicación.
+
Mito 3: Disgusto frente a la carga de trabajo que implica preparar los datos para su publicación.
Sin duda esta es una aprensión comprensible, no obstante, cada vez existen más herramientas que facilitan la labor de la preparación de datos cualitativos y cuantitativos. Por ejemplo, este documento le ayudará a disminuir dicha carga. Además, hay que considerar que si bien aumenta la carga de trabajo actual, disminuye la futura en tanto la buena documentación de los datos también le permitirán a usted volver a trabajar con ellos en el futuro o con datos de otra investigación.
-
Desconocimiento de cómo y dónde compartir los datos.
+
Mito 4: Desconocimiento de cómo y dónde compartir los datos.
Esta razón, igual de comprensible, es parte de una cultura académica poco acostumbrada al trabajo colaborativo. Por ello, debemos aprender sobre plataformas que faciliten compartir nuestros datos de investigación. Para ello, este trabajo ofrece una guía para preparar los datos y sobre como subirlos a la plataforma de ciencia abierta Open Science Framework.
En miras de las dudas más comprensibles de los investigadores señaladas (Ferguson, 2014; Sharan, 2020) y de la necesidad tanto ética como legal de avanzar hacia la apertura de datos en el contexto chileno, el presente documento busca facilitar la introducción al almacenamiento y publicación abierta de datos. Se busca entregar información para resolver los cuatro puntos señalados, dando cuenta de lo que debe hacerse para disminuir los riesgos, fomentar el reconocimiento del trabajo propio, facilitar el mejoramiento de la calidad de los datos y entregar información sobre dónde y cómo compartir los datos.
Para ello, este documento ofrece una propuesta de pasos a seguir para mejorar la calidad de los materiales de investigación producidos antes de publicarla en la web. Esta propuesta busca conciliar los estándares considerados óptimos en materia de almacenamiento y preservación de datos con la realidad de las capacidades y herramientas de los investigadores chilenos en ciencias sociales. Dicho de otro modo, proponemos una lista de tareas a realizar para cumplir con los mínimos necesarios para mejorar la calidad de los datos a publicar.
@@ -227,7 +228,7 @@
Referencias
Gómez, N. D., Méndez Rodríguez, E. M., & Hernández Pérez, A. (2016). Datos y Metadatos de Investigación En Ciencias Sociales y Humanidades: Una Aproximación Desde Los Repositorios Temáticos de Datos.
-
Piwowar, H. A., & Vision, T. J. (2013). Data Reuse and the Open Data Citation Advantage. PeerJ, 1, e175. https://doi.org/10.7717/peerj.175
+
Piwowar, H. A., & Vision, T. J. (2013). Data reuse and the open data citation advantage. PeerJ, 1, e175. https://doi.org/10.7717/peerj.175
Ramírez, P., & Samoilovich, D. (2019). Ciencia Abierta. Reporte Para Tomadores de Decisiones.
@@ -238,6 +239,9 @@
Referencias
UNESCO. (2020). Qué Es Ciencia Abierta? UNESCO Lanza Consulta Global.
+
+
Whyte, A., & Pryor, G. (2011). Open Science in Practice: Researcher Perspectives and Participation. International Journal of Digital Curation, 6(1), 199-213. https://doi.org/10.2218/ijdc.v6i1.182
+
diff --git a/images/flujo-reproducibilidad.drawio.pdf b/images/flujo-reproducibilidad.drawio.pdf
new file mode 100644
index 0000000..4e8903d
Binary files /dev/null and b/images/flujo-reproducibilidad.drawio.pdf differ
diff --git a/input/bib/lisacoes.bib b/input/bib/lisacoes.bib
index 9321bf6..8afba27 100644
--- a/input/bib/lisacoes.bib
+++ b/input/bib/lisacoes.bib
@@ -4,7 +4,7 @@ @misc{__
}
@misc{_figueiredo_2021,
- title = {Figueiredo, {{Martinovic}}, {{Rees}}, and {{Licata}}: {{Collective Memories}} and {{Present}}-{{Day Intergroup Relations}}: {{Introduction}} to the {{Special Thematic Section}}},
+ title = {Figueiredo, {{Martinovic}}, {{Rees}}, and {{Licata}}: Collective {{Memories}} and {{Present}}-{{Day Intergroup Relations}}: Introduction to the {{Special Thematic Section}}},
shorttitle = {Figueiredo, {{Martinovic}}, {{Rees}}, and {{Licata}}},
year = {2021},
month = jun,
@@ -13,14 +13,14 @@ @misc{_figueiredo_2021
}
@misc{_impact_2021,
- title = {The Impact of a Multicultural Exchange between Indigenous and Non-Indigenous History Teachers for Students' Attitudes: Preliminary Evidence from a Pilot Study in {{Chile}}: {{Multicultural Education Review}}: {{Vol}} 12, {{No}} 3},
+ title = {The Impact of a Multicultural Exchange between Indigenous and Non-Indigenous History Teachers for Students' Attitudes: Preliminary Evidence from a Pilot Study in {{Chile}}: Multicultural {{Education Review}}: Vol 12, {{No}} 3},
year = {2021},
month = jun,
howpublished = {https://www.tandfonline.com/doi/abs/10.1080/2005615X.2020.1808927}
}
@misc{_increasing_,
- title = {Increasing the {{Credibility}} of {{Political Science Research}}: {{A Proposal}} for {{Journal Reforms}}-{{Web}} of {{Science Core Collection}}},
+ title = {Increasing the {{Credibility}} of {{Political Science Research}}: A {{Proposal}} for {{Journal Reforms}}-{{Web}} of {{Science Core Collection}}},
howpublished = {https://www-webofscience-com.uchile.idm.oclc.org/wos/woscc/full-record/WOS:000359291900014}
}
@@ -29,7 +29,7 @@ @misc{_retraction_
journal = {Retraction Watch},
abstract = {Tracking retractions as a window into the scientific process},
howpublished = {https://retractionwatch.com/},
- language = {en-US}
+ langid = {american}
}
@misc{_web_,
@@ -53,7 +53,7 @@ @book{abrilruiz_manzanas_2019
author = {Abril Ruiz, Angel},
year = {2019},
isbn = {978-1-07-075536-6},
- language = {Spanish},
+ langid = {spanish},
annotation = {OCLC: 1120499121}
}
@@ -71,12 +71,12 @@ @article{aczel_consensusbased_2020
doi = {10.1038/s41562-019-0772-6},
abstract = {We present a consensus-based checklist to improve and document the transparency of research reports in social and behavioural research. An accompanying online application allows users to complete the form and generate a report that they can submit with their manuscript or post to a public repository.},
copyright = {2019 The Author(s)},
- language = {en},
+ langid = {english},
keywords = {forrt,herramienta}
}
@misc{agencianacionaldeinvestigacionydesarrollo_consulta_2020,
- title = {Consulta {{P\'ublica}}: {{Pol\'itica Acceso Abierto}} a {{Informaci\'on Cient\'ifica}}},
+ title = {Consulta {{P\'ublica}}: Pol\'itica {{Acceso Abierto}} a {{Informaci\'on Cient\'ifica}}},
author = {{Agencia Nacional de Investigaci{\'o}n y Desarrollo}, (ANID)},
year = {2020}
}
@@ -94,7 +94,7 @@ @article{agnoli_questionable_2017
issn = {1932-6203},
doi = {10.1371/journal.pone.0172792},
abstract = {A survey in the United States revealed that an alarmingly large percentage of university psychologists admitted having used questionable research practices that can contaminate the research literature with false positive and biased findings. We conducted a replication of this study among Italian research psychologists to investigate whether these findings generalize to other countries. All the original materials were translated into Italian, and members of the Italian Association of Psychology were invited to participate via an online survey. The percentages of Italian psychologists who admitted to having used ten questionable research practices were similar to the results obtained in the United States although there were small but significant differences in self-admission rates for some QRPs. Nearly all researchers (88\%) admitted using at least one of the practices, and researchers generally considered a practice possibly defensible if they admitted using it, but Italian researchers were much less likely than US researchers to consider a practice defensible. Participants' estimates of the percentage of researchers who have used these practices were greater than the self-admission rates, and participants estimated that researchers would be unlikely to admit it. In written responses, participants argued that some of these practices are not questionable and they have used some practices because reviewers and journals demand it. The similarity of results obtained in the United States, this study, and a related study conducted in Germany suggest that adoption of these practices is an international phenomenon and is likely due to systemic features of the international research and publication processes.},
- language = {en},
+ langid = {english},
keywords = {Behavior,Experimental psychology,Italian people,Psychologists,Psychology,Psychometrics,Questionnaires,United States}
}
@@ -111,12 +111,12 @@ @article{allen_open_2019
issn = {1545-7885},
doi = {10.1371/journal.pbio.3000246},
abstract = {The movement towards open science is a consequence of seemingly pervasive failures to replicate previous research. This transition comes with great benefits but also significant challenges that are likely to affect those who carry out the research, usually early career researchers (ECRs). Here, we describe key benefits, including reputational gains, increased chances of publication, and a broader increase in the reliability of research. The increased chances of publication are supported by exploratory analyses indicating null findings are substantially more likely to be published via open registered reports in comparison to more conventional methods. These benefits are balanced by challenges that we have encountered and that involve increased costs in terms of flexibility, time, and issues with the current incentive structure, all of which seem to affect ECRs acutely. Although there are major obstacles to the early adoption of open science, overall open science practices should benefit both the ECR and improve the quality of research. We review 3 benefits and 3 challenges and provide suggestions from the perspective of ECRs for moving towards open science practices, which we believe scientists and institutions at all levels would do well to consider.},
- language = {en},
+ langid = {english},
keywords = {Careers,Experimental design,Neuroimaging,Open data,Open science,Peer review,Reproducibility,Statistical data}
}
@article{allison_reproducibility_2018,
- title = {Reproducibility of Research: {{Issues}} and Proposed Remedies},
+ title = {Reproducibility of Research: Issues and Proposed Remedies},
shorttitle = {Reproducibility of Research},
author = {Allison, David B. and Shiffrin, Richard M. and Stodden, Victoria},
year = {2018},
@@ -139,7 +139,7 @@ @book{alperin_indicadores_2014
abstract = {El mundo hoy en d\'ia cuenta con frases como ``muerte de la distancia'' lo que sugiere que la distancia ya no es un factor limitante en la capacidad de las personas para interactuar y comunicarse. Otro aforismo es que el mundo est\'a ``aplanado'' en t\'erminos de oportunidades, que son facilitadas por el avance de las Tecnolog\'ias de la Comunicaci\'on y de la Informaci\'on (TIC) que han permitido la convergencia de los consorcios y recursos de conocimiento de todo el mundo. A medida que las sociedades se van transformando, los paisajes del conocimiento y su interacci\'on dentro y entre las sociedades tambi\'en est\'an cambiando.},
copyright = {Creative Commons Attribution 4.0 International, Open Access},
isbn = {978-987-722-042-1},
- language = {es}
+ langid = {spanish}
}
@article{an_crisis_2018,
@@ -154,7 +154,7 @@ @article{an_crisis_2018
issn = {1522-9602},
doi = {10.1007/s11538-018-0497-0},
abstract = {The ``Crisis of Reproducibility'' has received considerable attention both within the scientific community and without. While factors associated with scientific culture and practical practice are most often invoked, I propose that the Crisis of Reproducibility is ultimately a failure of generalization with a fundamental scientific basis in the methods used for biomedical research. The Denominator Problem describes how limitations intrinsic to the two primary approaches of biomedical research, clinical studies and preclinical experimental biology, lead to an inability to effectively characterize the full extent of biological heterogeneity, which compromises the task of generalizing acquired knowledge. Drawing on the example of the unifying role of theory in the physical sciences, I propose that multi-scale mathematical and dynamic computational models, when mapped to the modular structure of biological systems, can serve a unifying role as formal representations of what is conserved and similar from one biological context to another. This ability to explicitly describe the generation of heterogeneity from similarity addresses the Denominator Problem and provides a scientific response to the Crisis of Reproducibility.},
- language = {en},
+ langid = {english},
keywords = {crisis}
}
@@ -169,12 +169,12 @@ @article{andrea_why_2018
issn = {0016-3287},
doi = {10.1016/j.futures.2018.07.006},
abstract = {A science war is in full swing which has taken science's reproducibility crisis as a battleground. While conservatives and corporate interests use the crisis to weaken regulations, their opponent deny the existence of a science's crisis altogether. Thus, for the conservative National Association of Scholars NAS the crisis is real and due to the progressive assault on higher education with ideologies such as ``neo-Marxism, radical feminism, historicism, post-colonialism, deconstructionism, post-modernism, liberation theology''. In the opposite field, some commentators claim that there is no crisis in science and that saying the opposite is irresponsible. These positions are to be seen in the context of the ongoing battle against regulation, of which the new rules proposed at the US Environmental Protection Agency (EPA) are but the last chapter. In this optic, Naomi Oreskes writes on Nature that what constitutes the crisis is the conservatives' attack on science. This evident right-left divide in the reading of the crisis is unhelpful and dangerous to the survival of science itself. An alternative reading ignored by the contendents would suggest that structural contradictions have emerged in modern science, and that addressing these should be the focus of our attention.},
- language = {en},
+ langid = {english},
keywords = {crisis,Evidence-based policy,History and philosophy of science,Post-normal science,Science and technology studies,Science’s crisis,Science’s reproducibility,Science’s war,Scientism}
}
@article{angell_publish_1986,
- title = {Publish or {{Perish}}: {{A Proposal}}},
+ title = {Publish or {{Perish}}: A {{Proposal}}},
shorttitle = {Publish or {{Perish}}},
author = {Angell, Marcia},
year = {1986},
@@ -220,7 +220,7 @@ @article{anvari_replicability_2018
}
@article{armeni_widescale_2021,
- title = {Towards Wide-Scale Adoption of Open Science Practices: {{The}} Role of Open Science Communities},
+ title = {Towards Wide-Scale Adoption of Open Science Practices: The Role of Open Science Communities},
shorttitle = {Towards Wide-Scale Adoption of Open Science Practices},
author = {Armeni, Kristijan and Brinkman, Loek and Carlsson, Rickard and Eerland, Anita and Fijten, Rianne and Fondberg, Robin and Heininga, Vera E and Heunis, Stephan and Koh, Wei Qi and Masselink, Maurits and Moran, Niall and Baoill, Andrew {\'O} and Sarafoglou, Alexandra and Schettino, Antonio and Schwamm, Hardy and Sjoerds, Zsuzsika and Teperek, Marta and {van den Akker}, Olmo R and {van't Veer}, Anna and {Zurita-Milla}, Raul},
year = {2021},
@@ -240,7 +240,7 @@ @inproceedings{babini_universidades_2014
pages = {1--3},
publisher = {{2015}},
abstract = {Las universidades est\'an en condiciones tener mayor protagonismo en la construcci\'on de un acceso abierto global cooperativo no comercial, sustentable e inclusivo. Pueden: desarrollar sus propios portales con las revistas que publica cada universidad, crear repositorios digitales institucionales que reflejen la propia producci\'on cient\'ifica y acad\'emica de cada instituci\'on disponible gratis en texto completo, participar activamente en los sistemas nacionales de repositorios de sus pa\'ises, aportar una revisi\'on cr\'itica de las actuales modalidades de evaluaci\'on de la investigaci\'on.},
- language = {es}
+ langid = {spanish}
}
@article{baker_500_2016,
@@ -257,7 +257,7 @@ @article{baker_500_2016
doi = {10.1038/533452a},
abstract = {Survey sheds light on the `crisis' rocking research.},
copyright = {2016 Nature Publishing Group},
- language = {en},
+ langid = {english},
keywords = {crisis}
}
@@ -292,7 +292,7 @@ @article{banzato_soberania_2019
volume = {18},
pages = {1--18},
abstract = {Desde el comienzo de la era digital, determinadas pol\'iticas de gesti\'on de la ciencia han incrementado las inequidades en las condiciones de producci\'on del conocimiento y en las posibilidades de di\'alogo entre los colectivos de investigadores. A fines del siglo XX y principios del XXI se inici\'o una reacci\'on en las m\'as prestigiosas bibliotecas y comunidades cient\'ificas de Am\'erica del Norte y Europa Occidental, y Am\'erica Latina comenz\'o el desarrollo de sistemas de visibilidad propios, al tiempo que sucesivas declaraciones fueron definiendo al Acceso Abierto como estrategia para superar tales inequidades. En esta direcci\'on, se han desarrollado revistas en Acceso Abierto cuya sustentabilidad est\'a siendo puesta a prueba. Este trabajo presenta un breve estado de situaci\'on actualizado sobre algunos problemas que enfrentan los autores, evaluadores y editores latinoamericanos en la gesti\'on y publicaci\'on de los resultados de las investigaciones. Asimismo, en \'el se argumenta en pro del Acceso Abierto como herramienta primordial para garantizar la soberan\'ia del conocimiento en el Sur Global, y se sostiene que la propuesta colaborativa para la construcci\'on conjunta de un sistema sustentable de edici\'on cient\'ifica en Acceso Abierto puede ayudar a superar las inequidades en la producci\'on y difusi\'on del conocimiento latinoamericano},
- language = {es}
+ langid = {spanish}
}
@article{barba_terminologies_2018,
@@ -327,7 +327,7 @@ @misc{beigel_america_2021
journal = {The Conversation},
abstract = {Para hacer frente a los retos del pr\'oximo siglo \textendash desde las pandemias hasta el cambio clim\'atico, pasando por la automatizaci\'on y el big data\textendash, la ciencia debe estar abierta a todas las personas del mundo. La ciudadan\'ia deben tener el mismo acceso a la informaci\'on que los investigadores, y estos necesitan acceder a repositorios de conocimiento de alta calidad e interconectados para avanzar en nuestra comprensi\'on del mundo que nos rodea.},
copyright = {Creative Commons 3.0},
- language = {es}
+ langid = {spanish}
}
@article{beigel_relaciones_2018,
@@ -340,7 +340,7 @@ @article{beigel_relaciones_2018
pages = {13--28},
issn = {0251-3552},
abstract = {Los rankings universitarios se crearon principalmente para intervenir en los flujos internacionales de estudiantes, pero se convirtieron progresivamente en una fuente directa para reforzar el prestigio de un peque\~no grupo de universidades, de sus principales revistas y editoriales oligop\'olicas. Su aplicaci\'on tiende a volver cada vez m\'as perif\'erica a la ciencia desarrollada en los espacios alejados del circuito mainstream o de corriente principal. Por eso es necesario crear nuevas herramientas de medici\'onde la producci\'on cient\'ifica de la periferia que contemplen las interacciones de sus universidades en sus distintas direcciones, y no solo con los circuitos dominantes.},
- language = {es}
+ langid = {spanish}
}
@article{benjamin-chung_internal_2020,
@@ -354,11 +354,11 @@ @article{benjamin-chung_internal_2020
issn = {2572-4754},
doi = {10.12688/gatesopenres.13108.2},
abstract = {Failures to reproduce research findings across scientific disciplines from psychology to physics have garnered increasing attention in recent years. External replication of published findings by outside investigators has emerged as a method to detect errors and bias in the published literature. However, some studies influence policy and practice before external replication efforts can confirm or challenge the original contributions. Uncovering and resolving errors before publication would increase the efficiency of the scientific process by increasing the accuracy of published evidence. Here we summarize the rationale and best practices for internal replication, a process in which multiple independent data analysts replicate an analysis and correct errors prior to publication. We explain how internal replication should reduce errors and bias that arise during data analyses and argue that it will be most effective when coupled with pre-specified hypotheses and analysis plans and performed with data analysts masked to experimental group assignments. By improving the reproducibility of published evidence, internal replication should contribute to more rapid scientific advances.},
- language = {en}
+ langid = {english}
}
@article{benning_registration_2019,
- title = {The {{Registration Continuum}} in {{Clinical Science}}: {{A Guide Toward Transparent Practices}}},
+ title = {The {{Registration Continuum}} in {{Clinical Science}}: A {{Guide Toward Transparent Practices}}},
shorttitle = {The {{Registration Continuum}} in {{Clinical Science}}},
author = {Benning, Stephen D. and Bachrach, Rachel L. and Smith, Edward A. and Freeman, Andrew J. and Wright, Aidan G. C.},
year = {2019},
@@ -372,13 +372,13 @@ @article{benning_registration_2019
issn = {0021-843X},
doi = {10.1037/abn0000451},
abstract = {Clinical scientists can use a continuum of registration efforts that vary in their disclosure and timing relative to data collection and analysis. Broadly speaking, registration benefits investigators by offering stronger, more powerful tests of theory with particular methods in tandem with better control of long-run false positive error rates. Registration helps clinical researchers in thinking through tensions between bandwidth and fidelity that surround recruiting participants, defining clinical phenotypes, handling comorbidity, treating missing data. and analyzing rich and complex data. In particular. registration helps record and justify the reasons behind specific study design decisions, though it also provides the opportunity to register entire decision trees with specific endpoints. Creating ever more faithful registrations and standard operating procedures may offer alternative methods of judging a clinical investigator's scientific skill and eminence because study registration increases the transparency of clinical researchers' work.},
- language = {English},
+ langid = {english},
keywords = {coregistration,credibility,disorders,flexibility,framework,postregistration,preregistration,psychopathology,registered-reports,symptoms,transparency},
annotation = {WOS:000478024300006}
}
@article{bergh_there_2017,
- title = {Is There a Credibility Crisis in Strategic Management Research? {{Evidence}} on the Reproducibility of Study Findings},
+ title = {Is There a Credibility Crisis in Strategic Management Research? Evidence on the Reproducibility of Study Findings},
shorttitle = {Is There a Credibility Crisis in Strategic Management Research?},
author = {Bergh, Donald D and Sharp, Barton M and Aguinis, Herman and Li, Ming},
year = {2017},
@@ -391,7 +391,7 @@ @article{bergh_there_2017
issn = {1476-1270},
doi = {10.1177/1476127017701076},
abstract = {Recent studies report an inability to replicate previously published research, leading some to suggest that scientific knowledge is facing a credibility crisis. In this essay, we provide evidence on whether strategic management research may itself be vulnerable to these concerns. We conducted a study whereby we attempted to reproduce the empirical findings of 88 articles appearing in the Strategic Management Journal using data reported in the articles themselves. About 70\% of the studies did not disclose enough data to permit independent tests of reproducibility of their findings. Of those that could be retested, almost one-third reported hypotheses as statistically significant which were no longer so and far more significant results were found to be non-significant in the reproductions than in the opposite direction. Collectively, incomplete reporting practices, disclosure errors, and possible opportunism limit the reproducibility of most studies. Until disclosure standards and requirements change to include more complete reporting and facilitate tests of reproducibility, the strategic management field appears vulnerable to a credibility crisis.},
- language = {en},
+ langid = {english},
keywords = {crisis,knowledge credibility,replication,reproducibility}
}
@@ -409,7 +409,7 @@ @article{bergkvist_preregistration_2020
issn = {0265-0487},
doi = {10.1080/02650487.2020.1753441},
abstract = {This paper discusses two phenomena that threaten the credibility of scientific research and suggests an approach to limiting the extent of their use in advertising research. HARKing (hypothesizing after the results are known) refers to when hypotheses are formulated or modified after the results of a study are known. P-hacking refers to various practices (e.g., adding respondents, introducing control variables) that increase the likelihood of obtaining statistically significant results from a study. Both of these practices increase the risk of false positives (Type I errors) in research results and it is in the interest of the advertising research field that they are limited. Voluntary preregistration, where researchers commit to and register their research design and analytical approach before conducting the study, is put forward as a means to limiting both HARKing and p-hacking.},
- language = {English},
+ langid = {english},
keywords = {HARKing,journals,methodology,P-hacking,preregistration,publication bias,questionable research practice,replication},
annotation = {WOS:000559843700001}
}
@@ -443,7 +443,7 @@ @article{bishop_problems_2016
issn = {2167-8359},
doi = {10.7717/peerj.1715},
abstract = {Background. The p-curve is a plot of the distribution of p-values reported in a set of scientific studies. Comparisons between ranges of p-values have been used to evaluate fields of research in terms of the extent to which studies have genuine evidential value, and the extent to which they suffer from bias in the selection of variables and analyses for publication, p-hacking. Methods. p-hacking can take various forms. Here we used R code to simulate the use of ghost variables, where an experimenter gathers data on several dependent variables but reports only those with statistically significant effects. We also examined a text-mined dataset used by Head et al. (2015) and assessed its suitability for investigating p-hacking. Results. We show that when there is ghost p-hacking, the shape of the p-curve depends on whether dependent variables are intercorrelated. For uncorrelated variables, simulated p-hacked data do not give the "p-hacking bump" just below .05 that is regarded as evidence of p-hacking, though there is a negative skew when simulated variables are inter-correlated. The way p-curves vary according to features of underlying data poses problems when automated text mining is used to detect p-values in heterogeneous sets of published papers. Conclusions. The absence of a bump in the p-curve is not indicative of lack of p-hacking. Furthermore, while studies with evidential value will usually generate a right-skewed p-curve, we cannot treat a right-skewed p-curve as an indicator of the extent of evidential value, unless we have a model specific to the type of p-values entered into the analysis. We conclude that it is not feasible to use the p-curve to estimate the extent of p-hacking and evidential value unless there is considerable control over the type of data entered into the analysis. In particular, p-hacking with ghost variables is likely to be missed.},
- language = {English},
+ langid = {english},
keywords = {Correlation,Ghost variables,p-curve,p-hacking,Power,prevalence,publication,Reproducibility,Simulation,Text-mining},
annotation = {WOS:000370984200010}
}
@@ -461,12 +461,12 @@ @article{bishop_rein_2019
doi = {10.1038/d41586-019-01307-2},
abstract = {Dorothy Bishop describes how threats to reproducibility, recognized but unaddressed for decades, might finally be brought under control.},
copyright = {2021 Nature},
- language = {en},
+ langid = {english},
keywords = {forrt}
}
@article{bishop_revisiting_2017,
- title = {Revisiting {{Qualitative Data Reuse}}: {{A Decade On}}},
+ title = {Revisiting {{Qualitative Data Reuse}}: A {{Decade On}}},
shorttitle = {Revisiting {{Qualitative Data Reuse}}},
author = {Bishop, Libby and {Kuula-Luumi}, Arja},
year = {2017},
@@ -478,7 +478,7 @@ @article{bishop_revisiting_2017
issn = {2158-2440, 2158-2440},
doi = {10.1177/2158244016685136},
abstract = {Secondary analysis of qualitative data entails reusing data created from previous research projects for new purposes. Reuse provides an opportunity to study the raw materials of past research projects to gain methodological and substantive insights. In the past decade, use of the approach has grown rapidly in the United Kingdom to become sufficiently accepted that it must now be regarded as mainstream. Several factors explain this growth: the open data movement, research funders' and publishers' policies supporting data sharing, and researchers seeing benefits from sharing resources, including data. Another factor enabling qualitative data reuse has been improved services and infrastructure that facilitate access to thousands of data collections. The UK Data Service is an example of a well-established facility; more recent has been the proliferation of repositories being established within universities. This article will provide evidence of the growth of data reuse in the United Kingdom and in Finland by presenting both data and case studies of reuse that illustrate the breadth and diversity of this maturing research method. We use two distinct data sources that quantify the scale, types, and trends of reuse of qualitative data: (a) downloads of archived data collections held at data repositories and (b) publication citations. Although the focus of this article is on the United Kingdom, some discussion of the international environment is provided, together with data and examples of reuse at the Finnish Social Science Data Archive. The conclusion summarizes the major findings, including some conjectures regarding what makes qualitative data attractive for reuse and sharing.},
- language = {en}
+ langid = {english}
}
@book{bjork_developing_2014,
@@ -499,7 +499,7 @@ @article{bjork_gold_2017
doi = {10.1002/leap.1096},
abstract = {Universal open access (OA) to scholarly research publications is deceptively simple as a concept. Any scientific publications, whether found via a Google keyword search, or by trying to access a citation would be just one click away. But the path to get there from the current subscription-dominated journal pub- lishing model has proved to be complex and filled with obstacles. Since the terms gold and green OA were coined almost 15 years ago, much of the debate inside the OA movement has been focused on the relative merits of these two paths (Harnad et al., 2004)},
copyright = {Creative Commons Attribution 4.0 International, Open Access},
- language = {English}
+ langid = {english}
}
@misc{blanca_informatica_2019,
@@ -510,7 +510,7 @@ @misc{blanca_informatica_2019
journal = {Bioinformatics at COMAV},
abstract = {The COMAV institute is devoted to the preservation of the horticultural plant variability and to the plant breeding on horticultural species. To accomplish these goals we have developed some software that it might be of some use to other researchers like ngs\_backbone or sff\_extract.},
copyright = {Creative Commons 3.0},
- language = {es}
+ langid = {spanish}
}
@article{blincoe_research_2020,
@@ -527,7 +527,7 @@ @article{blincoe_research_2020
issn = {1475-7257},
doi = {10.1177/1475725719875844},
abstract = {The preregistration of research plans and hypotheses may prevent publication bias and questionable research practices. We incorporated a modified version of the preregistration process into an undergraduate capstone research course. Students completed a standard preregistration form during the planning stages of their research projects as well as surveys about their knowledge of preregistration. Based on survey results, our senior-level psychology students lacked knowledge of importance of the preregistration movement in the sciences but could anticipate some of its benefits. Our review of the completed preregistration assignment suggested that students struggle with data analysis decision-making but generally perceive preregistration as a helpful planning tool. We discuss the value of a preregistration assignment for generating discussions of research practice and ethics.},
- language = {English},
+ langid = {english},
keywords = {Preregistration,questionable research practices,undergraduate preregistration assignment},
annotation = {WOS:000488433900001}
}
@@ -537,18 +537,18 @@ @misc{boai_diez_2012
author = {BOAI, Budapest Open Access Initiative},
year = {2012},
collaborator = {Melero, Remedios and Babini, Dominique},
- language = {Traducido}
+ langid = {Traducido}
}
@misc{boai_iniciativa_2002,
title = {{Iniciativa de Budapest para el Acceso Abierto}},
author = {BOAI, Budapest Open Access Initiative},
year = {2002},
- language = {Traducido}
+ langid = {Traducido}
}
@article{bohannon_who_2016,
- title = {Who's Downloading Pirated Papers? {{Everyone}}},
+ title = {Who's Downloading Pirated Papers? Everyone},
author = {Bohannon, John},
year = {2016},
journal = {American Association for the Advancement of Science},
@@ -586,7 +586,7 @@ @article{breznau_does_2021
doi = {10.3390/soc11010009},
abstract = {Reliability, transparency, and ethical crises pushed many social science disciplines toward dramatic changes, in particular psychology and more recently political science. This paper discusses why sociology should also change. It reviews sociology as a discipline through the lens of current practices, definitions of sociology, positions of sociological associations, and a brief consideration of the arguments of three highly influential yet epistemologically diverse sociologists: Weber, Merton, and Habermas. It is a general overview for students and sociologists to quickly familiarize themselves with the state of sociology or explore the idea of open science and its relevance to their discipline.},
copyright = {http://creativecommons.org/licenses/by/3.0/},
- language = {en},
+ langid = {english},
keywords = {crisis of science,Habermas,Merton,open science,p-hacking,publication bias,replication,research ethics,revisado,science community,sociology legitimation,transparency,Weber}
}
@@ -618,12 +618,12 @@ @misc{breznau_open_
author = {Breznau, Nate},
journal = {Crowdid},
abstract = {WHAT By now you've heard the term ``open science''. Although it has no global definition, its advocates tend toward certain agreements. Most definitions focus on the practical aspects of accessibility. ``\ldots the practice of science in such a way that others can collaborate and contribute, where research data, lab notes and other research processes are freely \ldots{} Continue reading Open science in sociology. What, why and now.},
- language = {en-US}
+ langid = {american}
}
@techreport{brodeur_methods_2018,
type = {{{IZA Discussion Paper}}},
- title = {Methods {{Matter}}: {{P}}-{{Hacking}} and {{Causal Inference}} in {{Economics}}},
+ title = {Methods {{Matter}}: P-{{Hacking}} and {{Causal Inference}} in {{Economics}}},
shorttitle = {Methods {{Matter}}},
author = {Brodeur, Abel and Cook, Nikolai and Heyes, Anthony},
year = {2018},
@@ -635,7 +635,7 @@ @techreport{brodeur_methods_2018
}
@article{brodeur_star_2016,
- title = {Star {{Wars}}: {{The Empirics Strike Back}}},
+ title = {Star {{Wars}}: The {{Empirics Strike Back}}},
shorttitle = {Star {{Wars}}},
author = {Brodeur, Abel and L{\'e}, Mathias and Sangnier, Marc and Zylberberg, Yanos},
year = {2016},
@@ -647,7 +647,7 @@ @article{brodeur_star_2016
issn = {1945-7782},
doi = {10.1257/app.20150044},
abstract = {Using 50,000 tests published in the AER, JPE, and QJE, we identify a residual in the distribution of tests that cannot be explained solely by journals favoring rejection of the null hypothesis. We observe a two-humped camel shape with missing p-values between 0.25 and 0.10 that can be retrieved just after the 0.05 threshold and represent 10-20 percent of marginally rejected tests. Our interpretation is that researchers inflate the value of just-rejected tests by choosing "significant" specifications. We propose a method to measure this residual and describe how it varies by article and author characteristics. (JEL A11, C13)},
- language = {en},
+ langid = {english},
keywords = {Market for Economists; Estimation: General,Role of Economics,Role of Economists}
}
@@ -656,7 +656,7 @@ @misc{budapestopenaccessinitiative_diez_2012
author = {Budapest Open Access Initiative},
year = {12 de Septiembre, 2012},
journal = {BOAI},
- language = {Traducido}
+ langid = {Traducido}
}
@misc{budapestopenaccessinitiative_iniciativa_2002,
@@ -664,17 +664,17 @@ @misc{budapestopenaccessinitiative_iniciativa_2002
author = {Budapest Open Access Initiative},
year = {14 de Febrero, 2002},
journal = {Budapest Open Access Initiative},
- language = {Traducido}
+ langid = {Traducido}
}
@misc{bueno_what_2017,
- title = {What {{Is Open Science}}? {{Introduction}}.},
+ title = {What {{Is Open Science}}? Introduction.},
author = {Bueno, Gema},
year = {2017}
}
@article{burlig_improving_2018,
- title = {Improving Transparency in Observational Social Science Research: {{A}} Pre-Analysis Plan Approach},
+ title = {Improving Transparency in Observational Social Science Research: A Pre-Analysis Plan Approach},
shorttitle = {Improving Transparency in Observational Social Science Research},
author = {Burlig, Fiona},
year = {2018},
@@ -685,7 +685,7 @@ @article{burlig_improving_2018
issn = {0165-1765},
doi = {10.1016/j.econlet.2018.03.036},
abstract = {Social science research has undergone a credibility revolution, but these gains are at risk due to problematic research practices. Existing research on transparency has centered around randomized controlled trials, which constitute only a small fraction of research in economics. In this paper, I highlight three scenarios in which study preregistration can be credibly applied in non-experimental settings: cases where researchers collect their own data; prospective studies; and research using restricted-access data.},
- language = {en},
+ langid = {english},
keywords = {Confidential data,Observational research,Pre-registration,Transparency}
}
@@ -697,7 +697,7 @@ @misc{businessmanagementink_protecting_2016
}
@article{buttner_are_2020,
- title = {Are Questionable Research Practices Facilitating New Discoveries in Sport and Exercise Medicine? {{The}} Proportion of Supported Hypotheses Is Implausibly High},
+ title = {Are Questionable Research Practices Facilitating New Discoveries in Sport and Exercise Medicine? The Proportion of Supported Hypotheses Is Implausibly High},
shorttitle = {Are Questionable Research Practices Facilitating New Discoveries in Sport and Exercise Medicine?},
author = {Buttner, Fionn and Toomey, Elaine and McClean, Shane and Roe, Mark and Delahunt, Eamonn},
year = {2020},
@@ -711,7 +711,7 @@ @article{buttner_are_2020
issn = {0306-3674},
doi = {10.1136/bjsports-2019-101863},
abstract = {Questionable research practices (QRPs) are intentional and unintentional practices that can occur when designing, conducting, analysing, and reporting research, producing biased study results. Sport and exercise medicine (SEM) research is vulnerable to the same QRPs that pervade the biomedical and psychological sciences, producing false-positive results and inflated effect sizes. Approximately 90\% of biomedical research reports supported study hypotheses, provoking suspicion about the field-wide presence of systematic biases to facilitate study findings that confirm researchers' expectations. In this education review, we introduce three common QRPs (ie, HARKing, P-hacking and Cherry-picking), perform a cross-sectional study to assess the proportion of original SEM research that reports supported study hypotheses, and draw attention to existing solutions and resources to overcome QRPs that manifest in exploratory research. We hypothesised that {$>$}= 85\% of original SEM research studies would report supported study hypotheses. Two independent assessors systematically identified, screened, included, and extracted study data from original research articles published between 1 January 2019 and 31 May 2019 in the British Journal of Sports Medicine, Sports Medicine, the American Journal of Sports Medicine, and the Journal of Orthopaedic \& Sports Physical Therapy. We extracted data relating to whether studies reported that the primary hypothesis was supported or rejected by the results. Study hypotheses, methodologies, and analysis plans were preregistered at the Open Science Framework. One hundred and twenty-nine original research studies reported at least one study hypothesis, of which 106 (82.2\%) reported hypotheses that were supported by study results. Of 106 studies reporting that primary hypotheses were supported by study results, 75 (70.8\%) studies reported that the primary hypothesis was fully supported by study results. The primary study hypothesis was partially supported by study results in 28 (26.4\%) studies. We detail open science practices and resources that aim to safe-guard against QRPs that bely the credibility and replicability of original research findings.},
- language = {English},
+ langid = {english},
keywords = {education,harking,incentives,methodological,publication decisions,publish,registered-reports,replicability,research,science,sport,statistics,tests,truth},
annotation = {WOS:000584953300013}
}
@@ -731,7 +731,7 @@ @article{button_power_2013
doi = {10.1038/nrn3475},
abstract = {Low statistical power undermines the purpose of scientific research; it reduces the chance of detecting a true effect.Perhaps less intuitively, low power also reduces the likelihood that a statistically significant result reflects a true effect.Empirically, we estimate the median statistical power of studies in the neurosciences is between {$\sim$}8\% and {$\sim$}31\%.We discuss the consequences of such low statistical power, which include overestimates of effect size and low reproducibility of results.There are ethical dimensions to the problem of low power; unreliable research is inefficient and wasteful.Improving reproducibility in neuroscience is a key priority and requires attention to well-established, but often ignored, methodological principles.We discuss how problems associated with low power can be addressed by adopting current best-practice and make clear recommendations for how to achieve this.},
copyright = {2013 Nature Publishing Group, a division of Macmillan Publishers Limited. All Rights Reserved.},
- language = {en},
+ langid = {english},
keywords = {practices}
}
@@ -749,7 +749,7 @@ @article{byington_solutions_2017
}
@article{caldwell_moving_2020,
- title = {Moving {{Sport}} and {{Exercise Science Forward}}: {{A Call}} for the {{Adoption}} of {{More Transparent Research Practices}}},
+ title = {Moving {{Sport}} and {{Exercise Science Forward}}: A {{Call}} for the {{Adoption}} of {{More Transparent Research Practices}}},
shorttitle = {Moving {{Sport}} and {{Exercise Science Forward}}},
author = {Caldwell, Aaron R. and Vigotsky, Andrew D. and Tenan, Matthew S. and Radel, Remi and Mellor, David T. and Kreutzer, Andreas and Lahart, Ian M. and Mills, John P. and Boisgontier, Matthieu P. and Boardley, Ian and Bouza, Brooke and Cheval, Boris and Chow, Zad Rafi and Contreras, Bret and Dieter, Brad and Halperin, Israel and Haun, Cody and Knudson, Duane and Lahti, Johan and Lohse, Keith and Miller, Matthew and Morin, Jean-Benoit and Naughton, Mitchell and Neva, Jason and Nuckols, Greg and Nunan, David and Peters, Sue and Roberts, Brandon and {Rosa-Caldwell}, Megan and Schmidt, Julia and Schoenfeld, Brad J. and Severin, Richard and Skarabot, Jakob and Steele, James and Twomey, Rosie and Zenko, Zachary},
year = {2020},
@@ -763,13 +763,13 @@ @article{caldwell_moving_2020
issn = {0112-1642},
doi = {10.1007/s40279-019-01227-1},
abstract = {The primary means of disseminating sport and exercise science research is currently through journal articles. However, not all studies, especially those with null findings, make it to formal publication. This publication bias towards positive findings may contribute to questionable research practices. Preregistration is a solution to prevent the publication of distorted evidence resulting from this system. This process asks authors to register their hypotheses and methods before data collection on a publicly available repository or by submitting a Registered Report. In the Registered Report format, authors submit a stage 1 manuscript to a participating journal that includes an introduction, methods, and any pilot data indicating the exploratory or confirmatory nature of the study. After a stage 1 peer review, the manuscript can then be offered in-principle acceptance, rejected, or sent back for revisions to improve the quality of the study. If accepted, the project is guaranteed publication, assuming the authors follow the data collection and analysis protocol. After data collection, authors re-submit a stage 2 manuscript that includes the results and discussion, and the study is evaluated on clarity and conformity with the planned analysis. In its final form, Registered Reports appear almost identical to a typical publication, but give readers confidence that the hypotheses and main analyses are less susceptible to bias from questionable research practices. From this perspective, we argue that inclusion of Registered Reports by researchers and journals will improve the transparency, replicability, and trust in sport and exercise science research. The preprint version of this work is available on SportRiv: https://osf.io/ prepr ints/sport rxiv/fxe7a/.},
- language = {English},
+ langid = {english},
keywords = {associations,health,increase,model,power,publication bias,registered-reports,true},
annotation = {WOS:000511041300002}
}
@article{caldwell_moving_2020a,
- title = {Moving {{Sport}} and {{Exercise Science Forward}}: {{A Call}} for the {{Adoption}} of {{More Transparent Research Practices}}},
+ title = {Moving {{Sport}} and {{Exercise Science Forward}}: A {{Call}} for the {{Adoption}} of {{More Transparent Research Practices}}},
shorttitle = {Moving {{Sport}} and {{Exercise Science Forward}}},
author = {Caldwell, Aaron R. and Vigotsky, Andrew D. and Tenan, Matthew S. and Radel, R{\'e}mi and Mellor, David T. and Kreutzer, Andreas and Lahart, Ian M. and Mills, John P. and Boisgontier, Matthieu P. and Boardley, Ian and Bouza, Brooke and Cheval, Boris and Chow, Zad Rafi and Contreras, Bret and Dieter, Brad and Halperin, Israel and Haun, Cody and Knudson, Duane and Lahti, Johan and Miller, Matthew and Morin, Jean-Benoit and Naughton, Mitchell and Neva, Jason and Nuckols, Greg and Peters, Sue and Roberts, Brandon and {Rosa-Caldwell}, Megan and Schmidt, Julia and Schoenfeld, Brad J. and Severin, Richard and Skarabot, Jakob and Steele, James and Twomey, Rosie and Zenko, Zachary and Lohse, Keith R. and Nunan, David and {Consortium for Transparency in Exercise Science (COTES) Collaborators}},
year = {2020},
@@ -781,7 +781,7 @@ @article{caldwell_moving_2020a
issn = {1179-2035},
doi = {10.1007/s40279-019-01227-1},
abstract = {The primary means of disseminating sport and exercise science research is currently through journal articles. However, not all studies, especially those with null findings, make it to formal publication. This publication bias towards positive findings may contribute to questionable research practices. Preregistration is a solution to prevent the publication of distorted evidence resulting from this system. This process asks authors to register their hypotheses and methods before data collection on a publicly available repository or by submitting a Registered Report. In the Registered Report format, authors submit a stage 1 manuscript to a participating journal that includes an introduction, methods, and any pilot data indicating the exploratory or confirmatory nature of the study. After a stage 1 peer review, the manuscript can then be offered in-principle acceptance, rejected, or sent back for revisions to improve the quality of the study. If accepted, the project is guaranteed publication, assuming the authors follow the data collection and analysis protocol. After data collection, authors re-submit a stage 2 manuscript that includes the results and discussion, and the study is evaluated on clarity and conformity with the planned analysis. In its final form, Registered Reports appear almost identical to a typical publication, but give readers confidence that the hypotheses and main analyses are less susceptible to bias from questionable research practices. From this perspective, we argue that inclusion of Registered Reports by researchers and journals will improve the transparency, replicability, and trust in sport and exercise science research. The preprint version of this work is available on SportR\$\$\textbackslash chi \$\$iv: https://osf.io/preprints/sportrxiv/fxe7a/.},
- language = {en},
+ langid = {english},
keywords = {transparency}
}
@@ -799,12 +799,12 @@ @article{camerer_evaluating_2018
doi = {10.1038/s41562-018-0399-z},
abstract = {Being able to replicate scientific findings is crucial for scientific progress1\textendash 15. We replicate 21 systematically selected experimental studies in the social sciences published in Nature and Science between 2010 and 201516\textendash 36. The replications follow analysis plans reviewed by the original authors and pre-registered prior to the replications. The replications are high powered, with sample sizes on average about five times higher than in the original studies. We find a significant effect in the same direction as the original study for 13 (62\%) studies, and the effect size of the replications is on average about 50\% of the original effect size. Replicability varies between 12 (57\%) and 14 (67\%) studies for complementary replicability indicators. Consistent with these results, the estimated true-positive rate is 67\% in a Bayesian analysis. The relative effect size of true positives is estimated to be 71\%, suggesting that both false positives and inflated effect sizes of true positives contribute to imperfect reproducibility. Furthermore, we find that peer beliefs of replicability are strongly related to replicability, suggesting that the research community could predict which results would replicate and that failures to replicate were not the result of chance alone.},
copyright = {2018 The Author(s)},
- language = {en},
+ langid = {english},
keywords = {crisis}
}
@article{campbell_enhancing_2014,
- title = {Enhancing Transparency of the Research Process to Increase Accuracy of Findings: {{A}} Guide for Relationship Researchers},
+ title = {Enhancing Transparency of the Research Process to Increase Accuracy of Findings: A Guide for Relationship Researchers},
shorttitle = {Enhancing Transparency of the Research Process to Increase Accuracy of Findings},
author = {Campbell, Lorne and Loving, Timothy J. and Lebel, Etienne P.},
year = {2014},
@@ -815,7 +815,7 @@ @article{campbell_enhancing_2014
issn = {1475-6811},
doi = {10.1111/pere.12053},
abstract = {The purpose of this paper is to extend to the field of relationship science, recent discussions and suggested changes in open research practises. We demonstrate different ways that greater transparency of the research process in our field will accelerate scientific progress by increasing accuracy of reported research findings. Importantly, we make concrete recommendations for how relationship researchers can transition to greater disclosure of research practices in a manner that is sensitive to the unique design features of methodologies employed by relationship scientists. We discuss how to implement these recommendations for four different research designs regularly used in relationship research and practical limitations regarding implementing our recommendations and provide potential solutions to these problems.},
- language = {en},
+ langid = {english},
annotation = {\_eprint: https://onlinelibrary.wiley.com/doi/pdf/10.1111/pere.12053}
}
@@ -831,7 +831,7 @@ @article{card_role_2011
issn = {0895-3309},
doi = {10.1257/jep.25.3.39},
abstract = {studies that estimate structural parameters in a completely specified model. We also classify laboratory experiments published in these journals over the same period and find that economic theory has played a more central role in the laboratory than in the field. Finally, we discuss in detail three sets of field experiments\textemdash on gift exchange, on charitable giving, and on negative income tax\textemdash that illustrate both the benefits and the potential costs of a tighter link between experimental design and theoretical underpinnings.},
- language = {en},
+ langid = {english},
keywords = {Field Experiments}
}
@@ -844,12 +844,12 @@ @article{carey_fraud_2011
issn = {0362-4331},
abstract = {A Dutch scholar was found to have falsified findings in dozens of papers, in a field that critics say is vulnerable to such abuses.},
chapter = {Health},
- language = {en-US},
+ langid = {american},
keywords = {Falsification of Data,Frauds and Swindling,Psychology and Psychologists,Research,Stapel; Diederik}
}
@article{carrier_facing_2017,
- title = {Facing the {{Credibility Crisis}} of {{Science}}: {{On}} the {{Ambivalent Role}} of {{Pluralism}} in {{Establishing Relevance}} and {{Reliability}}},
+ title = {Facing the {{Credibility Crisis}} of {{Science}}: On the {{Ambivalent Role}} of {{Pluralism}} in {{Establishing Relevance}} and {{Reliability}}},
shorttitle = {Facing the {{Credibility Crisis}} of {{Science}}},
author = {Carrier, Martin},
year = {2017},
@@ -871,7 +871,7 @@ @misc{ccsds_recommendation_2012
}
@article{chambers_registered_2013,
- title = {Registered {{Reports}}: {{A}} New Publishing Initiative at~{{Cortex}}},
+ title = {Registered {{Reports}}: A New Publishing Initiative at~{{Cortex}}},
shorttitle = {Registered {{Reports}}},
author = {Chambers, Christopher D.},
year = {2013},
@@ -882,18 +882,18 @@ @article{chambers_registered_2013
pages = {609--610},
issn = {0010-9452},
doi = {10.1016/j.cortex.2012.12.016},
- language = {en},
+ langid = {english},
keywords = {forrt,reports}
}
@misc{chambers_registered_2014,
- title = {Registered {{Reports}}: {{A}} Step Change in Scientific Publishing},
+ title = {Registered {{Reports}}: A Step Change in Scientific Publishing},
author = {Chambers, Christopher D.},
year = {2014},
journal = {Reviewers' Update},
abstract = {Professor Chris Chambers, Registered Reports Editor of the Elsevier journal Cortex and one of the concept's founders, on how the initiative combats publication bias},
howpublished = {https://www.elsevier.com/connect/reviewers-update/registered-reports-a-step-change-in-scientific-publishing},
- language = {en},
+ langid = {english},
keywords = {forrt,reports}
}
@@ -908,7 +908,7 @@ @article{chambers_registered_2015
pages = {A1-2},
issn = {1973-8102},
doi = {10.1016/j.cortex.2015.03.022},
- language = {eng},
+ langid = {english},
pmid = {25892410},
keywords = {Biomedical Research,Editorial Policies,forrt,Humans,Motivation,Peer Review; Research,Publication Bias,Publishing,reports,Reproducibility of Results}
}
@@ -926,14 +926,14 @@ @article{chambers_ten_2015
address = {{Hoboken}},
issn = {0965-2140},
doi = {10.1111/add.12728},
- language = {English},
+ langid = {english},
keywords = {False positives,incentives,publication bias,questionable research practices,registered reports,registered-reports,reproducibility,study pre-registration,truth},
annotation = {WOS:000346699700004}
}
@techreport{chin_improving_2019,
type = {{{SSRN Scholarly Paper}}},
- title = {Improving {{Expert Evidence}}: {{The Role}} of {{Open Science}} and {{Transparency}}},
+ title = {Improving {{Expert Evidence}}: The {{Role}} of {{Open Science}} and {{Transparency}}},
shorttitle = {Improving {{Expert Evidence}}},
author = {Chin, Jason and Growns, Bethany and Mellor, David},
year = {2019},
@@ -943,7 +943,7 @@ @techreport{chin_improving_2019
institution = {{Social Science Research Network}},
doi = {10.2139/ssrn.3345225},
abstract = {Both science and expert evidence law are undergoing significant changes. In this article, the authors compare these two movements \textendash{} the open science movement and the evidence-based evidence movement. The open science movement encompasses the recent discovery of many irreproducible findings in science and the subsequent move towards more transparent methods. The evidence-based evidence movement is the discovery that many forms of expert evidence are unreliable, and that they have contributed to wrongful convictions. The authors identify similarities between these movements, which suggest how courts and legal actors may learn from the open science movement to produce more accurate results. Expert witnesses should comport themselves as rigorous open scientists to produce evidence that is more susceptible to evaluation. Parties should be subjected to more specific and rigorous disclosure requirements because research has shown that even leading scientists find it easy to discount and suppress findings that do not support their hypotheses. And trial judges, as gatekeepers, should not defer to the generally accepted practices that have proven insufficient in the mainstream sciences.},
- language = {en},
+ langid = {english},
keywords = {Bethany Growns,David Mellor,Improving Expert Evidence: The Role of Open Science and Transparency,Jason Chin,SSRN}
}
@@ -955,11 +955,11 @@ @article{chin_questionable_2021
issn = {0748-4518},
doi = {10.1007/s10940-021-09525-6},
abstract = {Questionable research practices (QRPs) lead to incorrect research results and contribute to irreproducibility in science. Researchers and institutions have proposed open science practices (OSPs) to improve the detectability of QRPs and the credibility of science. We examine the prevalence of QRPs and OSPs in criminology, and researchers' opinions of those practices. We administered an anonymous survey to authors of articles published in criminology journals. Respondents self-reported their own use of 10 QRPs and 5 OSPs. They also estimated the prevalence of use by others, and reported their attitudes toward the practices. QRPs and OSPs are both common in quantitative criminology, about as common as they are in other fields. Criminologists who responded to our survey support using QRPs in some circumstances, but are even more supportive of using OSPs. We did not detect a significant relationship between methodological training and either QRP or OSP use. Support for QRPs is negatively and significantly associated with support for OSPs. Perceived prevalence estimates for some practices resembled a uniform distribution, suggesting criminologists have little knowledge of the proportion of researchers that engage in certain questionable practices. Most quantitative criminologists in our sample have used QRPs, and many have used multiple QRPs. Moreover, there was substantial support for QRPs, raising questions about the validity and reproducibility of published criminological research. We found promising levels of OSP use, albeit at levels lagging what researchers endorse. The findings thus suggest that additional reforms are needed to decrease QRP use and increase the use of OSPs.},
- language = {en}
+ langid = {english}
}
@article{chopik_relationship_2020,
- title = {Relationship Science and the Credibility Revolution: {{An}} Introduction to the First Part of the Special Issue},
+ title = {Relationship Science and the Credibility Revolution: An Introduction to the First Part of the Special Issue},
shorttitle = {Relationship Science and the Credibility Revolution},
author = {Chopik, William J. and Chartier, Christopher R. and Campbell, Lorne and Donnellan, M. Brent},
year = {2020},
@@ -973,7 +973,7 @@ @article{chopik_relationship_2020
issn = {1350-4126},
doi = {10.1111/pere.12312},
abstract = {In the past 10 years, the field of relationship science-like many other fields-has been exposed to dramatic changes in how scientists approach the research process. Relationship science has been at the forefront of many recent changes in the field, whether it be high profile replication attempts or broader discussions about how to increase rigor and reproducibility. A major goal of this special issue was to provide an opportunity for relationship scientists to engage with these issues and reforms. The first four articles in this special issue represent a sampling of different approaches relationship researchers have used to enhance the credibility of their work.},
- language = {English},
+ langid = {english},
keywords = {credibility revolution,history,incentives,increase,personal relationships,registered reports,registered-reports,replication,special issue,truth},
annotation = {WOS:000518878700007}
}
@@ -990,7 +990,7 @@ @article{christensen_transparency_2018
issn = {0022-0515},
doi = {10.1257/jel.20171350},
abstract = {There is growing interest in enhancing research transparency and reproducibility in economics and other scientific fields. We survey existing work on these topics within economics, and discuss the evidence suggesting that publication bias, inability to replicate, and specification searching remain widespread in the discipline. We next discuss recent progress in this area, including through improved research design, study registration and pre-analysis plans, disclosure standards, and open sharing of data and materials, drawing on experiences in both economics and other social sciences. We discuss areas where consensus is emerging on new practices, as well as approaches that remain controversial, and speculate about the most effective ways to make economics research more credible in the future.},
- language = {en},
+ langid = {english},
keywords = {Market for Economists; Methodological Issues: General; Higher Education,Research Institutions,Role of Economics,Role of Economists}
}
@@ -1008,7 +1008,7 @@ @book{christensen_transparent_2019
}
@article{chuard_evidence_2019,
- title = {Evidence That Nonsignificant Results Are Sometimes Preferred: {{Reverse P}}-Hacking or Selective Reporting?},
+ title = {Evidence That Nonsignificant Results Are Sometimes Preferred: Reverse {{P}}-Hacking or Selective Reporting?},
shorttitle = {Evidence That Nonsignificant Results Are Sometimes Preferred},
author = {Chuard, Pierre J. C. and Vrtilek, Milan and Head, Megan L. and Jennions, Michael D.},
year = {2019},
@@ -1022,13 +1022,13 @@ @article{chuard_evidence_2019
issn = {1544-9173},
doi = {10.1371/journal.pbio.3000127},
abstract = {There is increased concern about poor scientific practices arising from an excessive focus on P-values. Two particularly worrisome practices are selective reporting of significant results and 'P-hacking'. The latter is the manipulation of data collection, usage, or analyses to obtain statistically significant outcomes. Here, we introduce the novel, to our knowledge, concepts of selective reporting of nonsignificant results and 'reverse P-hacking' whereby researchers ensure that tests produce a nonsignificant result. We test whether these practices occur in experiments in which researchers randomly assign subjects to treatment and control groups to minimise differences in confounding variables that might affect the focal outcome. By chance alone, 5\% of tests for a group difference in confounding variables should yield a significant result (P {$<$} 0.05). If researchers less often report significant findings and/or reverse P-hack to avoid significant outcomes that undermine the ethos that experimental and control groups only differ with respect to actively manipulated variables, we expect significant results from tests for group differences to be under-represented in the literature. We surveyed the behavioural ecology literature and found significantly more nonsignificant P-values reported for tests of group differences in potentially confounding variables than the expected 95\% (P = 0.005; N = 250 studies). This novel, to our knowledge, publication bias could result from selective reporting of nonsignificant results and/or from reverse P-hacking. We encourage others to test for a bias toward publishing nonsignificant results in the equivalent context in their own research discipline.},
- language = {English},
+ langid = {english},
keywords = {ecology,randomized controlled-trials,values},
annotation = {WOS:000457596000029}
}
@article{chubin_open_1985,
- title = {Open {{Science}} and {{Closed Science}}: {{Tradeoffs}} in a {{Democracy}}},
+ title = {Open {{Science}} and {{Closed Science}}: Tradeoffs in a {{Democracy}}},
shorttitle = {Open {{Science}} and {{Closed Science}}},
author = {Chubin, Daryl E.},
year = {1985},
@@ -1040,7 +1040,7 @@ @article{chubin_open_1985
publisher = {{SAGE Publications Inc}},
issn = {0162-2439},
doi = {10.1177/016224398501000211},
- language = {en}
+ langid = {english}
}
@misc{collins_social_2015,
@@ -1056,7 +1056,7 @@ @misc{conicyt_chile_2017
}
@book{corti_managing_2019,
- title = {Managing and {{Sharing Research Data}}: {{A Guide}} to {{Good Practice}}.},
+ title = {Managing and {{Sharing Research Data}}: A {{Guide}} to {{Good Practice}}.},
author = {Corti, Louise},
year = {2019},
edition = {2nd edition},
@@ -1077,7 +1077,7 @@ @article{crane_impact_2018
issn = {0197-3533},
doi = {10.1080/01973533.2018.1474111},
abstract = {In their proposal to "redefine statistical significance," Benjamin et al. claim that lowering the default cutoff for statistical significance from .05 to .005 would "immediately improve the reproducibility of scientific research in many fields." Benjamin et al. assert specifically that false positive rates would fall below 10\% and replication rates would double under the lower cutoff. I analyze these claims here, showing how the failure to account for P-hacking and other widespread reporting issues leads to exaggerated and misleading conclusions about the potential impact of the .005 proposal.},
- language = {English},
+ langid = {english},
keywords = {prevalence},
annotation = {WOS:000454439800005}
}
@@ -1091,17 +1091,17 @@ @misc{creativecommons_cc_2019
journal = {What we do},
abstract = {Creative Commons licenses give everyone from individual creators to large institutions a standardized way to grant the public permission to use their creative work under copyright law. From the reuser's perspective, the presence of a Creative Commons license on a copyrighted work answers the question, ``What can I do with this work?''},
copyright = {Creative Commons 3.0},
- language = {English}
+ langid = {english}
}
@misc{creativecommons_sobre_2017,
- title = {Sobre Las Licencias: {{Lo}} Que Nuestras Licencias Hacen},
+ title = {Sobre Las Licencias: Lo Que Nuestras Licencias Hacen},
author = {Creative Commons},
year = {7 de Noviembre, 2017}
}
@misc{cruwell_easy_2018,
- title = {7 {{Easy Steps}} to {{Open Science}}: {{An Annotated Reading List}}},
+ title = {7 {{Easy Steps}} to {{Open Science}}: An {{Annotated Reading List}}},
shorttitle = {7 {{Easy Steps}} to {{Open Science}}},
author = {Cr{\"u}well, Sophia and van Doorn, Johnny and Etz, Alexander and Makel, Matthew C. and Moshontz, Hannah and Niebaum, Jesse and Orben, Amy and Parsons, Sam and {Schulte-Mecklenbeck}, Michael},
year = {2018},
@@ -1127,7 +1127,7 @@ @article{dal-re_making_2014
abstract = {The vast majority of health-related observational studies are not prospectively registered and the advantages of registration have not been fully appreciated. Nonetheless, international standards require approval of study protocols by an independent ethics committee before the study can begin. We suggest that there is an ethical and scientific imperative to publicly preregister key information from newly approved protocols, which should be required by funders. Ultimately, more complete information may be publicly available by disclosing protocols, analysis plans, data sets, and raw data. Key information about human observational studies should be publicly available before the study is initiated. Key information about human observational studies should be publicly available before the study is initiated.},
chapter = {Commentary},
copyright = {Copyright \textcopyright{} 2014, American Association for the Advancement of Science},
- language = {en},
+ langid = {english},
pmid = {24553383},
keywords = {reports}
}
@@ -1155,11 +1155,11 @@ @article{dennis_privacy_2019
pages = {1839--1848},
issn = {1554-3528},
doi = {10.3758/s13428-019-01259-5},
- language = {en}
+ langid = {english}
}
@article{derond_publish_2005,
- title = {Publish or {{Perish}}: {{Bane}} or {{Boon}} of {{Academic Life}}?},
+ title = {Publish or {{Perish}}: Bane or {{Boon}} of {{Academic Life}}?},
shorttitle = {Publish or {{Perish}}},
author = {De Rond, Mark and Miller, Alan N.},
year = {2005},
@@ -1172,7 +1172,7 @@ @article{derond_publish_2005
issn = {1056-4926},
doi = {10.1177/1056492605276850},
abstract = {There are few more familiar aphorisms in the academic community than ``publish or perish.'' Venerated by many and dreaded by more, this phenomenon is the subject of the authors' essay. Here they consider the publish or perish principle that has come to characterize life at many business schools. They explain when and why it began and suggest reasons for its persistence. This exercise elicits questions that appear as relatively neglected but are integral to our profession, namely, the effect of publish or perish on the creativity, intellectual lives, morale, and psychological and emotional states of faculty.},
- language = {en},
+ langid = {english},
keywords = {business schools,institutional,publish,research,tenure}
}
@@ -1187,12 +1187,12 @@ @article{diaz_mala_2018
issn = {1561-2996},
abstract = {La publicaci\'on en revistas cient\'ificas constituye la forma m\'as aceptada para validar una investigaci\'on debido a que pasa por un riguroso proceso de revisi\'on por expertos, que deciden entre lo publicable y lo no publicable con vista a garantizar la calidad de los trabajos. A pesar de esto con frecuencia aparecen pr\'acticas incorrectas relacionadas con la \'etica durante la publicaci\'on, que se conocen como mala conducta cient\'ifica. Las manifestaciones de mala conducta cient\'ifica van desde el fraude cient\'ifico hasta una variedad de faltas que se cometen en el proceso de publicaci\'on. El fraude cient\'ifico incluye la invenci\'on, la falsificaci\'on y el plagio. Las faltas en el proceso de publicaci\'on incluyen la autor\'ia ficticia, la autor\'ia fantasma, la publicaci\'on duplicada, la publicaci\'on fragmentada o publicaci\'on salami, la publicaci\'on inflada, el autoplagio, la incorrecci\'on de citas bibliogr\'aficas, los sesgos de publicaci\'on y la publicaci\'on anticipada.},
copyright = {Copyright (c) 2018 Revista Cubana de Hematolog\'ia, Inmunolog\'ia y Hemoterapia},
- language = {es},
+ langid = {spanish},
keywords = {autoría,conflicto de intereses,ética,fraude científico,investigación,plagio,practices,publicación}
}
@article{doucouliagos_are_2013,
- title = {Are {{All Economic Facts Greatly Exaggerated}}? {{Theory Competition}} and {{Selectivity}}},
+ title = {Are {{All Economic Facts Greatly Exaggerated}}? Theory {{Competition}} and {{Selectivity}}},
shorttitle = {Are {{All Economic Facts Greatly Exaggerated}}?},
author = {Doucouliagos, Chris and Stanley, T. D.},
year = {2013},
@@ -1203,7 +1203,7 @@ @article{doucouliagos_are_2013
issn = {1467-6419},
doi = {10.1111/j.1467-6419.2011.00706.x},
abstract = {Abstract..There is growing concern and mounting evidence of selectivity in empirical economics. Most empirical economic literatures have a truncated distribution of results. The aim of this paper is to explore the link between publication selectivity and theory contests. This link is confirmed through the analysis of 87 distinct empirical economics literatures, involving more than three and a half thousand separate empirical studies, using objective measures of both selectivity and contests. Our meta\textendash meta-analysis shows that publication selection is widespread, but not universal. It distorts scientific inference with potentially adverse effects on policy making, but competition and debate between rival theories reduces this selectivity and thereby improves economic inference.},
- language = {en},
+ langid = {english},
keywords = {Contested theory,Empirical economics,Meta-analysis,Publication selectivity},
annotation = {\_eprint: https://onlinelibrary.wiley.com/doi/pdf/10.1111/j.1467-6419.2011.00706.x}
}
@@ -1224,7 +1224,7 @@ @article{dutilh_flexible_
issn = {0039-7857},
doi = {10.1007/s11229-019-02456-7},
abstract = {The replicability of findings in experimental psychology can be improved by distinguishing sharply between hypothesis-generating research and hypothesis-testing research. This distinction can be achieved by preregistration, a method that has recently attracted widespread attention. Although preregistration is fair in the sense that it inoculates researchers against hindsight bias and confirmation bias, preregistration does not allow researchers to analyze the data flexibly without the analysis being demoted to exploratory. To alleviate this concern we discuss how researchers may conduct blinded analyses (MacCoun and Perlmutter in Nature 526:187-189, 2015). As with preregistration, blinded analyses break the feedback loop between the analysis plan and analysis outcome, thereby preventing cherry-picking and significance seeking. However, blinded analyses retain the flexibility to account for unexpected peculiarities in the data. We discuss different methods of blinding, offer recommendations for blinding of popular experimental designs, and introduce the design for an online blinding protocol.},
- language = {English},
+ langid = {english},
keywords = {explanation,Preregistration,registered-reports,replication,Replication crisis,Scientific learning,social-psychology,trials},
annotation = {WOS:000575377000001}
}
@@ -1238,7 +1238,7 @@ @article{dutilh_seven_2016
volume = {29},
number = {9},
abstract = {Psychological scientists Eric-Jan Wagenmakers and Gilles Dutilh present an illustrated guide to the career benefits of submitting your research plans before beginning your data collection.},
- language = {en-US}
+ langid = {american}
}
@article{earth_reproducibility_2019,
@@ -1247,7 +1247,7 @@ @article{earth_reproducibility_2019
year = {2019},
journal = {undefined},
abstract = {Semantic Scholar extracted view of \"Reproducibility and Replicability in Science\" by Division on Earth et al.},
- language = {en}
+ langid = {english}
}
@misc{ec_fair_2016,
@@ -1257,7 +1257,7 @@ @misc{ec_fair_2016
}
@article{editors_observational_2014,
- title = {Observational {{Studies}}: {{Getting Clear}} about {{Transparency}}},
+ title = {Observational {{Studies}}: Getting {{Clear}} about {{Transparency}}},
shorttitle = {Observational {{Studies}}},
author = {Editors, The PLOS Medicine},
year = {2014},
@@ -1270,12 +1270,12 @@ @article{editors_observational_2014
issn = {1549-1676},
doi = {10.1371/journal.pmed.1001711},
abstract = {The PLOS Medicine Editors endorse four measures to ensure transparency in the analysis and reporting of observational studies. Please see later in the article for the Editors' Summary},
- language = {en},
+ langid = {english},
keywords = {Clinical trial reporting,Clinical trials,Cross-sectional studies,Health care policy,Medical journals,Observational studies,Research reporting guidelines,Science policy}
}
@article{editors_observational_2014a,
- title = {Observational {{Studies}}: {{Getting Clear}} about {{Transparency}}},
+ title = {Observational {{Studies}}: Getting {{Clear}} about {{Transparency}}},
shorttitle = {Observational {{Studies}}},
author = {Editors, The PLOS Medicine},
year = {2014},
@@ -1288,12 +1288,12 @@ @article{editors_observational_2014a
issn = {1549-1676},
doi = {10.1371/journal.pmed.1001711},
abstract = {The PLOS Medicine Editors endorse four measures to ensure transparency in the analysis and reporting of observational studies. Please see later in the article for the Editors' Summary},
- language = {en},
+ langid = {english},
keywords = {Clinical trial reporting,Clinical trials,Cross-sectional studies,Health care policy,Medical journals,Observational studies,Research reporting guidelines,Science policy}
}
@article{editors_transparency_2015,
- title = {Transparency in {{Reporting Observational Studies}}: {{Reflections}} after a {{Year}}},
+ title = {Transparency in {{Reporting Observational Studies}}: Reflections after a {{Year}}},
shorttitle = {Transparency in {{Reporting Observational Studies}}},
author = {Editors, The PLOS Medicine},
year = {2015},
@@ -1306,7 +1306,7 @@ @article{editors_transparency_2015
issn = {1549-1676},
doi = {10.1371/journal.pmed.1001896},
abstract = {The PLOS Medicine Editors take stock of changes in the reporting of observational studies following our new transparency guidelines from August 2014.},
- language = {en},
+ langid = {english},
keywords = {Cohort studies,Diagnostic medicine,Health care policy,Observational studies,Open access medical journals,Peer review,Reflection,Water resources}
}
@@ -1320,12 +1320,12 @@ @article{elliott_taxonomy_2020
issn = {0045-5091, 1911-0820},
doi = {10.1017/can.2020.21},
abstract = {Both scientists and philosophers of science have recently emphasized the importance of promoting transparency in science. For scientists, transparency is a way to promote reproducibility, progress, and trust in research. For philosophers of science, transparency can help address the value-ladenness of scientific research in a responsible way. Nevertheless, the concept of transparency is a complex one. Scientists can be transparent about many different things, for many different reasons, on behalf of many different stakeholders. This paper proposes a taxonomy that clarifies the major dimensions along which approaches to transparency can vary. By doing so, it provides several insights that philosophers and other science studies scholars can pursue. In particular, it helps address common objections to pursuing transparency in science, it clarifies major forms of transparency, and it suggests avenues for further research on this topic.},
- language = {en},
+ langid = {english},
keywords = {herramienta,open science,research ethics,science communication,transparency,value judgments,values and science}
}
@misc{engzell_improving_2020,
- title = {Improving {{Social Science}}: {{Lessons}} from the {{Open Science Movement}}},
+ title = {Improving {{Social Science}}: Lessons from the {{Open Science Movement}}},
shorttitle = {Improving {{Social Science}}},
author = {Engzell, Per and Rohrer, Julia M.},
year = {2020},
@@ -1350,7 +1350,7 @@ @article{erdfelder_detecting_2019
issn = {2190-8370},
doi = {10.1027/2151-2604/a000383},
abstract = {Simonsohn, Nelson, and Simmons (2014a) proposed p-curve - the distribution of statistically significant p-values for a set of studies - as a toot to assess the evidential value of these studies. They argued that, whereas right-skewed p-curves indicate true underlying effects, left-skewed p-curves indicate selective reporting of significant results when there is no true effect ("p-hacking"). We first review previous research showing that, in contrast to the first claim, null effects may produce right-skewed p-curves under some conditions. We then question the second claim by showing that not only selective reporting but also selective nonreporting of significant results due to a significant outcome of a more popular alternative test of the same hypothesis may produce left-skewed p-curves, even if all studies reflect true effects. Hence, just as right-skewed p-curves do not necessarily imply evidential value, left-skewed p-curves do not necessarily imply p- hacking and absence of true effects in the studies involved.},
- language = {English},
+ langid = {english},
keywords = {ancova,decisions,failure,false-positive results,p-curve,p-hacking,psychology,publication bias,replication,robust,science,selection,tests},
annotation = {WOS:000503843900003}
}
@@ -1364,7 +1364,7 @@ @misc{europeancommissionbrussels_flash_2015
abstract = {Attitudes towards EU competition policy. Topics: attitude towards selected statements regarding competition between companies: allows for better consumer prices, for more choice for consumers, and for higher quality, encourages innovation and economic growth; experiences regarding a lack of competition in the following sectors resulting in higher prices, a reduction in choice, or lower quality: telecommunication and internet access, energy, financial services, transport services, food retailing, pharmaceutical products, others, none; main problems in the mentioned sectors; preferred point of contact in case of encountering the aforementioned problems: national competition authority, other authorities in the own country, consumer organisations in the own country, police, court, European Commission; awareness of issues with regard to competition policies in the media in the last year; sources of the information; assessment of the impact of competition on consumers; awareness of competition-related decisions against a company taken by a competition authority; awareness of the executing authority. Demography: age; sex; nationality; age at end of education; occupation; professional position; region; type of community; own a mobile phone and fixed (landline) phone; household composition and household size. Additionally coded was: respondent ID; type of phone line; nation group; weighting factor.},
collaborator = {European Commission, Brussels DG Communication COMM A1 {\textasciiacute}Strategy, Corporate Communication Actions And Eurobarometer{\textasciiacute} Unit and TNS Dimarso, Brussels, Belgium and TNS BBSS, Sofia, Bulgaria and TNS Aisa S.R.O., Prague, Czech Republic and TNS GALLUP A/S, Copenhagen, Denmark and TNS Infratest, Munich, Germany and TNS Emor, Tallinn, Estonia and IMS Millward Brown, Dublin, Ireland and TNS ICAP, Athens, Greece and TNS Demoscopia S.A., Madrid, Spain and TNS Sofres, Montrouge, France and TNS ITALIA, Milan, Italy and CYMAR, Nicosia, Cyprus and TNS Latvia, Riga, Latvia and TNS Lithuania, Vilnius, Lithuania and TNS Dimarso, Luxembourg, Luxembourg and TNS Hoffmann Kft, Budapest, Hungary and MISCO International Ltd, Valletta, Malta and TNS NIPO, Amsterdam, Netherlands and TNS Austria, Vienna, Austria and TNS OBOP, Warsaw, Poland and TNS EUROTESTE, Lisbon, Portugal and TNS CSOP, Bucharest, Romania and RM PLUS, Maribor, Slovenia and TNS AISA Slovakia, Bratislava, Slovakia and TNS GALLUP Oy, Espoo, Finland and TNS SIFO, Stockholm, Sweden and TNS UK, London, United Kingdom and HENDAL, Zagreb, Croatia and {TNS Political \& Social, Brussels (International Co-Ordination)}},
copyright = {Alle im GESIS DBK ver\"offentlichten Metadaten sind frei verf\"ugbar unter den Creative Commons CC0 1.0 Universal Public Domain Dedication. GESIS bittet jedoch darum, dass Sie alle Metadatenquellen anerkennen und sie nennen, etwa die Datengeber oder jeglichen Aggregator, inklusive GESIS selbst. F\"ur weitere Informationen siehe https://dbk.gesis.org/dbksearch/guidelines.asp?db=d, All metadata from GESIS DBK are available free of restriction under the Creative Commons CC0 1.0 Universal Public Domain Dedication. However, GESIS requests that you actively acknowledge and give attribution to all metadata sources, such as the data providers and any data aggregators, including GESIS. For further information see https://dbk.gesis.org/dbksearch/guidelines.asp},
- language = {en},
+ langid = {english},
keywords = {Consumption/consumer behaviour,Economic policy,Economic systems and development,Economics,International politics and organisation,Internationale Politik und Institutionen,KAT12 International Institutions; Relations; Conditions,KAT30 Economic Systems,KAT40 Patterns of Consumption,Konsum/Konsumverhalten,Wirtschaft,Wirtschaftspolitik,Wirtschaftssysteme und wirtschaftliche Entwicklung}
}
@@ -1375,7 +1375,7 @@ @misc{fair_fair_2020
}
@article{fanelli_how_2009,
- title = {How {{Many Scientists Fabricate}} and {{Falsify Research}}? {{A Systematic Review}} and {{Meta}}-{{Analysis}} of {{Survey Data}}},
+ title = {How {{Many Scientists Fabricate}} and {{Falsify Research}}? A {{Systematic Review}} and {{Meta}}-{{Analysis}} of {{Survey Data}}},
shorttitle = {How {{Many Scientists Fabricate}} and {{Falsify Research}}?},
author = {Fanelli, Daniele},
year = {2009},
@@ -1388,12 +1388,12 @@ @article{fanelli_how_2009
issn = {1932-6203},
doi = {10.1371/journal.pone.0005738},
abstract = {The frequency with which scientists fabricate and falsify data, or commit other forms of scientific misconduct is a matter of controversy. Many surveys have asked scientists directly whether they have committed or know of a colleague who committed research misconduct, but their results appeared difficult to compare and synthesize. This is the first meta-analysis of these surveys. To standardize outcomes, the number of respondents who recalled at least one incident of misconduct was calculated for each question, and the analysis was limited to behaviours that distort scientific knowledge: fabrication, falsification, ``cooking'' of data, etc\ldots{} Survey questions on plagiarism and other forms of professional misconduct were excluded. The final sample consisted of 21 surveys that were included in the systematic review, and 18 in the meta-analysis. A pooled weighted average of 1.97\% (N = 7, 95\%CI: 0.86\textendash 4.45) of scientists admitted to have fabricated, falsified or modified data or results at least once \textendash a serious form of misconduct by any standard\textendash{} and up to 33.7\% admitted other questionable research practices. In surveys asking about the behaviour of colleagues, admission rates were 14.12\% (N = 12, 95\% CI: 9.91\textendash 19.72) for falsification, and up to 72\% for other questionable research practices. Meta-regression showed that self reports surveys, surveys using the words ``falsification'' or ``fabrication'', and mailed surveys yielded lower percentages of misconduct. When these factors were controlled for, misconduct was reported more frequently by medical/pharmacological researchers than others. Considering that these surveys ask sensitive questions and have other limitations, it appears likely that this is a conservative estimate of the true prevalence of scientific misconduct.},
- language = {en},
+ langid = {english},
keywords = {Deception,important,Medical journals,Medicine and health sciences,Metaanalysis,practices,Scientific misconduct,Scientists,Social research,Surveys}
}
@article{fanelli_opinion_2018,
- title = {Opinion: {{Is}} Science Really Facing a Reproducibility Crisis, and Do We Need It To?},
+ title = {Opinion: Is Science Really Facing a Reproducibility Crisis, and Do We Need It To?},
shorttitle = {Opinion},
author = {Fanelli, Daniele},
year = {2018},
@@ -1405,7 +1405,7 @@ @article{fanelli_opinion_2018
issn = {0027-8424, 1091-6490},
doi = {10.1073/pnas.1708272114},
abstract = {Efforts to improve the reproducibility and integrity of science are typically justified by a narrative of crisis, according to which most published results are unreliable due to growing problems with research and publication practices. This article provides an overview of recent evidence suggesting that this narrative is mistaken, and argues that a narrative of epochal changes and empowerment of scientists would be more accurate, inspiring, and compelling.},
- language = {en},
+ langid = {english},
keywords = {crisis,forrt}
}
@@ -1462,7 +1462,7 @@ @article{fiedler_questionable_2016
issn = {1948-5506},
doi = {10.1177/1948550615612150},
abstract = {The current discussion of questionable research practices (QRPs) is meant to improve the quality of science. It is, however, important to conduct QRP studies with the same scrutiny as all research. We note problems with overestimates of QRP prevalence and the survey methods used in the frequently cited study by John, Loewenstein, and Prelec. In a survey of German psychologists, we decomposed QRP prevalence into its two multiplicative components, proportion of scientists who ever committed a behavior and, if so, how frequently they repeated this behavior across all their research. The resulting prevalence estimates are lower by order of magnitudes. We conclude that inflated prevalence estimates, due to problematic interpretation of survey data, can create a descriptive norm (QRP is normal) that can counteract the injunctive norm to minimize QRPs and unwantedly damage the image of behavioral sciences, which are essential to dealing with many societal problems.},
- language = {en},
+ langid = {english},
keywords = {ethics/morality,language,research methods,research practices,survey methodology}
}
@@ -1481,15 +1481,15 @@ @article{field_effect_2020
issn = {2054-5703},
doi = {10.1098/rsos.181351},
abstract = {The crisis of confidence has undermined the trust that researchers place in the findings of their peers. In order to increase trust in research, initiatives such as preregistration have been suggested, which aim to prevent various questionable research practices. As it stands, however, no empirical evidence exists that preregistration does increase perceptions of trust. The picture may be complicated by a researcher's familiarity with the author of the study, regardless of the preregistration status of the research. This registered report presents an empirical assessment of the extent to which preregistration increases the trust of 209 active academics in the reported outcomes, and how familiarity with another researcher influences that trust. Contrary to our expectations, we report ambiguous Bayes factors and conclude that we do not have strong evidence towards answering our research questions. Our findings are presented along with evidence that our manipulations were ineffective for many participants, leading to the exclusion of 68\% of complete datasets, and an underpowered design as a consequence. We discuss other limitations and confounds which may explain why the findings of the study deviate from a previously conducted pilot study. We reflect on the benefits of using the registered report submission format in light of our results. The OSF page for this registered report and its pilot can be found here: http://dx.doi.org.uchile.idm.oclc.org/10.17605/OSF.IO/B3K75.},
- language = {English},
+ langid = {english},
keywords = {credibility,preregistration,questionable research practice,registered reporting,trustworthiness},
annotation = {WOS:000523781500001}
}
@incollection{figueiredo_data_2020,
- title = {Data {{Collection With Indigenous People}}: {{Fieldwork Experiences From Chile}}},
+ title = {Data {{Collection With Indigenous People}}: Fieldwork {{Experiences From Chile}}},
shorttitle = {Data {{Collection With Indigenous People}}},
- booktitle = {Researching {{Peace}}, {{Conflict}}, and {{Power}} in the {{Field}}: {{Methodological Challenges}} and {{Opportunities}}},
+ booktitle = {Researching {{Peace}}, {{Conflict}}, and {{Power}} in the {{Field}}: Methodological {{Challenges}} and {{Opportunities}}},
author = {Figueiredo, Ana and Rocha, Carolina and Montagna, Pietro},
editor = {Acar, Yasemin G{\"u}ls{\"u}m and Moss, Sigrun Marie and Ulu{\u g}, {\"O}zden Melis},
year = {2020},
@@ -1500,12 +1500,12 @@ @incollection{figueiredo_data_2020
doi = {10.1007/978-3-030-44113-5_7},
abstract = {At present, the Mapuche are the largest indigenous group living in Chile and, up until the present day, they are considered a disadvantaged group in Chilean society in terms of poverty, education and discrimination indicators. In recent decades, this group has been involved in a violent conflict with the Chilean state, forestry and hydroelectric industries and big landowners due mainly to territorial claims of the ancestral land that is currently inhabited and exploited by these different actors. In the present chapter, we narrate the process of data collection with indigenous participants within the framework of a three-year long project about representations of history and present-day intergroup relations between the Mapuche and the non-indigenous majority in Chile. We focus on the challenges that data collection involved by highlighting the process of participant recruitment and trust issues revolving around data collection, as well as retribution practices. Moreover, we also highlight the pros and cons of having non-indigenous Chilean and international researchers conducting fieldwork in this context. Another aspect we address is how methodological approaches may influence the data quality and participants' degree of involvement with the project, by highlighting how these issues interconnect with cultural differences and this indigenous group's worldview and cultural practices. We hope this chapter may provide significant insights on how to deal with some of the difficulties that data collection with indigenous people may involve.},
isbn = {978-3-030-44113-5},
- language = {en},
+ langid = {english},
keywords = {Chile,Fieldwork,Mapuche,Qualitative research,Quantitative research}
}
@article{figueiredo_groupbased_2015,
- title = {Group-Based {{Compunction}} and {{Anger}}: {{Their Antecedents}} and {{Consequences}} in {{Relation}} to {{Colonial Conflicts}}},
+ title = {Group-Based {{Compunction}} and {{Anger}}: Their {{Antecedents}} and {{Consequences}} in {{Relation}} to {{Colonial Conflicts}}},
shorttitle = {Group-Based {{Compunction}} and {{Anger}}},
author = {Figueiredo, Ana and Doosje, Bertjan and Valentim, Joaquim Pires},
year = {2015},
@@ -1515,11 +1515,11 @@ @article{figueiredo_groupbased_2015
issn = {1864-1385},
doi = {10.4119/ijcv-3070},
copyright = {Copyright (c) 2016 International Journal of Conflict and Violence},
- language = {en}
+ langid = {english}
}
@incollection{figueiredo_representations_2019,
- title = {Representations of History and Present-Day Intergroup Relations between Indigenous and Non-Indigenous People: {{The Mapuche}} in {{Chile}}},
+ title = {Representations of History and Present-Day Intergroup Relations between Indigenous and Non-Indigenous People: The {{Mapuche}} in {{Chile}}},
shorttitle = {Representations of History and Present-Day Intergroup Relations between Indigenous and Non-Indigenous People},
author = {Figueiredo, Ana and Rocha, Carolina and Montagna, Pietro and Ferreiro, Trinidad and Guerrero, Catarina and Varela O'Reilly, Micaela and Garc{\'i}a, Bernardita and Mu{\~n}oz, Loreto and Schmidt, Magdalena and Cornejo, Marcela and Licata, Laurent},
year = {2019},
@@ -1529,7 +1529,7 @@ @incollection{figueiredo_representations_2019
}
@article{figueiredo_too_2015,
- title = {Too Long to Compensate? {{Time}} Perceptions, Emotions, and Compensation for Colonial Conflicts},
+ title = {Too Long to Compensate? Time Perceptions, Emotions, and Compensation for Colonial Conflicts},
shorttitle = {Too Long to Compensate?},
author = {Figueiredo, Ana Mateus and Valentim, Joaquim Pires and Doosje, Bertjan},
year = {2015},
@@ -1546,7 +1546,7 @@ @article{figueiredo_too_2015
}
@article{findley_can_2016,
- title = {Can {{Results}}-{{Free Review Reduce Publication Bias}}? {{The Results}} and {{Implications}} of a {{Pilot Study}}},
+ title = {Can {{Results}}-{{Free Review Reduce Publication Bias}}? The {{Results}} and {{Implications}} of a {{Pilot Study}}},
shorttitle = {Can {{Results}}-{{Free Review Reduce Publication Bias}}?},
author = {Findley, Michael G. and Jensen, Nathan M. and Malesky, Edmund J. and Pepinsky, Thomas B.},
year = {2016},
@@ -1560,7 +1560,7 @@ @article{findley_can_2016
issn = {0010-4140},
doi = {10.1177/0010414016655539},
abstract = {In 2015, Comparative Political Studies embarked on a landmark pilot study in research transparency in the social sciences. The editors issued an open call for submissions of manuscripts that contained no mention of their actual results, incentivizing reviewers to evaluate manuscripts based on their theoretical contributions, research designs, and analysis plans. The three papers in this special issue are the result of this process that began with 19 submissions. In this article, we describe the rationale for this pilot, expressly articulating the practices of preregistration and results-free review. We document the process of carrying out the special issue with a discussion of the three accepted papers, and critically evaluate the role of both preregistration and results-free review. Our main conclusions are that results-free review encourages much greater attention to theory and research design, but that it raises thorny problems about how to anticipate and interpret null findings. We also observe that as currently practiced, results-free review has a particular affinity with experimental and cross-case methodologies. Our lack of submissions from scholars using qualitative or interpretivist research suggests limitations to the widespread use of results-free review.},
- language = {English},
+ langid = {english},
keywords = {anonymous incorporation,debt,experimental research,field experiment,growth,journals,null hypothesis,political-science,preregistration,qualitative methods,quantitative methods,registration,results-free review,transparency,trials},
annotation = {WOS:000386853700001}
}
@@ -1579,7 +1579,7 @@ @article{flier_faculty_2017
doi = {10.1038/549133a},
abstract = {Research institutions should explicitly seek job candidates who can be frankly self-critical of their work, says Jeffrey Flier.},
copyright = {2017 Nature Publishing Group},
- language = {en},
+ langid = {english},
annotation = {Bandiera\_abtest: a Cg\_type: Nature Research Journals Primary\_atype: Comments \& Opinion Subject\_term: Careers;Lab life;Research data;Research management Subject\_term\_id: careers;lab-life;research-data;research-management}
}
@@ -1597,7 +1597,7 @@ @article{flier_faculty_2017a
doi = {10.1038/549133a},
abstract = {Research institutions should explicitly seek job candidates who can be frankly self-critical of their work, says Jeffrey Flier.},
copyright = {2017 Nature Publishing Group},
- language = {en},
+ langid = {english},
keywords = {forrt}
}
@@ -1614,7 +1614,7 @@ @article{flournoy_improving_2020
issn = {1878-9293},
doi = {10.1016/j.dcn.2020.100807},
abstract = {The past decade has seen growing concern about research practices in cognitive neuroscience, and psychology more broadly, that shake our confidence in many inferences in these fields. We consider how these issues affect developmental cognitive neuroscience, with the goal of progressing our field to support strong and defensible inferences from our neurobiological data. This manuscript focuses on the importance of distinguishing between confirmatory versus exploratory data analysis approaches in developmental cognitive neuroscience. Regarding confirmatory research, we discuss problems with analytic flexibility, appropriately instantiating hypotheses, and controlling the error rate given how we threshold data and correct for multiple comparisons. To counterbalance these concerns with confirmatory analyses, we present two complementary strategies. First, we discuss the advantages of working within an exploratory analysis framework, including estimating and reporting effect sizes, using parcellations, and conducting specification curve analyses. Second, we summarize defensible approaches for null hypothesis significance testing in confirmatory analyses, focusing on transparent and reproducible practices in our field. Specific recommendations are given, and templates, scripts, or other resources are hyperlinked, whenever possible.},
- language = {English},
+ langid = {english},
keywords = {Exploratory,extent,Inference,parcellation,Parcellations,Preregistration,primer,Reproducibility,size,tests,Thresholding},
annotation = {WOS:000579499600015}
}
@@ -1633,7 +1633,7 @@ @article{forstmeier_detecting_2017
issn = {1464-7931},
doi = {10.1111/brv.12315},
abstract = {Recently there has been a growing concern that many published research findings do not hold up in attempts to replicate them. We argue that this problem may originate from a culture of you can publish if you found a significant effect'. This culture creates a systematic bias against the null hypothesis which renders meta-analyses questionable and may even lead to a situation where hypotheses become difficult to falsify. In order to pinpoint the sources of error and possible solutions, we review current scientific practices with regard to their effect on the probability of drawing a false-positive conclusion. We explain why the proportion of published false-positive findings is expected to increase with (i) decreasing sample size, (ii) increasing pursuit of novelty, (iii) various forms of multiple testing and researcher flexibility, and (iv) incorrect P-values, especially due to unaccounted pseudoreplication, i.e. the non-independence of data points (clustered data). We provide examples showing how statistical pitfalls and psychological traps lead to conclusions that are biased and unreliable, and we show how these mistakes can be avoided. Ultimately, we hope to contribute to a culture of you can publish if your study is rigorous'. To this end, we highlight promising strategies towards making science more objective. Specifically, we enthusiastically encourage scientists to preregister their studies (including a priori hypotheses and complete analysis plans), to blind observers to treatment groups during data collection and analysis, and unconditionally to report all results. Also, we advocate reallocating some efforts away from seeking novelty and discovery and towards replicating important research findings of one's own and of others for the benefit of the scientific community as a whole. We believe these efforts will be aided by a shift in evaluation criteria away from the current system which values metrics of impact' almost exclusively and towards a system which explicitly values indices of scientific rigour.},
- language = {English},
+ langid = {english},
keywords = {behavioral ecology,confirmation bias,effect sizes,evolution,HARKing,hindsight bias,incentives,metaanalyses,overfitting,P-hacking,power,preregistration,publication bias,replication,researcher degrees of freedom,statistical power,tests,transparency,truth,Type I error},
annotation = {WOS:000412314400005}
}
@@ -1646,7 +1646,7 @@ @misc{fortney_social_2015
}
@article{franca_reproducibility_2019,
- title = {Reproducibility Crisis, the Scientific Method, and the Quality of Published Studies: {{Untangling}} the Knot},
+ title = {Reproducibility Crisis, the Scientific Method, and the Quality of Published Studies: Untangling the Knot},
shorttitle = {Reproducibility Crisis, the Scientific Method, and the Quality of Published Studies},
author = {Fran{\c c}a, Thiago F. A. and Monserrat, Jos{\'e} Maria},
year = {2019},
@@ -1657,12 +1657,12 @@ @article{franca_reproducibility_2019
pages = {406--408},
issn = {0953-1513, 1741-4857},
doi = {10.1002/leap.1250},
- language = {en},
+ langid = {english},
keywords = {crisis}
}
@article{franco_publication_2014,
- title = {Publication Bias in the Social Sciences: {{Unlocking}} the File Drawer},
+ title = {Publication Bias in the Social Sciences: Unlocking the File Drawer},
shorttitle = {Publication Bias in the Social Sciences},
author = {Franco, A. and Malhotra, N. and Simonovits, G.},
year = {2014},
@@ -1673,7 +1673,7 @@ @article{franco_publication_2014
pages = {1502--1505},
issn = {0036-8075, 1095-9203},
doi = {10.1126/science.1255484},
- language = {en},
+ langid = {english},
keywords = {practices}
}
@@ -1691,7 +1691,7 @@ @article{frankenhuis_open_2018
issn = {1745-6916},
doi = {10.1177/1745691618767878},
abstract = {Some scholars think that Open Science practices constrain researchers in ways that reduce their creativity, arguing, for instance, that preregistration discourages data exploration and so stifles discovery. In this article, we argue the opposite: Open Science practices are liberating and can foster creativity. Open Science practices are liberating because they (a) enable us to explore data transparently and comfortably; (b) reward quality, which is under our control, rather than outcomes, which are not; and (c) reduce the choke hold of needing to find "positive" results for career advancement. Open Science practices can foster creativity because they cultivate an open and flexible mind-set, create a more collaborative and constructive climate, and generate more accurate information and make it more accessible. In sum, Open Science liberates researchers more than it constrains them.},
- language = {English},
+ langid = {english},
keywords = {competition,creativity,doubt,information,knowledge,open science,preregistration,psychological science,registered-reports,replicability,replication,reproducibility,scientific utopia,standard,uncertainty},
annotation = {WOS:000438605100005}
}
@@ -1709,7 +1709,7 @@ @article{fraser_questionable_2018
issn = {1932-6203},
doi = {10.1371/journal.pone.0200303},
abstract = {We surveyed 807 researchers (494 ecologists and 313 evolutionary biologists) about their use of Questionable Research Practices (QRPs), including cherry picking statistically significant results, p hacking, and hypothesising after the results are known (HARKing). We also asked them to estimate the proportion of their colleagues that use each of these QRPs. Several of the QRPs were prevalent within the ecology and evolution research community. Across the two groups, we found 64\% of surveyed researchers reported they had at least once failed to report results because they were not statistically significant (cherry picking); 42\% had collected more data after inspecting whether results were statistically significant (a form of p hacking) and 51\% had reported an unexpected finding as though it had been hypothesised from the start (HARKing). Such practices have been directly implicated in the low rates of reproducible results uncovered by recent large scale replication studies in psychology and other disciplines. The rates of QRPs found in this study are comparable with the rates seen in psychology, indicating that the reproducibility problems discovered in psychology are also likely to be present in ecology and evolution.},
- language = {en},
+ langid = {english},
keywords = {Behavioral ecology,Community ecology,Evolutionary biology,Evolutionary ecology,Evolutionary rate,Psychology,Publication ethics,Statistical data}
}
@@ -1741,7 +1741,7 @@ @article{frey_publishing_2003
issn = {1573-7101},
doi = {10.1023/A:1024208701874},
abstract = {Survival in academia depends on publications in refereedjournals. Authors only get their papers accepted if theyintellectually prostitute themselves by slavishly followingthe demands made by anonymous referees who have no propertyrights to the journals they advise. Intellectual prostitutionis neither beneficial to suppliers nor consumers. But it isavoidable. The editor (with property rights to the journal)should make the basic decision of whether a paper is worthpublishing or not. The referees should only offer suggestionsfor improvement. The author may disregard this advice. Thisreduces intellectual prostitution and produces more originalpublications.},
- language = {en},
+ langid = {english},
keywords = {institutional}
}
@@ -1759,7 +1759,7 @@ @article{friese_phacking_2020
issn = {1082-989X},
doi = {10.1037/met0000246},
abstract = {Science depends on trustworthy evidence. Thus, a biased scientific record is of questionable value because it impedes scientific progress, and the public receives advice on the basis of unreliable evidence that has the potential to have far-reaching detrimental consequences. Meta-analysis is a technique that can be used to summarize research evidence. However, meta-analytic effect size estimates may themselves be biased, threatening the validity and usefulness of meta-analyses to promote scientific progress. Here, we offer a large-scale simulation study to elucidate how p-hacking and publication bias distort meta-analytic effect size estimates under a broad array of circumstances that reflect the reality that exists across a variety of research areas. The results revealed that, first, very high levels of publication bias can severely distort the cumulative evidence. Second, p-hacking and publication bias interact: At relatively high and low levels of publication bias, p-hacking does comparatively little harm, but at medium levels of publication bias, p-hacking can considerably contribute to bias, especially when the true effects are very small or are approaching zero. Third, p-hacking can severely increase the rate of false positives. A key implication is that, in addition to preventing p-hacking, policies in research institutions, funding agencies, and scientific journals need to make the prevention of publication bias a top priority to ensure a trustworthy base of evidence. Translational Abstract In recent years, the trustworthiness of psychological science has been questioned. A major concern is that many research findings are less robust than the published evidence suggests. Several reasons may contribute to this state of affairs. Two prominently discussed reasons are that (a) researchers use questionable research practices (so called p-hacking) when they analyze the data of their empirical studies, and (b) studies that revealed results consistent with expectations are more likely published than studies that "failed" (publication bias). The present large-scale simulation study estimates the extent to which meta-analytic effect sizes are biased by different degrees of p-hacking and publication bias, considering several factors of influence that may impact on this bias (e.g., the true effect of the phenomenon of interest). Results show that both p-hacking and publication bias contribute to a potentially severely biased impression of the overall evidence. This is especially the case when the true effect that is investigated is very small or does not exist at all. Severe publication bias alone can exert considerable bias; p-hacking exerts considerable bias only when there is also publication bias. However, p-hacking can severely increase the rate of false positives, that is, findings that suggest that a study found a real effect when, in reality, no effect exists. A key implication of the present study is that, in addition to preventing p-hacking, policies in research institutions, funding agencies, and scientific journals need to make the prevention of publication bias a top priority to ensure a trustworthy base of evidence.},
- language = {English},
+ langid = {english},
keywords = {curve,decisions,incentives,meta-analysis,meta-regression,metascience,p-hacking,prevalence,psychological-research,publication bias,registered-reports,robust,science,tests},
annotation = {WOS:000563801800004}
}
@@ -1778,13 +1778,13 @@ @article{friese_phacking_2020a
issn = {1082-989X},
doi = {10.1037/met0000246},
abstract = {Science depends on trustworthy evidence. Thus, a biased scientific record is of questionable value because it impedes scientific progress, and the public receives advice on the basis of unreliable evidence that has the potential to have far-reaching detrimental consequences. Meta-analysis is a technique that can be used to summarize research evidence. However, meta-analytic effect size estimates may themselves be biased, threatening the validity and usefulness of meta-analyses to promote scientific progress. Here, we offer a large-scale simulation study to elucidate how p-hacking and publication bias distort meta-analytic effect size estimates under a broad array of circumstances that reflect the reality that exists across a variety of research areas. The results revealed that, first, very high levels of publication bias can severely distort the cumulative evidence. Second, p-hacking and publication bias interact: At relatively high and low levels of publication bias, p-hacking does comparatively little harm, but at medium levels of publication bias, p-hacking can considerably contribute to bias, especially when the true effects are very small or are approaching zero. Third, p-hacking can severely increase the rate of false positives. A key implication is that, in addition to preventing p-hacking, policies in research institutions, funding agencies, and scientific journals need to make the prevention of publication bias a top priority to ensure a trustworthy base of evidence. Translational Abstract In recent years, the trustworthiness of psychological science has been questioned. A major concern is that many research findings are less robust than the published evidence suggests. Several reasons may contribute to this state of affairs. Two prominently discussed reasons are that (a) researchers use questionable research practices (so called p-hacking) when they analyze the data of their empirical studies, and (b) studies that revealed results consistent with expectations are more likely published than studies that "failed" (publication bias). The present large-scale simulation study estimates the extent to which meta-analytic effect sizes are biased by different degrees of p-hacking and publication bias, considering several factors of influence that may impact on this bias (e.g., the true effect of the phenomenon of interest). Results show that both p-hacking and publication bias contribute to a potentially severely biased impression of the overall evidence. This is especially the case when the true effect that is investigated is very small or does not exist at all. Severe publication bias alone can exert considerable bias; p-hacking exerts considerable bias only when there is also publication bias. However, p-hacking can severely increase the rate of false positives, that is, findings that suggest that a study found a real effect when, in reality, no effect exists. A key implication of the present study is that, in addition to preventing p-hacking, policies in research institutions, funding agencies, and scientific journals need to make the prevention of publication bias a top priority to ensure a trustworthy base of evidence.},
- language = {English},
+ langid = {english},
keywords = {curve,decisions,incentives,meta-analysis,meta-regression,metascience,p-hacking,prevalence,psychological-research,publication bias,registered-reports,robust,science,tests},
annotation = {WOS:000563801800004}
}
@article{frost_calibrate_2020,
- title = {Calibrate Your Confidence in Research Findings: {{A}} Tutorial on Improving Research Methods and Practices},
+ title = {Calibrate Your Confidence in Research Findings: A Tutorial on Improving Research Methods and Practices},
shorttitle = {Calibrate Your Confidence in Research Findings},
author = {Frost, Aline da Silva and Ledgerwood, Alison},
year = {2020},
@@ -1796,13 +1796,13 @@ @article{frost_calibrate_2020
issn = {1834-4909},
doi = {10.1017/prp.2020.7},
abstract = {This article provides an accessible tutorial with concrete guidance for how to start improving research methods and practices in your lab. Following recent calls to improve research methods and practices within and beyond the borders of psychological science, resources have proliferated across book chapters, journal articles, and online media. Many researchers are interested in learning more about cutting-edge methods and practices but are unsure where to begin. In this tutorial, we describe specific tools that help researchers calibrate their confidence in a given set of findings. In Part I, we describe strategies for assessing the likely statistical power of a study, including when and how to conduct different types of power calculations, how to estimate effect sizes, and how to think about power for detecting interactions. In Part II, we provide strategies for assessing the likely type I error rate of a study, including distinguishing clearly between data-independent ("confirmatory") and data-dependent ("exploratory") analyses and thinking carefully about different forms and functions of preregistration.},
- language = {English},
+ langid = {english},
keywords = {crisis,incentives,open science,positive predictive value,preanalysis plan,preregistration,publication bias,reliability,replicability,sample-size,science,special section,statistical power,trade-off},
annotation = {WOS:000527960000001}
}
@article{gall_credibility_2017,
- title = {The Credibility Crisis in Research: {{Can}} Economics Tools Help?},
+ title = {The Credibility Crisis in Research: Can Economics Tools Help?},
shorttitle = {The Credibility Crisis in Research},
author = {Gall, Thomas and Ioannidis, John P. A. and Maniadis, Zacharias},
year = {2017},
@@ -1815,12 +1815,12 @@ @article{gall_credibility_2017
issn = {1545-7885},
doi = {10.1371/journal.pbio.2001846},
abstract = {The issue of nonreplicable evidence has attracted considerable attention across biomedical and other sciences. This concern is accompanied by an increasing interest in reforming research incentives and practices. How to optimally perform these reforms is a scientific problem in itself, and economics has several scientific methods that can help evaluate research reforms. Here, we review these methods and show their potential. Prominent among them are mathematical modeling and laboratory experiments that constitute affordable ways to approximate the effects of policies with wide-ranging implications.},
- language = {en},
+ langid = {english},
keywords = {crisis,Economic models,Economics,Experimental economics,Game theory,Health economics,Labor economics,Mathematical modeling,Randomized controlled trials}
}
@article{gerber_publication_2008,
- title = {Publication {{Bias}} in {{Empirical Sociological Research}}: {{Do Arbitrary Significance Levels Distort Published Results}}?},
+ title = {Publication {{Bias}} in {{Empirical Sociological Research}}: Do {{Arbitrary Significance Levels Distort Published Results}}?},
shorttitle = {Publication {{Bias}} in {{Empirical Sociological Research}}},
author = {Gerber, Alan and Malhotra, Neil},
year = {2008},
@@ -1833,12 +1833,12 @@ @article{gerber_publication_2008
issn = {0049-1241},
doi = {10.1177/0049124108318973},
abstract = {Despite great attention to the quality of research methods in individual studies, if publication decisions of journals are a function of the statistical significance of research findings, the published literature as a whole may not produce accurate measures of true effects. This article examines the two most prominent sociology journals (the American Sociological Review and the American Journal of Sociology) and another important though less influential journal (The Sociological Quarterly) for evidence of publication bias. The effect of the .05 significance level on the pattern of published findings is examined using a ``caliper'' test, and the hypothesis of no publication bias can be rejected at approximately the 1 in 10 million level. Findings suggest that some of the results reported in leading sociology journals may be misleading and inaccurate due to publication bias. Some reasons for publication bias and proposed reforms to reduce its impact on research are also discussed.},
- language = {en},
+ langid = {english},
keywords = {caliper test,hypothesis testing,meta-analysis,practices,publication bias}
}
@article{gerber_statistical_2008,
- title = {Do {{Statistical Reporting Standards Affect What Is Published}}? {{Publication Bias}} in {{Two Leading Political Science Journals}}},
+ title = {Do {{Statistical Reporting Standards Affect What Is Published}}? Publication {{Bias}} in {{Two Leading Political Science Journals}}},
shorttitle = {Do {{Statistical Reporting Standards Affect What Is Published}}?},
author = {Gerber, Alan and Malhotra, Neil},
year = {2008},
@@ -1851,7 +1851,7 @@ @article{gerber_statistical_2008
issn = {1554-0626, 1554-0634},
doi = {10.1561/100.00008024},
abstract = {Do Statistical Reporting Standards Affect What Is Published? Publication Bias in Two Leading Political Science Journals},
- language = {English},
+ langid = {english},
keywords = {practices}
}
@@ -1869,7 +1869,7 @@ @article{geukes_ways_2016
issn = {1612-5010},
doi = {10.1026/1612-5010/a000167},
abstract = {Psychology faces a so-called crisis of confidence as does sport psychology (see title of this special issue). While the debate on its causes and consequences is lively, the deduction of individual opportunities to collectively increase trust is missing. We propose ways out of this crisis and above all describe individual steps toward a reliable and open science. Reliable science refers to the publication of robust effects, as well as to direct and conceptual replications, and open science refers to transparency regarding the design (preregistration), the conducting (open material), and the analysis (open data, reproducible code) of scientific studies. The commitment to reliable and open science wilt change our behavior in the diverse roles within the scientific system (e.g., as researchers, reviewers, supervisors, editors, or members of commissions). In this sense, we consider the current discussion as a chance to enhance the trustworthiness of our findings and to ultimately create justified confidence.},
- language = {German},
+ langid = {german},
keywords = {crisis of confidence,exercise,incentives,open science,preregistration,psychological-research,recommendations,registered-reports,replicability,replication,research practices,special section,sport,truth},
annotation = {WOS:000392884700005}
}
@@ -1885,7 +1885,7 @@ @article{gilbert_comment_2016
pages = {1037--1037},
issn = {0036-8075, 1095-9203},
doi = {10.1126/science.aad7243},
- language = {en}
+ langid = {english}
}
@misc{gomez_datos_2016,
@@ -1909,7 +1909,7 @@ @article{goodman_what_2016
abstract = {{$<$}p{$>$}The language and conceptual framework of ``research reproducibility'' are nonstandard and unsettled across the sciences. In this Perspective, we review an array of explicit and implicit definitions of reproducibility and related terminology, and discuss how to avoid potential misunderstandings when these terms are used as a surrogate for ``truth.''{$<$}/p{$>$}},
chapter = {Perspective},
copyright = {Copyright \textcopyright{} 2016, American Association for the Advancement of Science},
- language = {en},
+ langid = {english},
pmid = {27252173}
}
@@ -1927,7 +1927,7 @@ @article{gorman_systems_2019
issn = {1353-3452},
doi = {10.1007/s11948-017-9986-z},
abstract = {Concern about the integrity of empirical research has arisen in recent years in the light of studies showing the vast majority of publications in academic journals report positive results, many of these results are false and cannot be replicated, and many positive results are the product of data dredging and the application of flexible data analysis practices coupled with selective reporting. While a number of potential solutions have been proposed, the effects of these are poorly understood and empirical evaluation of each would take many years. We propose that methods from the systems sciences be used to assess the effects, both positive and negative, of proposed solutions to the problem of declining research integrity such as study registration, Registered Reports, and open access to methods and data. In order to illustrate the potential application of systems science methods to the study of research integrity, we describe three broad types of models: one built on the characteristics of specific academic disciplines; one a diffusion of research norms model conceptualizing researchers as susceptible, infected and recovered; and one conceptualizing publications as a product produced by an industry comprised of academics who respond to incentives and disincentives.},
- language = {English},
+ langid = {english},
keywords = {aversion,bias,diffusion,dynamics,impact,medicine,Open data,programs,publication,Publish or perish,registered reports,Registered reports,Research ethics,science,System dynamics,Systems thinking},
annotation = {WOS:000461310400012}
}
@@ -1945,7 +1945,7 @@ @article{grant_lack_2018
issn = {0895-4356},
doi = {10.1016/j.jclinepi.2018.03.007},
abstract = {Objectives: To empirically demonstrate how undisclosed analytic flexibility provides substantial latitude for data mining and selective reporting of consensus in Delphi processes. Study Design and Setting: Pooling data across eight online modified-Delphi panels, we first calculated the percentage of items reaching consensus according to descriptive analysis procedures commonly used in health research but selected post hoc in this article. We then examined the variability of items reaching consensus across panels. Results: Pooling all panel data, the percentage of items reaching consensus ranged from 0\% to 84\%, depending on the analysis procedure. Comparing data across panels, variability in the percentage of items reaching consensus for each analysis procedure ranged from 0 (i.e., all panels had the same percentage of items reaching consensus for a given analysis procedure) to 83 (i.e., panels had a range of 11\% to 94\% of items reaching consensus for a given analysis procedure). Of 200 total panel-by-analysis-procedure configurations, four configurations (2\%) had all items and 64 (32\%) had no items reaching consensus. Conclusion: Undisclosed analytic flexibility makes it unacceptably easy to data mine for and selectively report consensus in Delphi processes. As a solution, we recommend prospective, complete registration of preanalysis plans for consensus-oriented Delphi processes in health research. (C) 2018 Elsevier Inc. All rights reserved.},
- language = {English},
+ langid = {english},
keywords = {bias,clinical-trials,Consensus,consort,criteria,Delphi process,Expert panel,future,Open science framework,Preanalysis plan,Preregistration,registration,stability},
annotation = {WOS:000437393100011}
}
@@ -1963,7 +1963,7 @@ @article{greiff_introducing_2020
address = {{Boston}},
issn = {1015-5759},
doi = {10.1027/1015-5759/a000628},
- language = {English},
+ langid = {english},
keywords = {registered reports},
annotation = {WOS:000595143100001}
}
@@ -1982,7 +1982,7 @@ @article{gundersen_fundamental_2021
issn = {1364-503X},
doi = {10.1098/rsta.2020.0210},
abstract = {Reproducibility is a confused terminology. In this paper, I take a fundamental view on reproducibility rooted in the scientific method. The scientific method is analysed and characterized in order to develop the terminology required to define reproducibility. Furthermore, the literature on reproducibility and replication is surveyed, and experiments are modelled as tasks and problem solving methods. Machine learning is used to exemplify the described approach. Based on the analysis, reproducibility is defined and three different degrees of reproducibility as well as four types of reproducibility are specified. This article is part of the theme issue 'Reliability and reproducibility in computational science: implementing verification, validation and uncertainty quantification in silico'.},
- language = {English},
+ langid = {english},
keywords = {go,level,machine learning,problem solving methods,registered-reports,scientific method},
annotation = {WOS:000636259600012}
}
@@ -1999,11 +1999,11 @@ @article{guttinger_limits_2020
issn = {1879-4920},
doi = {10.1007/s13194-019-0269-1},
abstract = {Discussions about a replicability crisis in science have been driven by the normative claim that all of science should be replicable and the empirical claim that most of it isn't. Recently, such crisis talk has been challenged by a new localism, which argues a) that serious problems with replicability are not a general occurrence in science and b) that replicability itself should not be treated as a universal standard. The goal of this article is to introduce this emerging strand of the debate and to discuss some of its implications and limitations. I will in particular highlight the issue of demarcation that localist accounts have to address, i.e. the question of how we can distinguish replicable science from disciplines where replicability does not apply.},
- language = {en}
+ langid = {english}
}
@article{hales_improving_2019,
- title = {Improving {{Psychological Science}} through {{Transparency}} and {{Openness}}: {{An Overview}}},
+ title = {Improving {{Psychological Science}} through {{Transparency}} and {{Openness}}: An {{Overview}}},
shorttitle = {Improving {{Psychological Science}} through {{Transparency}} and {{Openness}}},
author = {Hales, Andrew H. and Wesselmann, Eric D. and Hilgard, Joseph},
year = {2019},
@@ -2015,11 +2015,11 @@ @article{hales_improving_2019
issn = {2520-8977},
doi = {10.1007/s40614-018-00186-8},
abstract = {The ability to independently verify and replicate observations made by other researchers is a hallmark of science. In this article, we provide an overview of recent discussions concerning replicability and best practices in mainstream psychology with an emphasis on the practical benefists to both researchers and the field as a whole. We first review challenges individual researchers face in producing research that is both publishable and reliable. We then suggest methods for producing more accurate research claims, such as transparently disclosing how results were obtained and analyzed, preregistering analysis plans, and publicly posting original data and materials. We also discuss ongoing changes at the institutional level to incentivize stronger research. These include officially recognizing open science practices at the journal level, disconnecting the publication decision from the results of a study, training students to conduct replications, and publishing replications. We conclude that these open science practices afford exciting low-cost opportunities to improve the quality of psychological science.},
- language = {en}
+ langid = {english}
}
@article{hales_improving_2019a,
- title = {Improving {{Psychological Science}} through {{Transparency}} and {{Openness}}: {{An Overview}}},
+ title = {Improving {{Psychological Science}} through {{Transparency}} and {{Openness}}: An {{Overview}}},
shorttitle = {Improving {{Psychological Science}} through {{Transparency}} and {{Openness}}},
author = {Hales, Andrew H. and Wesselmann, Eric D. and Hilgard, Joseph},
year = {2019},
@@ -2033,7 +2033,7 @@ @article{hales_improving_2019a
issn = {2520-8969},
doi = {10.1007/s40614-018-00186-8},
abstract = {The ability to independently verify and replicate observations made by other researchers is a hallmark of science. In this article, we provide an overview of recent discussions concerning replicability and best practices in mainstream psychology with an emphasis on the practical benefists to both researchers and the field as a whole. We first review challenges individual researchers face in producing research that is both publishable and reliable. We then suggest methods for producing more accurate research claims, such as transparently disclosing how results were obtained and analyzed, preregistering analysis plans, and publicly posting original data and materials. We also discuss ongoing changes at the institutional level to incentivize stronger research. These include officially recognizing open science practices at the journal level, disconnecting the publication decision from the results of a study, training students to conduct replications, and publishing replications. We conclude that these open science practices afford exciting low-cost opportunities to improve the quality of psychological science.},
- language = {English},
+ langid = {english},
keywords = {behavior analysis,consequences,incentives,Meta-analysis,metaanalysis,power,Preregistration,recommendations,rejection,replicability,replication,Replication,Reproducibility,statistical-inference},
annotation = {WOS:000464867500002}
}
@@ -2052,7 +2052,7 @@ @article{hartgerink_reanalyzing_2017
issn = {2167-8359},
doi = {10.7717/peerj.3068},
abstract = {Heal et al. (2015) provided a large collection of p-values that, from their perspective, indicates widespread statistical significance seeking (i.e., p-hacking). This paper inspects this result for robustness. Theoretically, the p-value distribution should be a smooth, decreasing function, but the distribution of reported p-values shows systematically more reported p-values for .01, .02, .03, .04, and .05 than p-values reported to three decimal places, due to apparent tendencies to round p-values to two decimal places. Head et al. (2015) correctly argue that an aggregate p-value distribution could show a bump below .05 when left-skew p-hacking occurs frequently. Moreover, the elimination of p = .045 and p = .05, as done in the original paper, is debatable. Given that eliminating p = .045 is a result of the need for symmetric bins and systematically more p-values are reported to two decimal places than to three decimal places, I did not exclude p = .045 and p = .05. I conducted Fishers method .04 {$<$} p {$<$} .05 and reanalyzed the data by adjusting the bin selection to .03875 {$<$} p {$<$}= .04 versus .04875 {$<$} p {$<$}= .05. Results of the reanalysis indicate that no evidence for left-skew p-hacking remains when we look at the entire range between .04 {$<$} p {$<$} .05 or when we inspect the second-decimal. Taking into account reporting tendencies when selecting the bins to compare is especially important because this dataset does not allow for the recalculation of the p-values. Moreover, inspecting the bins that include two-decimal reported p-values potentially increases sensitivity if strategic rounding down of p-values as a form of p-hacking is widespread. Given the far-reaching implications of supposed widespread p-hacking throughout the sciences Head et al. (2015), it is important that these findings are robust to data analysis choices if the conclusion is to be considered unequivocal. Although no evidence of widespread left-skew p-hacking is found in this reanalysis, this does not mean that there is no p-hacking at all. These results nuance the conclusion by Head et al. (2015), indicating that the results are not robust and that the evidence for widespread left-skew p-hacking is ambiguous at best.},
- language = {English},
+ langid = {english},
keywords = {curve analysis,Nhst,P-hacking,P-values,Qrps,Questionable research practices,Reanalysis,values},
annotation = {WOS:000396903800009}
}
@@ -2076,7 +2076,7 @@ @article{haven_preregistering_2019
}
@article{haven_preregistering_2020,
- title = {Preregistering {{Qualitative Research}}: {{A Delphi Study}}},
+ title = {Preregistering {{Qualitative Research}}: A {{Delphi Study}}},
shorttitle = {Preregistering {{Qualitative Research}}},
author = {Haven, Tamarinde L. and Errington, Timothy M. and Gleditsch, Kristian Skrede and {van Grootel}, Leonie and Jacobs, Alan M. and Kern, Florian G. and Pineiro, Rafael and Rosenblatt, Fernando and Mokkink, Lidwine B.},
year = {2020},
@@ -2089,7 +2089,7 @@ @article{haven_preregistering_2020
issn = {1609-4069},
doi = {10.1177/1609406920976417},
abstract = {Preregistrations-records made a priori about study designs and analysis plans and placed in open repositories-are thought to strengthen the credibility and transparency of research. Different authors have put forth arguments in favor of introducing this practice in qualitative research and made suggestions for what to include in a qualitative preregistration form. The goal of this study was to gauge and understand what parts of preregistration templates qualitative researchers would find helpful and informative. We used an online Delphi study design consisting of two rounds with feedback reports in between. In total, 48 researchers participated (response rate: 16\%). In round 1, panelists considered 14 proposed items relevant to include in the preregistration form, but two items had relevance scores just below our predefined criterion (68\%) with mixed argument and were put forth again. We combined items where possible, leading to 11 revised items. In round 2, panelists agreed on including the two remaining items. Panelists also converged on suggested terminology and elaborations, except for two terms for which they provided clear arguments. The result is an agreement-based form for the preregistration of qualitative studies that consists of 13 items. The form will be made available as a registration option on Open Science Framework (osf.io). We believe it is important to assure that the strength of qualitative research, which is its flexibility to adapt, adjust and respond, is not lost in preregistration. The preregistration should provide a systematic starting point.},
- language = {English},
+ langid = {english},
keywords = {consensus,criteria,guidelines,preregistration,psychology,qualitative research,science,standards,transparency},
annotation = {WOS:000599964600001}
}
@@ -2108,7 +2108,7 @@ @article{head_extent_2015
issn = {1544-9173},
doi = {10.1371/journal.pbio.1002106},
abstract = {A focus on novel, confirmatory, and statistically significant results leads to substantial bias in the scientific literature. One type of bias, known as "p-hacking," occurs when researchers collect or select data or statistical analyses until nonsignificant results become significant. Here, we use text-mining to demonstrate that p-hacking is widespread throughout science. We then illustrate how one can test for p-hacking when performing a meta-analysis and show that, while p-hacking is probably common, its effect seems to be weak relative to the real effect sizes being measured. This result suggests that p-hacking probably does not drastically alter scientific consensuses drawn from meta-analyses.},
- language = {English},
+ langid = {english},
keywords = {clinical-research,competition,confidence,extra-pair paternity,false discovery rate,metaanalysis,operational sex-ratio,publication bias,replication,wise false},
annotation = {WOS:000352095700015}
}
@@ -2126,7 +2126,7 @@ @article{head_extent_2015a
issn = {1545-7885},
doi = {10.1371/journal.pbio.1002106},
abstract = {A focus on novel, confirmatory, and statistically significant results leads to substantial bias in the scientific literature. One type of bias, known as ``p-hacking,'' occurs when researchers collect or select data or statistical analyses until nonsignificant results become significant. Here, we use text-mining to demonstrate that p-hacking is widespread throughout science. We then illustrate how one can test for p-hacking when performing a meta-analysis and show that, while p-hacking is probably common, its effect seems to be weak relative to the real effect sizes being measured. This result suggests that p-hacking probably does not drastically alter scientific consensuses drawn from meta-analyses.},
- language = {en},
+ langid = {english},
keywords = {Bibliometrics,Binomials,Medicine and health sciences,Metaanalysis,practices,Publication ethics,Reproducibility,Statistical data,Test statistics}
}
@@ -2155,7 +2155,7 @@ @article{hernandez_por_2016
}
@article{hitzig_problem_2020,
- title = {The {{Problem}} of {{New Evidence}}: {{P}}-{{Hacking}} and {{Pre}}-{{Analysis Plans}}},
+ title = {The {{Problem}} of {{New Evidence}}: P-{{Hacking}} and {{Pre}}-{{Analysis Plans}}},
shorttitle = {The {{Problem}} of {{New Evidence}}},
author = {Hitzig, Zoe and Stegenga, Jacob},
year = {2020},
@@ -2169,13 +2169,13 @@ @article{hitzig_problem_2020
issn = {1733-5566},
doi = {10.33392/diam.1587},
abstract = {We provide a novel articulation of the epistemic peril of p-hacking using three resources from philosophy: predictivism, Bayesian confirmation theory, and model selection theory. We defend a nuanced position on p-hacking: p-hacking is sometimes, but not always, epistemically pernicious. Our argument requires a novel understanding of Bayesianism, since a standard criticism of Bayesian confirmation theory is that it cannot represent the influence of biased methods. We then turn to pre-analysis plans, a methodological device used to mitigate p-hacking. Some say that pre-analysis plans are epistemically meritorious while others deny this, and in practice pre-analysis plans are often violated. We resolve this debate with a modest defence of pre-analysis plans. Further, we argue that pre-analysis plans can be epistemically relevant even if the plan is not strictly followed-and suggest that allowing for flexible pre-analysis plans may be the best available policy option.},
- language = {English},
+ langid = {english},
keywords = {Bayesian confirmation theory,credibility,old evidence,p-hacking,pre-analysis plans,prediction,predictivism,registered-reports,replication crisis,science,transparency},
annotation = {WOS:000600025300002}
}
@article{hollenbeck_harking_2017,
- title = {Harking, {{Sharking}}, and {{Tharking}}: {{Making}} the {{Case}} for {{Post Hoc Analysis}} of {{Scientific Data}}},
+ title = {Harking, {{Sharking}}, and {{Tharking}}: Making the {{Case}} for {{Post Hoc Analysis}} of {{Scientific Data}}},
shorttitle = {Harking, {{Sharking}}, and {{Tharking}}},
author = {Hollenbeck, John R. and Wright, Patrick M.},
year = {2017},
@@ -2188,7 +2188,7 @@ @article{hollenbeck_harking_2017
issn = {0149-2063},
doi = {10.1177/0149206316679487},
abstract = {In this editorial we discuss the problems associated with HARKing (Hypothesizing After Results Are Known) and draw a distinction between Sharking (Secretly HARKing in the Introduction section) and Tharking (Transparently HARKing in the Discussion section). Although there is never any justification for the process of Sharking, we argue that Tharking can promote the effectiveness and efficiency of both scientific inquiry and cumulative knowledge creation. We argue that the discussion sections of all empirical papers should include a subsection that reports post hoc exploratory data analysis. We explain how authors, reviewers, and editors can best leverage post hoc analyses in the spirit of scientific discovery in a way that does not bias parameter estimates and recognizes the lack of definitiveness associated with any single study or any single replication. We also discuss why the failure to Thark in high-stakes contexts where data is scarce and costly may also be unethical.},
- language = {en},
+ langid = {english},
keywords = {macro topics,micro topics,philosophy of science,practices,research design,research methods,statistical methods}
}
@@ -2205,7 +2205,7 @@ @article{horbach_changing_2018
address = {{London}},
doi = {10.1186/s41073-018-0051-5},
abstract = {The quality and integrity of the scientific literature have recently become the subject of heated debate. Due to an apparent increase in cases of scientific fraud and irreproducible research, some have claimed science to be in a state of crisis. A key concern in this debate has been the extent to which science is capable of self-regulation. Among various mechanisms, the peer review system in particular is considered an essential gatekeeper of both quality and sometimes even integrity in science.However, the allocation of responsibility for integrity to the peer review system is fairly recent and remains controversial. In addition, peer review currently comes in a wide variety of forms, developed in the expectation they can address specific problems and concerns in science publishing. At present, there is a clear need for a systematic analysis of peer review forms and the concerns underpinning them, especially considering a wave of experimentation fuelled by internet technologies and their promise to improve research integrity and reporting.We describe the emergence of current peer review forms by reviewing the scientific literature on peer review and by adding recent developments based on information from editors and publishers. We analyse the rationale for developing new review forms and discuss how they have been implemented in the current system. Finally, we give a systematisation of the range of discussed peer review forms. We pay detailed attention to the emergence of the expectation that peer review can maintain 'the integrity of science's published record', demonstrating that this leads to tensions in the academic debate about the responsibilities and abilities of the peer review system.},
- language = {English},
+ langid = {english},
keywords = {credibility,exchange,fraud,Innovation,journals,Peer review,plagiarism,publication bias,registered-reports,science,Scientific integrity,scientific misconduct,Scientific misconduct,Scientific publishing},
annotation = {WOS:000561282300001}
}
@@ -2218,7 +2218,7 @@ @misc{horgan_psychology_
doi = {10.1038/scientificamericanmind0716-18},
abstract = {As more studies are called into question and researchers bicker over methodology, the field is showing a healthy willingness to face its problems\ },
howpublished = {https://www.scientificamerican.com/article/psychology-s-credibility-crisis-the-bad-the-good-and-the-ugly/},
- language = {en},
+ langid = {english},
keywords = {crisis}
}
@@ -2240,7 +2240,7 @@ @article{ioannidis_power_2017
doi = {10.1111/ecoj.12461},
abstract = {We investigate two critical dimensions of the credibility of empirical economics research: statistical power and bias. We survey 159 empirical economics literatures that draw upon 64,076 estimates of economic parameters reported in more than 6,700 empirical studies. Half of the research areas have nearly 90\% of their results under-powered. The median statistical power is 18\%, or less. A simple weighted average of those reported results that are adequately powered (power {$\geq$} 80\%) reveals that nearly 80\% of the reported effects in these empirical economics literatures are exaggerated; typically, by a factor of two and with one-third inflated by a factor of four or more.},
copyright = {\textcopyright{} 2017 Royal Economic Society},
- language = {en},
+ langid = {english},
keywords = {bias,credibility,empirical economics,practices,publication bias,statistical power},
annotation = {\_eprint: https://onlinelibrary.wiley.com/doi/pdf/10.1111/ecoj.12461}
}
@@ -2258,12 +2258,12 @@ @article{ioannidis_why_2005
issn = {1549-1676},
doi = {10.1371/journal.pmed.0020124},
abstract = {Summary There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true to no relationships among the relationships probed in each scientific field. In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias. In this essay, I discuss the implications of these problems for the conduct and interpretation of research.},
- language = {en},
+ langid = {english},
keywords = {Cancer risk factors,crisis,Finance,Genetic epidemiology,Genetics of disease,Metaanalysis,practices,Randomized controlled trials,Research design,Schizophrenia}
}
@article{janzen_ulysses_,
- title = {Ulysses' Pact or {{Ulysses}}' Raft: {{Using}} Pre-Analysis Plans in Experimental and Nonexperimental Research},
+ title = {Ulysses' Pact or {{Ulysses}}' Raft: Using Pre-Analysis Plans in Experimental and Nonexperimental Research},
shorttitle = {Ulysses' Pact or {{Ulysses}}' Raft},
author = {Janzen, Sarah A. and Michler, Jeffrey D.},
journal = {Applied Economic Perspectives and Policy},
@@ -2272,13 +2272,13 @@ @article{janzen_ulysses_
issn = {2040-5790},
doi = {10.1002/aepp.13133},
abstract = {Economists have recently adopted preanalysis plans in response to concerns about robustness and transparency in research. The increased use of registered preanalysis plans has raised competing concerns that detailed plans are costly to create, overly restrictive, and limit the type of inspiration that stems from exploratory analysis. We consider these competing views of preanalysis plans, and make a careful distinction between the roles of preanalysis plans and registries, which provide a record of all planned research. We propose a flexible "packraft" preanalysis plan approach that offers benefits for a wide variety of experimental and nonexperimental applications in applied economics.},
- language = {English},
+ langid = {english},
keywords = {error,hypothesis registry,preanalysis plan,preregistration,research ethics,transparency},
annotation = {WOS:000605993700001}
}
@article{jara_tracing_2018,
- title = {Tracing {{Mapuche Exclusion}} from {{Post}}-{{Dictatorial Truth Commissions}} in {{Chile}}: {{Official}} and {{Grassroots Initiatives}}},
+ title = {Tracing {{Mapuche Exclusion}} from {{Post}}-{{Dictatorial Truth Commissions}} in {{Chile}}: Official and {{Grassroots Initiatives}}},
shorttitle = {Tracing {{Mapuche Exclusion}} from {{Post}}-{{Dictatorial Truth Commissions}} in {{Chile}}},
author = {Jara, Daniela and Badilla, Manuela and Figueiredo, Ana and Cornejo, Marcela and Riveros, Victoria},
year = {2018},
@@ -2305,12 +2305,12 @@ @article{jerolmack_ethical_2019
issn = {0049-1241},
doi = {10.1177/0049124117701483},
abstract = {Masking, the practice of hiding or distorting identifying information about people, places, and organizations, is usually considered a requisite feature of ethnographic research and writing. This is justified both as an ethical obligation to one's subjects and as a scientifically neutral position (as readers are enjoined to treat a case's idiosyncrasies as sociologically insignificant). We question both justifications, highlighting potential ethical dilemmas and obstacles to constructing cumulative social science that can arise through masking. Regarding ethics, we show, on the one hand, how masking may give subjects a false sense of security because it implies a promise of confidentiality that it often cannot guarantee and, on the other hand, how naming may sometimes be what subjects want and expect. Regarding scientific tradeoffs, we argue that masking can reify ethnographic authority, exaggerate the universality of the case (e.g., ``Middletown''), and inhibit replicability (or ``revisits'') and sociological comparison. While some degree of masking is ethically and practically warranted in many cases and the value of disclosure varies across ethnographies, we conclude that masking should no longer be the default option that ethnographers unquestioningly choose.},
- language = {en},
+ langid = {english},
keywords = {disclosure,ethics,ethnography,generalizability,masking,pseudonyms}
}
@article{jl_it_2017,
- title = {It's {{Time}} to {{Broaden}} the {{Replicability Conversation}}: {{Thoughts}} for and {{From Clinical Psychological Science}}},
+ title = {It's {{Time}} to {{Broaden}} the {{Replicability Conversation}}: Thoughts for and {{From Clinical Psychological Science}}},
shorttitle = {It's {{Time}} to {{Broaden}} the {{Replicability Conversation}}},
author = {Jl, Tackett and So, Lilienfeld and Cj, Patrick and Sl, Johnson and Rf, Krueger and Jd, Miller and Tf, Oltmanns and Pe, Shrout},
year = {2017},
@@ -2322,7 +2322,7 @@ @article{jl_it_2017
issn = {1745-6924},
doi = {10.1177/1745691617690042},
abstract = {Psychology is in the early stages of examining a crisis of replicability stemming from several high-profile failures to replicate studies in experimental psychology. This important conversation has largely been focused on social psychology, with some active participation from cognitive psychology. N \ldots},
- language = {en},
+ langid = {english},
pmid = {28972844}
}
@@ -2339,7 +2339,7 @@ @article{john_measuring_2012
issn = {0956-7976},
doi = {10.1177/0956797611430953},
abstract = {Cases of clear scientific misconduct have received significant media attention recently, but less flagrantly questionable research practices may be more prevalent and, ultimately, more damaging to the academic enterprise. Using an anonymous elicitation format supplemented by incentives for honest reporting, we surveyed over 2,000 psychologists about their involvement in questionable research practices. The impact of truth-telling incentives on self-admissions of questionable research practices was positive, and this impact was greater for practices that respondents judged to be less defensible. Combining three different estimation methods, we found that the percentage of respondents who have engaged in questionable practices was surprisingly high. This finding suggests that some questionable practices may constitute the prevailing research norm.},
- language = {en},
+ langid = {english},
keywords = {disclosure,judgment,methodology,practices,professional standards}
}
@@ -2355,7 +2355,7 @@ @article{johnson_hunting_2014
address = {{Gottingen}},
issn = {1864-9335},
abstract = {We attempted high-powered direct replications of the two experiments in Schnall, Benton, and Harvey (2008) and did not duplicate the original results. We therefore concluded that more research was needed to establish the size and robustness of the original effects and to evaluate potential moderators. Schnall (2014) suggests that our conclusions were invalid because of potential psychometric artifacts in our data. We present evidence that undermines concerns about artifacts and defend the utility of preregistered replication studies for advancing research in psychological science.},
- language = {English},
+ langid = {english},
keywords = {cleanliness,moral judgment,preregistration,replication},
annotation = {WOS:000341226100015}
}
@@ -2367,7 +2367,7 @@ @article{kapiszewski_openness_2019
month = jun,
doi = {10.33774/apsa-2019-if2he},
abstract = {The discipline of political science has been engaged in discussion about when, why, and how to make scholarship more open for at least three decades.This piece argues that the best way to resolve our differences and develop appropriate norms and guidelines for making different types of qualitative research more open is to move from ``if'' to ``how'' \textendash{} for individual political scientists to make their work more open \textendash{} generating examples from which we can learn and on which we can build. We begin by articulating a series of principles that underlie our views on openness. We then consider the ``state of the debate,'' briefly outlining the contours of the scholarship on openness in political and other social sciences, highlighting the fractured nature of the discussion. The heart of the piece considers various strategies, illustrated by exemplary applications, for making qualitative research more open.},
- language = {en}
+ langid = {english}
}
@techreport{kapiszewski_transparency_2019,
@@ -2393,12 +2393,12 @@ @article{kapiszewski_transparency_2021
issn = {1049-0965, 1537-5935},
doi = {10.1017/S1049096520000955},
abstract = {//static.cambridge.org/content/id/urn\%3Acambridge.org\%3Aid\%3Aarticle\%3AS1049096520000955/resource/name/firstPage-S1049096520000955a.jpg},
- language = {en},
+ langid = {english},
keywords = {transparency}
}
@article{kathawalla_easing_2021,
- title = {Easing {{Into Open Science}}: {{A Guide}} for {{Graduate Students}} and {{Their Advisors}}},
+ title = {Easing {{Into Open Science}}: A {{Guide}} for {{Graduate Students}} and {{Their Advisors}}},
shorttitle = {Easing {{Into Open Science}}},
author = {Kathawalla, Ummul-Kiram and Silverstein, Priya and Syed, Moin},
year = {2021},
@@ -2411,13 +2411,13 @@ @article{kathawalla_easing_2021
issn = {2474-7394},
doi = {10.1525/collabra.18684},
abstract = {This article provides a roadmap to assist graduate students and their advisors to engage in open science practices. We suggest eight open science practices that novice graduate students could begin adopting today. The topics we cover include journal clubs, project workflow, preprints, reproducible code, data sharing, transparent writing, preregistration, and registered reports. To address concerns about not knowing how to engage in open science practices, we provide a difficulty rating of each behavior (easy, medium, difficult), present them in order of suggested adoption, and follow the format of what, why, how, and worries. We give graduate students ideas on how to approach conversations with their advisors/collaborators, ideas on how to integrate open science practices within the graduate school framework, and specific resources on how to engage with each behavior. We emphasize that engaging in open science behaviors need not be an all or nothing approach, but rather graduate students can engage with any number of the behaviors outlined.},
- language = {English},
+ langid = {english},
keywords = {advising,apa publications,article reporting standards,graduate students,open science,preregistration,psychology,reproducibility,tutorial},
annotation = {WOS:000655169700001}
}
@article{kerr_harking_1998,
- title = {{{HARKing}}: {{Hypothesizing After}} the {{Results}} Are {{Known}}},
+ title = {{{HARKing}}: Hypothesizing {{After}} the {{Results}} Are {{Known}}},
shorttitle = {{{HARKing}}},
author = {Kerr, Norbert L.},
year = {1998},
@@ -2430,7 +2430,7 @@ @article{kerr_harking_1998
issn = {1088-8683},
doi = {10.1207/s15327957pspr0203_4},
abstract = {This article considers a practice in scientific communication termed HARKing (Hypothesizing After the Results are Known). HARKing is defined as presenting a post hoc hypothesis (i.e., one based on or informed by one's results) in one's research report as if it were, in fact, an a priori hypotheses. Several forms of HARKing are identified and survey data are presented that suggests that at least some forms of HARKing are widely practiced and widely seen as inappropriate. I identify several reasons why scientists might HARK. Then I discuss several reasons why scientists ought not to HARK. It is conceded that the question of whether HARKing's costs exceed its benefits is a complex one that ought to be addressed through research, open discussion, and debate. To help stimulate such discussion (and for those such as myself who suspect that HARKing's costs do exceed its benefits), I conclude the article with some suggestions for deterring HARKing.},
- language = {en}
+ langid = {english}
}
@article{khan_phacking_2019,
@@ -2446,7 +2446,7 @@ @article{khan_phacking_2019
issn = {1050-4753},
doi = {10.2308/bria-52183},
abstract = {A focus on novel, confirmatory, and statistically significant results by journals that publish experimental audit research may result in substantial bias in the literature. We explore one type of bias known as p-hacking: a practice where researchers, whether knowingly or unknowingly, adjust their collection, analysis, and reporting of data and results, until nonsignificant results become significant. Examining experimental audit literature published in eight accounting and audit journals within the last three decades, we find an overabundance of p-values at or just below the conventional thresholds for statistical significance. The finding of too many "just significant" results is an indication that some of the results published in the experimental audit literature are potentially a consequence of p-hacking. We discuss potential remedies that, if adopted, may to some extent alleviate concerns regarding p-hacking and the publication of false positive results.},
- language = {English},
+ langid = {english},
keywords = {audit,audit experiment,curve,design,file-drawer problem,p-hacking,p-values,publication bias,statistics,tests},
annotation = {WOS:000478766300009}
}
@@ -2465,7 +2465,7 @@ @article{kiese-himmel_pitfalls_2020
issn = {0017-6192},
doi = {10.1007/s00106-019-00750-x},
abstract = {Mistakes in the acquisition, evaluation, analysis and reporting of data often occur because there is a lack of awareness of the methodological problem. They can have far-reaching consequences for the reception of results of scientific primary studies and therefore for the clinical practice and healthcare. This article aims at raising awareness for a responsible handling of study data and for avoiding questionable or incorrect practices. It presents some examples of statistical pitfalls in empirical research practice, which increase the probability of false positive results and shows possibilities to avoid such risks.},
- language = {German},
+ langid = {german},
keywords = {audiometry,clinical-trials,false discovery rate,False positive findings,HARKing,hearing-loss,missing data,p-hacking,parameters,Preregistration,Replicability},
annotation = {WOS:000512057900001}
}
@@ -2508,12 +2508,12 @@ @techreport{lareferencia.consejodirectivo_comunicacion_2019
doi = {10.5281/ZENODO.3229410},
abstract = {Documento redactado como insumo para las autoridades regionales que asistieron a la reuni\'on anual del Global Research Council con acuerdo del Consejo Directivo. La publicaci\'on y difusi\'on del mismo se realiza con el fin de favorecer el di\'alogo y la construcci\'on de una visi\'on conjunta sobre la cual se debe profundizar y actualizar a la luz de los desaf\'ios del Acceso Abierto en la regi\'on en el corto y mediano plazo. La comunicaci\'on cient\'ifica y el cambio del modelo; la situaci\'on de Am\'erica Latina; el sistema de comunicaci\'on acad\'emica de la regi\'on, principios y acciones y recomendaciones para repositorios, consorcios y revistas son los ejes tem\'aticos que se abordan a lo largo de sus p\'aginas. El art\'iculo refuerza la premisa de que se deben tomar acciones decididas para que los resultados financiados total o parcialmente con fondos p\'ublicos est\'en en Acceso Abierto y reafirma el rol central de los organismos de CyT para lograrlo. Basado en la realidad regional, propone principios generales y acciones para los repositorios de Acceso Abierto, consorcios y revistas con una mirada m\'as sist\'emica desde las pol\'iticas p\'ublicas. Concluye con la necesidad de un di\'alogo con iniciativas como el ``Plan S'' se\~nalando los puntos de acuerdo, as\'i como diferencias, dado el contexto regional, en temas como el APC o una valorizaci\'on del rol de los repositorios. Presentado en la reuni\'on de COAR. 2019. Technical and Strategic Meeting of Repository Networks. Mayo 21, 2019 - Lyon, France. Alberto Cabezas Bullemore, Secretario Ejecutivo, LA Referencia.},
copyright = {Creative Commons Attribution 4.0 International, Open Access},
- language = {es},
+ langid = {spanish},
keywords = {Acceso Abierto,Ciencia Abierta,Financiadores,ONCYTs,Plan S,Repositorios,revisado}
}
@article{lewandowsky_research_2016,
- title = {Research Integrity: {{Don}}'t Let Transparency Damage Science},
+ title = {Research Integrity: Don't Let Transparency Damage Science},
shorttitle = {Research Integrity},
author = {Lewandowsky, Stephan and Bishop, Dorothy},
year = {2016},
@@ -2527,7 +2527,7 @@ @article{lewandowsky_research_2016
doi = {10.1038/529459a},
abstract = {Stephan Lewandowsky and Dorothy Bishop explain how the research community should protect its members from harassment, while encouraging the openness that has become essential to science.},
copyright = {2016 Nature Publishing Group},
- language = {en},
+ langid = {english},
keywords = {transparency}
}
@@ -2545,13 +2545,13 @@ @article{leys_how_2019
issn = {2397-8570},
doi = {10.5334/irsp.289},
abstract = {Researchers often lack knowledge about how to deal with outliers when analyzing their data. Even more frequently, researchers do not pre-specify how they plan to manage outliers. In this paper we aim to improve research practices by outlining what you need to know about outliers. We start by providing a functional definition of outliers. We then lay down an appropriate nomenclature/classification of outliers. This nomenclature is used to understand what kinds of outliers can be encountered and serves as a guideline to make appropriate decisions regarding the conservation, deletion, or recoding of outliers. These decisions might impact the validity of statistical inferences as well as the reproducibility of our experiments. To be able to make informed decisions about outliers you first need proper detection tools. We remind readers why the most common outlier detection methods are problematic and recommend the use of the median absolute deviation to detect univariate outliers, and of the Mahalanobis-MCD distance to detect multivariate outliers. An R package was created that can be used to easily perform these detection tests. Finally, we promote the use of pre-registration to avoid flexibility in data analysis when handling outliers.},
- language = {English},
+ langid = {english},
keywords = {Malahanobis distance,median absolute deviation,minimum covariance determinant,outliers,preregistration,psychology,robust detection,transparency},
annotation = {WOS:000468350500001}
}
@article{lilienfeld_psychology_2017,
- title = {Psychology's {{Replication Crisis}} and the {{Grant Culture}}: {{Righting}} the {{Ship}}},
+ title = {Psychology's {{Replication Crisis}} and the {{Grant Culture}}: Righting the {{Ship}}},
shorttitle = {Psychology's {{Replication Crisis}} and the {{Grant Culture}}},
author = {Lilienfeld, Scott O.},
year = {2017},
@@ -2565,13 +2565,13 @@ @article{lilienfeld_psychology_2017
issn = {1745-6916},
doi = {10.1177/1745691616687745},
abstract = {The past several years have been a time for soul searching in psychology, as we have gradually come to grips with the reality that some of our cherished findings are less robust than we had assumed. Nevertheless, the replication crisis highlights the operation of psychological science at its best, as it reflects our growing humility. At the same time, institutional variables, especially the growing emphasis on external funding as an expectation or de facto requirement for faculty tenure and promotion, pose largely unappreciated hazards for psychological science, including (a) incentives for engaging in questionable research practices, (b) a single-minded focus on programmatic research, (c) intellectual hyperspecialization, (d) disincentives for conducting direct replications, (e) stifling of creativity and intellectual risk taking, (f) researchers promising more than they can deliver, and (g) diminished time for thinking deeply. Preregistration should assist with (a), but will do little about (b) through (g). Psychology is beginning to right the ship, but it will need to confront the increasingly deleterious impact of the grant culture on scientific inquiry.},
- language = {English},
+ langid = {english},
keywords = {confirmation bias,grants,preregistration,replication},
annotation = {WOS:000406027000008}
}
@article{linder_unfolding_2020,
- title = {Unfolding the {{Black Box}} of {{Questionable Research Practices}}: {{Where Is}} the {{Line Between Acceptable}} and {{Unacceptable Practices}}?},
+ title = {Unfolding the {{Black Box}} of {{Questionable Research Practices}}: Where {{Is}} the {{Line Between Acceptable}} and {{Unacceptable Practices}}?},
shorttitle = {Unfolding the {{Black Box}} of {{Questionable Research Practices}}},
author = {Linder, Christian and Farahbakhsh, Siavash},
year = {2020},
@@ -2585,7 +2585,7 @@ @article{linder_unfolding_2020
issn = {1052-150X},
doi = {10.1017/beq.2019.52},
abstract = {Despite the extensive literature on what questionable research practices (QRPs) are and how to measure them, the normative underpinnings of such practices have remained less explored. QRPs often fall into a grey area of justifiable and unjustifiable practices. Where to precisely draw the line between such practices challenges individual scholars and this harms science. We investigate QRPs from a normative perspective using the theory of communicative action. We highlight the role of the collective in assessing individual behaviours. Our contribution is a framework that allows identification of when particular actions cross over from acceptable to unacceptable practice. Thus, this article provides grounds for developing scientific standards to raise the quality of scientific research.},
- language = {English},
+ langid = {english},
keywords = {academic standards,academic-freedom,business,deontology,discourse ethics,ethics,file-drawer problem,management,metaanalysis,norms,p-hacking,publication bias,questionable research practice,science,tests},
annotation = {WOS:000549379800003}
}
@@ -2601,12 +2601,12 @@ @article{lindsay_seven_2020
pages = {310--317},
issn = {1878-7304, 0708-5591},
doi = {10.1037/cap0000222},
- language = {en},
+ langid = {english},
keywords = {forrt,transparency}
}
@article{linton_publish_2011,
- title = {Publish or {{Perish}}: {{How Are Research}} and {{Reputation Related}}?},
+ title = {Publish or {{Perish}}: How {{Are Research}} and {{Reputation Related}}?},
shorttitle = {Publish or {{Perish}}},
author = {Linton, Jonathan D. and Tierney, Robert and Walsh, Steven T.},
year = {2011},
@@ -2624,14 +2624,14 @@ @article{linton_publish_2011
}
@misc{loredo_derecho_2012,
- title = {Derecho {{Comparado}}: {{Derecho}} de {{Autor}} y {{Copyright}}. {{Dos}} Caminos Que Se Encuentran},
+ title = {Derecho {{Comparado}}: Derecho de {{Autor}} y {{Copyright}}. {{Dos}} Caminos Que Se Encuentran},
author = {Loredo, Alejandro},
year = {2012},
journal = {Portal de gobierno electr\'onico, inclusi\'on digital y sociedad del conocimiento}
}
@article{loredo_mexico_2006,
- title = {M\'exico: {{Derecho Comparado}}: {{Derecho}} de {{Autor}} y {{Copyright}}. {{Dos}} Caminos Que Se Encuentran},
+ title = {M\'exico: Derecho {{Comparado}}: Derecho de {{Autor}} y {{Copyright}}. {{Dos}} Caminos Que Se Encuentran},
shorttitle = {M\'exico},
author = {Loredo, Alejandro},
year = {2006},
@@ -2642,7 +2642,7 @@ @article{loredo_mexico_2006
}
@article{lucas_introduction_2021,
- title = {Introduction to the {{Special Issue}}: {{Preregistered Studies}} of {{Personality Development}} and {{Aging Using Existing Data}}},
+ title = {Introduction to the {{Special Issue}}: Preregistered {{Studies}} of {{Personality Development}} and {{Aging Using Existing Data}}},
shorttitle = {Introduction to the {{Special Issue}}},
author = {Lucas, Richard E. and Donnellan, M. Brent},
year = {2021},
@@ -2655,14 +2655,14 @@ @article{lucas_introduction_2021
address = {{Cary}},
issn = {1079-5014},
doi = {10.1093/geronb/gbaa192},
- language = {English},
+ langid = {english},
keywords = {registered-reports},
annotation = {WOS:000649390900001}
}
@techreport{luke_epistemological_2019,
type = {{{SSRN Scholarly Paper}}},
- title = {Epistemological and {{Ontological Priors}}: {{Explicating}} the {{Perils}} of {{Transparency}}},
+ title = {Epistemological and {{Ontological Priors}}: Explicating the {{Perils}} of {{Transparency}}},
shorttitle = {Epistemological and {{Ontological Priors}}},
author = {Luke, Timothy W. and {V{\'a}zquez-Arroyo}, Antonio and Hawkesworth, Mary},
year = {2019},
@@ -2672,7 +2672,7 @@ @techreport{luke_epistemological_2019
institution = {{Social Science Research Network}},
doi = {10.2139/ssrn.3332878},
abstract = {The discipline of political science encompasses multiple research communities, which have grown out of and rely upon different epistemological and ontological presuppositions. Recent debates about transparency raise important questions about which of these research communities will be accredited within the discipline, whose values, norms, and methods of knowledge production will gain ascendency and whose will be marginalized. Although the language of "transparency" makes it appear that these debates are apolitical, simply elaborating standards that all political scientists share, the intensity and content of recent contestations about DA-RT, JETS, and QTD attest to the profoundly political nature of these methodological discussions. This report traces the epistemological and ontological assumptions that have shaped diverse research communities within the discipline, situating "transparency" in relation to classical (Aristotelian), modern (Baconian) and twentieth-century (positivist, critical rationalist, and postpositivist) versions of empiricism. It shows how recent discussions of transparency accredit certain empirical approaches by collapsing the scope of empirical investigation and the parameters of the knowable. And it argues that "transparency" is inappropriate as a regulative ideal for political science because it misconstrues the roles of theory, social values, and critique in scholarly investigation.},
- language = {en},
+ langid = {english},
keywords = {epistemology,ontology,philosophy of science,qualitative methods,Qualitative Transparency Deliberations,research transparency}
}
@@ -2687,7 +2687,7 @@ @article{makel_both_2021
issn = {0013-189X},
doi = {10.3102/0013189X211001356},
abstract = {Concerns about the conduct of research are pervasive in many fields, including education. In this preregistered study, we replicated and extended previous studies from other fields by asking education researchers about 10 questionable research practices and five open research practices. We asked them to estimate the prevalence of the practices in the field, to self-report their own use of such practices, and to estimate the appropriateness of these behaviors in education research. We made predictions under four umbrella categories: comparison to psychology, geographic location, career stage, and quantitative orientation. Broadly, our results suggest that both questionable and open research practices are used by many education researchers. This baseline information will be useful as education researchers seek to understand existing social norms and grapple with whether and how to improve research practices.},
- language = {en},
+ langid = {english},
keywords = {ethics,globalization,open science,psychology,questionable research practices,replication,research methodology,survey research}
}
@@ -2702,11 +2702,11 @@ @article{mardones_usos_2018
issn = {1438-5627},
abstract = {Las definiciones de dise\~no metodol\'ogico en la perspectiva cualitativa son variadas y sus diversos usos dejan entrever una multiplicidad de perspectivas. El presente trabajo tiene por objeto describir los usos del dise\~no metodol\'ogico cualitativo en art\'iculos de ciencias sociales de alto impacto. Se realiza una revisi\'on de 186 art\'iculos de resultados de investigaci\'on y propuestas metodol\'ogicas, publicados en revistas open access indexadas en Scopus en el periodo 2013-2015. Los resultados muestran que el 75\% de los art\'iculos declara su dise\~no metodol\'ogico. El uso de este se clasific\'o en tres categor\'ias: organizaci\'on de la investigaci\'on, elecci\'on paradigm\'atica y tipo de estudio. El 51\% de los art\'iculos utilizan dise\~no cualitativo basado en el tipo de estudio. Mientras tanto, la organizaci\'on de la investigaci\'on (37\%) y la elecci\'on paradigm\'atica (11\%) quedan en segundo lugar. Se concluye que los usos del dise\~no metodol\'ogico cualitativo se basa en supuestos te\'oricos y pr\'acticas propias de la categor\'ia definida como tipo de estudio. Esto puede facilitar la elecci\'on de un dise\~no cualitativo, sensible y flexible al contexto estudiado.},
copyright = {Creative Commons Attribution 4.0 International, Open Access},
- language = {es}
+ langid = {spanish}
}
@article{marsden_introducing_2018,
- title = {Introducing {{Registered Reports}} at {{Language Learning}}: {{Promoting Transparency}}, {{Replication}}, and a {{Synthetic Ethic}} in the {{Language Sciences}}},
+ title = {Introducing {{Registered Reports}} at {{Language Learning}}: Promoting {{Transparency}}, {{Replication}}, and a {{Synthetic Ethic}} in the {{Language Sciences}}},
shorttitle = {Introducing {{Registered Reports}} at {{Language Learning}}},
author = {Marsden, Emma and {Morgan-Short}, Kara and Trofimovich, Pavel and Ellis, Nick C.},
year = {2018},
@@ -2720,7 +2720,7 @@ @article{marsden_introducing_2018
issn = {0023-8333},
doi = {10.1111/lang.12284},
abstract = {The past few years have seen growing interest in open science practices, which include initiatives to increase transparency in research methods, data collection, and analysis; enhance accessibility to data and materials; and improve the dissemination of findings to broader audiences. Language Learning is enhancing its participation in the open science movement by launching Registered Reports as an article category as of January 1, 2018. Registered Reports allow authors to submit the conceptual justifications and the full method and analysis protocol of their study to peer review prior to data collection. High-quality submissions then receive provisional, in-principle acceptance. Provided that data collection, analyses, and reporting follow the proposed and accepted methodology and analysis protocols, the article is subsequently publishable whatever the findings. We outline key concerns leading to the development of Registered Reports, describe its core features, and discuss some of its benefits and weaknesses.},
- language = {English},
+ langid = {english},
keywords = {open science,peer review,preregistration,publication bias,registered report,replication,transparency},
annotation = {WOS:000434147700001}
}
@@ -2739,7 +2739,7 @@ @article{martinson_scientists_2005
doi = {10.1038/435737a},
abstract = {To protect the integrity of science, we must look beyond falsification, fabrication and plagiarism, to a wider range of questionable research practices, argue Brian C. Martinson, Melissa S. Anderson and Raymond de Vries.},
copyright = {2005 Nature Publishing Group},
- language = {en},
+ langid = {english},
keywords = {practices},
annotation = {Bandiera\_abtest: a Cg\_type: Nature Research Journals Primary\_atype: Comments \& Opinion}
}
@@ -2756,13 +2756,13 @@ @article{martiny_degrees_2017
publisher = {{Alexander Riegler}},
address = {{Brussels}},
issn = {1782-348X},
- language = {English},
+ langid = {english},
keywords = {consciousness,dynamics,enaction,experience,incentives,neurophenomenology,open science,phenomenology,registered-reports,synchrony},
annotation = {WOS:000415144800023}
}
@article{matthes_questionable_2015,
- title = {Questionable {{Research Practices}} in {{Experimental Communication Research}}: {{A Systematic Analysis From}} 1980 to 2013},
+ title = {Questionable {{Research Practices}} in {{Experimental Communication Research}}: A {{Systematic Analysis From}} 1980 to 2013},
shorttitle = {Questionable {{Research Practices}} in {{Experimental Communication Research}}},
author = {Matthes, J{\"o}rg and Marquart, Franziska and Naderer, Brigitte and Arendt, Florian and Schmuck, Desir{\'e}e and Adam, Karoline},
year = {2015},
@@ -2792,7 +2792,7 @@ @article{mazor_novel_2019
issn = {0953-816X},
doi = {10.1111/ejn.14278},
abstract = {Often researchers wish to mark an objective line between study plans that were specified before data acquisition and decisions that were made following data exploration. Contrary to common perception, registering study plans to an online platform prior to data collection does not by itself provide such an objective distinction, even when the registration is time-stamped. Here, we adapt a method from the field of cryptography to allow encoding of study plans and predictions within random aspects of the data acquisition process. Doing so introduces a causal link between the preregistered content and objective attributes of the acquired data, such as the timing and location of brain activations. This guarantees that the preregistered plans and predictions are indeed specified prior to data collection. Our time-locking system does not depend on any external party and can be performed entirely in-lab. We provide code for easy implementation and a detailed example from the field of functional Magnetic Resonance Imaging (fMRI).},
- language = {English},
+ langid = {english},
keywords = {neuroimaging,preregistration,replicability,science},
annotation = {WOS:000473619700008}
}
@@ -2816,7 +2816,7 @@ @article{mcgrail_publish_2006
}
@article{mcintosh_three_2020,
- title = {The Three {{R}}'s of Scientific Integrity: {{Replicability}}, Reproducibility, and Robustness},
+ title = {The Three {{R}}'s of Scientific Integrity: Replicability, Reproducibility, and Robustness},
shorttitle = {The Three {{R}}'s of Scientific Integrity},
author = {McIntosh, Robert D. and Chambers, Christopher D.},
year = {2020},
@@ -2828,7 +2828,7 @@ @article{mcintosh_three_2020
address = {{Paris}},
issn = {0010-9452},
doi = {10.1016/j.cortex.2020.04.019},
- language = {English},
+ langid = {english},
keywords = {fear,reconsolidation,registered-reports,retrieval},
annotation = {WOS:000552946000003}
}
@@ -2888,7 +2888,7 @@ @article{mertens_preregistration_2019
}
@book{merton_sociology_1973,
- title = {The {{Sociology}} of {{Science}}: {{Theorerical}} and {{Empirical Investigations}}},
+ title = {The {{Sociology}} of {{Science}}: Theorerical and {{Empirical Investigations}}},
author = {Merton, Robert K.},
year = {1973},
publisher = {{The University of Chicago Press}},
@@ -2910,7 +2910,7 @@ @article{miguel_promoting_2014
abstract = {There is growing appreciation for the advantages of experimentation in the social sciences. Policy-relevant claims that in the past were backed by theoretical arguments and inconclusive correlations are now being investigated using more credible methods. Changes have been particularly pronounced in development economics, where hundreds of randomized trials have been carried out over the last decade. When experimentation is difficult or impossible, researchers are using quasi-experimental designs. Governments and advocacy groups display a growing appetite for evidence-based policy-making. In 2005, Mexico established an independent government agency to rigorously evaluate social programs, and in 2012, the U.S. Office of Management and Budget advised federal agencies to present evidence from randomized program evaluations in budget requests (1, 2). Social scientists should adopt higher transparency standards to improve the quality and credibility of research. Social scientists should adopt higher transparency standards to improve the quality and credibility of research.},
chapter = {Policy Forum},
copyright = {Copyright \textcopyright{} 2014, American Association for the Advancement of Science},
- language = {en},
+ langid = {english},
pmid = {24385620},
keywords = {transparency}
}
@@ -2924,7 +2924,7 @@ @article{monti_acceso_2020
pages = {111--116},
doi = {10.24215/23143924e022},
abstract = {La comercializaci\'on de la informaci\'on cient\'ifica y las barreras de pago para su acceso se han convertido en una de las problem\'aticas m\'as debatidas en las \'ultimas d\'ecadas. El movimiento internacional de acceso abierto ha propuesto v\'ias para favorecer su acceso y, a su vez, distintos actores han impulsado otras estrategias como sitios piratas para la descarga. En este art\'iculo estudiamos el uso que se hace de Sci-Hub en Argentina a partir de un an\'alisis cuantitativo de las estad\'isticas de descargas disponibles hasta 2017. Detectamos patrones de uso generales, editoriales y tem\'aticos de los documentos e indagamos aspectos comunes y diferenciadores con respecto al uso mundial y otros pa\'ises de Am\'erica Latina. Asimismo, determinamos, a partir de distintas muestras, si los art\'iculos accedidos adem\'as est\'an disponibles en acceso abierto y/o su acceso es posible a trav\'es de las suscripciones pagadas por el estado nacional a trav\'es de la Biblioteca Electr\'onica de Ciencia y Tecnolog\'ia (BECyT). Encontramos que las descargas realizadas desde Argentina representan poco m\'as del 1\% de las registradas a nivel mundial, que existe una gran dispersi\'on de t\'itulos solicitados y que hay un aumento significativo en el uso respecto a los mismos per\'iodos de 2015 y 2016. Con las distintas muestras pudimos observar que se est\'an descargando mayormente art\'iculos de acceso restringido publicados por las empresas editoriales que manejan el sector como oligopolio, en revistas indexadas en la llamada ``corriente principal'' y que corresponden al \'area de la medicina (oncolog\'ia, pediatr\'ia y medicina cardiovascular). Tambi\'en, detectamos un n\'umero significativo de descargas de art\'iculos que ya estaban disponibles en acceso abierto, evidenciando un posible desconocimiento de estos recursos y calculamos un incremento importante respecto al uso de BECyT. Concluimos que las descargas desde Argentina tienen patrones similares al resto del mundo y que el aumento de su uso muestra que un cambio m\'as radical para garantizar el derecho de acceso a la informaci\'on es necesario. Mientras la informaci\'on cient\'ifica siga siendo una mercanc\'ia es primordial profundizar el estudio de los distintos proyectos que permiten reapropiarnos del conocimiento.},
- language = {es}
+ langid = {spanish}
}
@article{moore_preregister_2016,
@@ -2939,20 +2939,20 @@ @article{moore_preregister_2016
issn = {1935-990X},
doi = {10.1037/a0040195},
abstract = {Prespecification of confirmatory hypothesis tests is a useful tool that makes our statistical tests informative. On the other hand, selectively reporting studies, measures, or statistical tests renders the probability of false positives higher than the p values would imply. The bad news is that it is usually difficult to tell how much higher the probability is. Fortunately, there are enormous opportunities to improve the quality of our science by preregistering our research plans. Preregistration is a highly distinctive strength that should increase our faith in the veracity and replicability of a research result.},
- language = {eng},
+ langid = {english},
pmid = {27042885},
keywords = {Clinical Trials as Topic,Humans,Information Dissemination,Reproducibility of Results,Research Design,Science}
}
@misc{mortimer_youth_2009,
- title = {Youth {{Development Study}}, 1988-2011 [{{St}}. {{Paul}}, {{Minnesota}}]: {{Version}} 3},
+ title = {Youth {{Development Study}}, 1988-2011 [{{St}}. {{Paul}}, {{Minnesota}}]: Version 3},
shorttitle = {Youth {{Development Study}}, 1988-2011 [{{St}}. {{Paul}}, {{Minnesota}}]},
author = {Mortimer, Jeylan T.},
year = {2009},
publisher = {{ICPSR - Interuniversity Consortium for Political and Social Research}},
doi = {10.3886/ICPSR24881.V3},
abstract = {The Youth Development Study was initiated to address the developmental and achievement-related consequences of employment during the adolescent years. Data collection began in the 1987-88 academic year with a panel of teenagers (G2) randomly selected from a list of 9th graders attending the St. Paul (Minnesota) Public Schools. G2 respondents have filled out surveys near-annually (exceptions are 1996, 2001, 2006, 2008, and 2010), first administered in their high school classrooms (Waves 1 through 4) and subsequently by mail, through 2011 (Wave 19), when the respondents were 37 and 38 years old. The G2 surveys included detailed questions about students' work and volunteer experiences, as well as experiences in their family, school, and peer group, with an emphasis on the ways that working affected other life domains. Shorter surveys containing many of the same topics were administered to students in 1992, 1993, and 1994, and included questions about current family and living arrangements. In 1995, a full survey was administered covering the wide range of topics included in the previous surveys as well as information on career plans and life events that had occurred in the past five years. G2 Waves 9 through 15 (1997-2004) included many of the same questions contained in 1992-1994 surveys with addition sections that focused on the respondents' school and work experiences, family relationships such as marital status and children, education level and career preparation, how the respondent learned of his or her job and his or her level of satisfaction with it, and economic support questions including income level and living expenses. The parents of the G2 cohort (G1) were surveyed in the first and fourth waves of the study, when their G2 children were in the first year of high school and four years later. The G1 surveys obtained information about socioeconomic background as well as attitudes toward teenage employment, their own employment as teenagers, their experiences in their current employment, and educational expectations for their children. In 2008, the children of G2 who were age 11 and older were recruited (G3). The first data collection (a mailed survey) from G3 occurred in 2009, followed by the second in 2010, and the third in 2011, again including those children who turned 11, as well as older children who had not joined the study previously. The topics covered by the G3 surveys are very similar to the G2 topics listed above. Demographic variables include child and parent sex, age, race, education level, religious preference, frequency of religious attendance, marital status, employment status, income, language used at home, and whether respondents were born in the United States, as well as the sex and age of all household members.},
- language = {en}
+ langid = {english}
}
@article{motta_dynamics_2018,
@@ -2968,12 +2968,12 @@ @article{motta_dynamics_2018
issn = {1532-673X},
doi = {10.1177/1532673X17719507},
abstract = {Recently, Americans have become increasingly likely to hold anti-intellectual attitudes (i.e., negative affect toward scientists and other experts). However, few have investigated the political implications of anti-intellectualism, and much empirical uncertainty surrounds whether or not these attitudes can be mitigated. Drawing on cross-sectional General Social Survey (GSS) data and a national election panel in 2016, I find that anti-intellectualism is associated with not only the rejection of policy-relevant matters of scientific consensus but support for political movements (e.g., ``Brexit'') and politicians (e.g., George Wallace, Donald Trump) who are skeptical of experts. Critically, though, I show that these effects can be mitigated. Verbal intelligence plays a strong role in mitigating anti-intellectual sympathies, compared with previously studied potential mitigators. I conclude by discussing how scholars might build on this research to study the political consequences of anti-intellectualism in the future.},
- language = {en},
+ langid = {english},
keywords = {anti-intellectualism,antiscience attitudes,political psychology,public opinion,verbal intelligence}
}
@article{motyl_state_2017,
- title = {The State of Social and Personality Science: {{Rotten}} to the Core, Not so Bad, Getting Better, or Getting Worse?},
+ title = {The State of Social and Personality Science: Rotten to the Core, Not so Bad, Getting Better, or Getting Worse?},
shorttitle = {The State of Social and Personality Science},
author = {Motyl, Matt and Demos, Alexander P. and Carsel, Timothy S. and Hanson, Brittany E. and Melton, Zachary J. and Mueller, Allison B. and Prims, J. P. and Sun, Jiaqing and Washburn, Anthony N. and Wong, Kendal M. and Yantis, Caitlyn and Skitka, Linda J.},
year = {2017},
@@ -2985,7 +2985,7 @@ @article{motyl_state_2017
issn = {1939-1315},
doi = {10.1037/pspa0000084},
abstract = {The scientific quality of social and personality psychology has been debated at great length in recent years. Despite research on the prevalence of Questionable Research Practices (QRPs) and the replicability of particular findings, the impact of the current discussion on research practices is unknown. The current studies examine whether and how practices have changed, if at all, over the last 10 years. In Study 1, we surveyed 1,166 social and personality psychologists about how the current debate has affected their perceptions of their own and the field's research practices. In Study 2, we coded the research practices and critical test statistics from social and personality psychology articles published in 2003-2004 and 2013-2014. Together, these studies suggest that (a) perceptions of the current state of the field are more pessimistic than optimistic; (b) the discussion has increased researchers' intentions to avoid QRPs and adopt proposed best practices, (c) the estimated replicability of research published in 2003-2004 may not be as bad as many feared, and (d) research published in 2013-2014 shows some improvement over research published in 2003-2004, a result that suggests the field is evolving in a positive direction. (PsycINFO Database Record},
- language = {eng},
+ langid = {english},
pmid = {28447837},
keywords = {Attitude of Health Personnel,Ethics; Research,Female,Humans,Male,Personality,Psychology,Psychology; Social,Research,Research Design,Surveys and Questionnaires}
}
@@ -3004,7 +3004,7 @@ @article{munafo_manifesto_2017
doi = {10.1038/s41562-016-0021},
abstract = {Improving the reliability and efficiency of scientific research will increase the credibility of the published scientific literature and accelerate discovery. Here we argue for the adoption of measures to optimize key elements of the scientific process: methods, reporting and dissemination, reproducibility, evaluation and incentives. There is some evidence from both simulations and empirical studies supporting the likely effectiveness of these measures, but their broad adoption by researchers, institutions, funders and journals will require iterative evaluation and improvement. We discuss the goals of these measures, and how they can be implemented, in the hope that this will facilitate action toward improving the transparency, reproducibility and efficiency of scientific research.},
copyright = {2017 Macmillan Publishers Limited},
- language = {en},
+ langid = {english},
annotation = {Bandiera\_abtest: a Cc\_license\_type: cc\_by Cg\_type: Nature Research Journals Primary\_atype: Reviews Subject\_term: Social sciences Subject\_term\_id: social-sciences}
}
@@ -3020,7 +3020,7 @@ @misc{nassi-calo_open_2013
year = {2013},
month = jul,
abstract = {The number of retracted articles has recently been on the rise. Bj\"orn Brembs identifies this tendency as a reflection of an imminent crisis in science whose},
- language = {en-US},
+ langid = {american},
keywords = {crisis}
}
@@ -3031,7 +3031,7 @@ @misc{nassi-calo_reproducibilidad_2014
year = {2014},
month = feb,
abstract = {En una \'epoca en que las discusiones sobre \'etica en la experimentaci\'on y la publicaci\'on cient\'ifica traspasan los laboratorios y ambientes acad\'emicos para},
- language = {en-US}
+ langid = {american}
}
@article{naturehumanbehaviour_tell_2020,
@@ -3048,7 +3048,7 @@ @article{naturehumanbehaviour_tell_2020
doi = {10.1038/s41562-020-0818-9},
abstract = {Every research paper tells a story, but the pressure to provide `clean' narratives is harmful for the scientific endeavour.},
copyright = {2020 Springer Nature Limited},
- language = {en},
+ langid = {english},
keywords = {forrt,transparency}
}
@@ -3067,7 +3067,7 @@ @article{nosek_preregistration_2018
abstract = {Progress in science relies in part on generating hypotheses with existing observations and testing hypotheses with new observations. This distinction between postdiction and prediction is appreciated conceptually but is not respected in practice. Mistaking generation of postdictions with testing of predictions reduces the credibility of research findings. However, ordinary biases in human reasoning, such as hindsight bias, make it hard to avoid this mistake. An effective solution is to define the research questions and analysis plan before observing the research outcomes\textemdash a process called preregistration. Preregistration distinguishes analyses and outcomes that result from predictions from those that result from postdictions. A variety of practical strategies are available to make the best possible use of preregistration in circumstances that fall short of the ideal application, such as when the data are preexisting. Services are now available for preregistration across all disciplines, facilitating a rapid increase in the practice. Widespread adoption of preregistration will increase distinctiveness between hypothesis generation and hypothesis testing and will improve the credibility of research findings.},
chapter = {Colloquium Paper},
copyright = {\textcopyright{} 2018 . http://www.pnas.org/site/aboutpnas/licenses.xhtmlPublished under the PNAS license.},
- language = {en},
+ langid = {english},
pmid = {29531091},
keywords = {confirmatory analysis,exploratory analysis,methodology,open science,preregistration,reports,revisado}
}
@@ -3084,7 +3084,7 @@ @article{nosek_preregistration_2019
issn = {1364-6613},
doi = {10.1016/j.tics.2019.07.009},
abstract = {Preregistration clarifies the distinction between planned and unplanned research by reducing unnoticed flexibility. This improves credibility of findings and calibration of uncertainty. However, making decisions before conducting analyses requires practice. During report writing, respecting both what was planned and what actually happened requires good judgment and humility in making claims.},
- language = {en},
+ langid = {english},
keywords = {confirmatory research,exploratory research,preregistration,reproducibility,transparency}
}
@@ -3103,13 +3103,13 @@ @article{nosek_promoting_2015
abstract = {Author guidelines for journals could help to promote transparency, openness, and reproducibility Author guidelines for journals could help to promote transparency, openness, and reproducibility},
chapter = {Policy Forum},
copyright = {Copyright \textcopyright{} 2015, American Association for the Advancement of Science},
- language = {en},
+ langid = {english},
pmid = {26113702},
keywords = {revisado}
}
@article{nosek_registered_2014,
- title = {Registered {{Reports}}: {{A Method}} to {{Increase}} the {{Credibility}} of {{Published Results}}},
+ title = {Registered {{Reports}}: A {{Method}} to {{Increase}} the {{Credibility}} of {{Published Results}}},
shorttitle = {Registered {{Reports}}},
author = {Nosek, Brian A. and Lakens, Dani{\"e}l},
year = {2014},
@@ -3120,7 +3120,7 @@ @article{nosek_registered_2014
pages = {137--141},
issn = {1864-9335, 2151-2590},
doi = {10.1027/1864-9335/a000192},
- language = {en},
+ langid = {english},
keywords = {forrt,reports}
}
@@ -3131,7 +3131,7 @@ @article{nosek_transparency_2014
month = aug,
publisher = {{OSF}},
abstract = {The Transparency and Openness Promotion (TOP) Committee met in November 2014 to address one important element of the incentive systems - journals' procedures and policies for publication. The outcome of the effort is the TOP Guidelines. There are eight standards in the TOP guidelines; each move scientific communication toward greater openness. These standards are modular, facilitating adoption in whole or in part. However, they also complement each other, in that commitment to one standard may facilitate adoption of others. Moreover, the guidelines are sensitive to barriers to openness by articulating, for example, a process for exceptions to sharing because of ethical issues, intellectual property concerns, or availability of necessary resources. Hosted on the Open Science Framework},
- language = {en},
+ langid = {english},
keywords = {(,transparency}
}
@@ -3142,11 +3142,11 @@ @misc{nw_trust_2019
month = aug,
journal = {Pew Research Center Science \& Society},
abstract = {Public confidence in scientists is on the upswing, and six-in-ten Americans say scientists should play an active role in policy debates about scientific issues, according to a new Pew Research Center survey.},
- language = {en-US}
+ langid = {american}
}
@article{nyhan_increasing_2015,
- title = {Increasing the {{Credibility}} of {{Political Science Research}}: {{A Proposal}} for {{Journal Reforms}}},
+ title = {Increasing the {{Credibility}} of {{Political Science Research}}: A {{Proposal}} for {{Journal Reforms}}},
shorttitle = {Increasing the {{Credibility}} of {{Political Science Research}}},
author = {Nyhan, Brendan},
year = {2015},
@@ -3158,13 +3158,13 @@ @article{nyhan_increasing_2015
address = {{New York}},
issn = {1049-0965},
doi = {10.1017/S1049096515000463},
- language = {English},
+ langid = {english},
keywords = {gender,medicaid,publication bias,registered-reports,replication,transparency},
annotation = {WOS:000359291900014}
}
@article{oboyle_chrysalis_2017,
- title = {The {{Chrysalis Effect}}: {{How Ugly Initial Results Metamorphosize Into Beautiful Articles}}},
+ title = {The {{Chrysalis Effect}}: How {{Ugly Initial Results Metamorphosize Into Beautiful Articles}}},
shorttitle = {The {{Chrysalis Effect}}},
author = {O'Boyle, Ernest Hugh and Banks, George Christopher and {Gonzalez-Mul{\'e}}, Erik},
year = {2017},
@@ -3177,7 +3177,7 @@ @article{oboyle_chrysalis_2017
issn = {0149-2063},
doi = {10.1177/0149206314527133},
abstract = {The issue of a published literature not representative of the population of research is most often discussed in terms of entire studies being suppressed. However, alternative sources of publication bias are questionable research practices (QRPs) that entail post hoc alterations of hypotheses to support data or post hoc alterations of data to support hypotheses. Using general strain theory as an explanatory framework, we outline the means, motives, and opportunities for researchers to better their chances of publication independent of rigor and relevance. We then assess the frequency of QRPs in management research by tracking differences between dissertations and their resulting journal publications. Our primary finding is that from dissertation to journal article, the ratio of supported to unsupported hypotheses more than doubled (0.82 to 1.00 versus 1.94 to 1.00). The rise in predictive accuracy resulted from the dropping of statistically nonsignificant hypotheses, the addition of statistically significant hypotheses, the reversing of predicted direction of hypotheses, and alterations to data. We conclude with recommendations to help mitigate the problem of an unrepresentative literature that we label the ``Chrysalis Effect.''},
- language = {en},
+ langid = {english},
keywords = {ethics,morality and moral behavior,philosophy of science,revisado,statistical methods,transparency}
}
@@ -3204,7 +3204,7 @@ @article{opensciencecollaboration_estimating_2015
pages = {aac4716-aac4716},
issn = {0036-8075, 1095-9203},
doi = {10.1126/science.aac4716},
- language = {en}
+ langid = {english}
}
@article{ospina_problemas_2014,
@@ -3231,13 +3231,13 @@ @article{patil_visual_2019
doi = {10.1038/s41562-019-0629-z},
abstract = {Reproducibility and replicability are fundamental requirements of scientific studies. Disagreements over universal definitions for these terms have affected the interpretation of large-scale replication attempts. We provide a visual tool for representing definitions and use it to re-examine these attempts.},
copyright = {2019 Springer Nature Limited},
- language = {en},
+ langid = {english},
keywords = {herramienta},
annotation = {Bandiera\_abtest: a Cg\_type: Nature Research Journals Primary\_atype: Comments \& Opinion Subject\_term: Software;Statistics Subject\_term\_id: software;statistics}
}
@article{paul_making_2021,
- title = {Making {{ERP}} Research More Transparent: {{Guidelines}} for Preregistration},
+ title = {Making {{ERP}} Research More Transparent: Guidelines for Preregistration},
shorttitle = {Making {{ERP}} Research More Transparent},
author = {Paul, Mariella and Govaart, Gisela H. and Schettino, Antonio},
year = {2021},
@@ -3250,7 +3250,7 @@ @article{paul_making_2021
issn = {0167-8760},
doi = {10.1016/j.ijpsycho.2021.02.016},
abstract = {A combination of confirmation bias, hindsight bias, and pressure to publish may prompt the (unconscious) exploration of various methodological options and reporting only the ones that lead to a (statistically) significant outcome. This undisclosed analytic flexibility is particularly relevant in EEG research, where a myriad of preprocessing and analysis pipelines can be used to extract information from complex multidimensional data. One solution to limit confirmation and hindsight bias by disclosing analytic choices is preregistration: researchers write a time-stamped, publicly accessible research plan with hypotheses, data collection plan, and the intended preprocessing and statistical analyses before the start of a research project. In this manuscript, we present an overview of the problems associated with undisclosed analytic flexibility, discuss why and how EEG researchers would benefit from adopting preregistration, provide guidelines and examples on how to preregister data preprocessing and analysis steps in typical ERP studies, and conclude by discussing possibilities and limitations of this open science practice.},
- language = {English},
+ langid = {english},
keywords = {eeg,eeg-data,erp,error-related negativity,incentives,independent components,meg,null,Open science,potentials,Preregistration,processing pipeline,publication,randomized clinical-trials},
annotation = {WOS:000645667300007}
}
@@ -3259,11 +3259,11 @@ @misc{pena_declaracion_2003
title = {{Declaraci\'on de Bethesda sobre Publicaci\'on de Acceso Abierto}},
author = {Pe{\~n}a, Ismaes},
year = {20 de Junio, 2003},
- language = {Traducido}
+ langid = {Traducido}
}
@article{penders_rinse_2019,
- title = {Rinse and {{Repeat}}: {{Understanding}} the {{Value}} of {{Replication}} across {{Different Ways}} of {{Knowing}}},
+ title = {Rinse and {{Repeat}}: Understanding the {{Value}} of {{Replication}} across {{Different Ways}} of {{Knowing}}},
shorttitle = {Rinse and {{Repeat}}},
author = {Penders, Bart and Holbrook, J. Britt and {de Rijcke}, Sarah},
year = {2019},
@@ -3276,12 +3276,12 @@ @article{penders_rinse_2019
doi = {10.3390/publications7030052},
abstract = {The increasing pursuit of replicable research and actual replication of research is a political project that articulates a very specific technology of accountability for science. This project was initiated in response to concerns about the openness and trustworthiness of science. Though applicable and valuable in many fields, here we argue that this value cannot be extended everywhere, since the epistemic content of fields, as well as their accountability infrastructures, differ. Furthermore, we argue that there are limits to replicability across all fields; but in some fields, including parts of the humanities, these limits severely undermine the value of replication to account for the value of research.},
copyright = {http://creativecommons.org/licenses/by/3.0/},
- language = {en},
+ langid = {english},
keywords = {accountability,epistemic pluralism,humanities,Replicability,replication,reproducibility,reproduction}
}
@article{peng_reproducibility_2015,
- title = {The Reproducibility Crisis in Science: {{A}} Statistical Counterattack},
+ title = {The Reproducibility Crisis in Science: A Statistical Counterattack},
shorttitle = {The Reproducibility Crisis in Science},
author = {Peng, Roger},
year = {2015},
@@ -3293,7 +3293,7 @@ @article{peng_reproducibility_2015
doi = {10.1111/j.1740-9713.2015.00827.x},
abstract = {More people have more access to data than ever before. But a comparative lack of analytical skills has resulted in scientific findings that are neither replicable nor reproducible. It is time to invest in statistics education, says Roger Peng},
copyright = {\textcopyright{} 2015 The Royal Statistical Society},
- language = {en},
+ langid = {english},
keywords = {crisis},
annotation = {\_eprint: https://rss.onlinelibrary.wiley.com/doi/pdf/10.1111/j.1740-9713.2015.00827.x}
}
@@ -3309,7 +3309,7 @@ @article{peng_reproducible_2011
pages = {1226--1227},
issn = {0036-8075, 1095-9203},
doi = {10.1126/science.1213847},
- language = {en}
+ langid = {english}
}
@article{petousi_contextualising_2020,
@@ -3329,7 +3329,7 @@ @article{petousi_contextualising_2020
}
@article{pham_not_2021,
- title = {On {{Not Confusing}} the {{Tree}} of {{Trustworthy Statistics}} with the {{Greater Forest}} of {{Good Science}}: {{A Comment}} on {{Simmons}} et al.'s {{Perspective}} on {{Pre}}-Registration},
+ title = {On {{Not Confusing}} the {{Tree}} of {{Trustworthy Statistics}} with the {{Greater Forest}} of {{Good Science}}: A {{Comment}} on {{Simmons}} et al.'s {{Perspective}} on {{Pre}}-Registration},
shorttitle = {On {{Not Confusing}} the {{Tree}} of {{Trustworthy Statistics}} with the {{Greater Forest}} of {{Good Science}}},
author = {Pham, Michel Tuan and Oh, Travis Tae},
year = {2021},
@@ -3343,7 +3343,7 @@ @article{pham_not_2021
issn = {1057-7408},
doi = {10.1002/jcpy.1213},
abstract = {In this commentary on Simmons, Nelson, and Simonsohn (this issue), we examine their rationale for pre-registration within the broader perspective of what good science is. We agree that there is potential benefit in a system of pre-registration if implemented selectively. However, we believe that other tools of open science such as the full sharing of study materials and open access to underlying data, provide most of the same benefits-and more (i.e., the prevention of outright fraud)-without risking the potential adverse consequences of a system of pre-registration. This is why we favor these other means of controlling type I error and fostering transparency. Direct replication, as opposed to conceptual replication, should be encouraged as well.},
- language = {English},
+ langid = {english},
keywords = {consumer research,open science,philosophy of science,preregistration,reproducibility crisis},
annotation = {WOS:000618078000015}
}
@@ -3362,7 +3362,7 @@ @article{pham_preregistration_2021
issn = {1057-7408},
doi = {10.1002/jcpy.1209},
abstract = {To address widespread perceptions of a reproducibility crisis in the social sciences, a growing number of scholars recommend the systematic preregistration of empirical studies. The purpose of this article is to contribute to an epistemological dialogue on the value of preregistration in consumer research by identifying the limitations, drawbacks, and potential adverse effects of a preregistration system. After a brief review of some of the implementation challenges that commonly arise with preregistration, we raise three levels of issues with a system of preregistration. First, we identify its limitations as a means of advancing consumer knowledge, thus questioning the sufficiency of preregistration in promoting good consumer science. Second, we elaborate on why consumer science can progress even in the absence of preregistration, thereby also questioning the necessity of preregistration in promoting good consumer science. Third, we discuss serious potential adverse effects of preregistration, both at the individual researcher level and at the level of the field as a whole. We conclude by offering a broader perspective on the narrower role that preregistration can play within the general pursuit of building robust and useful knowledge about consumers.},
- language = {English},
+ langid = {english},
keywords = {Consumer research,Open science,Preregistration,Reproducibility crisis},
annotation = {WOS:000618078000013}
}
@@ -3377,11 +3377,11 @@ @article{piwowar_data_2013
pages = {e175},
issn = {2167-8359},
doi = {10.7717/peerj.175},
- language = {en}
+ langid = {english}
}
@article{piwowar_future_2019,
- title = {The {{Future}} of {{OA}}: {{A}} Large-Scale Analysis Projecting {{Open Access}} Publication and Readership},
+ title = {The {{Future}} of {{OA}}: A Large-Scale Analysis Projecting {{Open Access}} Publication and Readership},
shorttitle = {The {{Future}} of {{OA}}},
author = {Piwowar, Heather and Priem, Jason and Orr, Richard},
year = {2019},
@@ -3403,7 +3403,7 @@ @article{piwowar_state_2018
@incollection{poumadere_credibility_1991,
title = {The {{Credibility Crisis}}},
- booktitle = {Chernobyl: {{A Policy Response Study}}},
+ booktitle = {Chernobyl: A {{Policy Response Study}}},
author = {Poumad{\`e}re, Marc},
editor = {Segerst{\aa}hl, Boris},
year = {1991},
@@ -3414,7 +3414,7 @@ @incollection{poumadere_credibility_1991
doi = {10.1007/978-3-642-84367-9_8},
abstract = {Those who said that the twentieth century is the century of the atom didn't know how right they were. Certainly, the scientific discovery of a particularly powerful new energy source had produced hopes and applications in both the civil and military sectors. In the final equation, though, it is the major accident at Chernobyl that dramatically and suddenly brought the reality of the atom's presence home to many persons and groups around the world.},
isbn = {978-3-642-84367-9},
- language = {en},
+ langid = {english},
keywords = {Chernobyl Accident,crisis,Nuclear Energy,Nuclear Power Plant,Social Defense,Social Distance}
}
@@ -3430,7 +3430,7 @@ @article{price_problem_2020
pages = {1--3},
issn = {0032-5473, 1469-0756},
doi = {10.1136/postgradmedj-2019-137079},
- language = {en},
+ langid = {english},
keywords = {forrt,practices}
}
@@ -3441,7 +3441,7 @@ @misc{programadeinformacioncientifica_ciencia_2019
}
@article{rabelo_questionable_2020,
- title = {Questionable Research Practices among {{Brazilian}} Psychological Researchers: {{Results}} from a Replication Study and an International Comparison},
+ title = {Questionable Research Practices among {{Brazilian}} Psychological Researchers: Results from a Replication Study and an International Comparison},
shorttitle = {Questionable Research Practices among {{Brazilian}} Psychological Researchers},
author = {Rabelo, Andr{\'e} L. A. and Farias, J{\'e}ssica E. M. and Sarmet, Maur{\'i}cio M. and Joaquim, Teresa C. R. and Hoersting, Raquel C. and Victorino, Luiz and Modesto, Jo{\~a}o G. N. and Pilati, Ronaldo},
year = {2020},
@@ -3452,13 +3452,13 @@ @article{rabelo_questionable_2020
issn = {1464-066X},
doi = {10.1002/ijop.12632},
abstract = {Research on scientific integrity is growing in psychology, and questionable research practices (QRPs) have received more attention due to its harmful effect on science. By replicating the procedures of previous research, the present study aimed at describing the use of QRPs among Brazilian psychological researchers and to make an international comparison with previous studies in other countries\textemdash the US and Italy. Two hundred and thirty-two Brazilian researchers in the field of psychology answered questions related to 10 different QRPs. Brazilian researchers indicated a lower tendency to engage in two QRPs (failing to report all of a study's dependent measures; deciding whether to collect more data after looking to see whether the results were significant) when compared to their Italian and North American counterparts, but indicated a higher tendency to engage in two other QRPs (selectively reporting studies that ``worked''; not reporting all of a study's conditions). Most of the sample did not admit integrity conflicts in their own research but indicated that others have integrity problems, as observed in previous studies. Those discrepancies could be attributed to contextual and systemic factors regarding different publication demands among the different nations. Further studies should focus on identifying the antecedents of QRPs.},
- language = {en},
+ langid = {english},
keywords = {Bias,Meta-research,Questionable research practices,Replicability,Scientific integrity},
annotation = {\_eprint: https://onlinelibrary.wiley.com/doi/pdf/10.1002/ijop.12632}
}
@article{raj_phacking_2018,
- title = {P-{{Hacking}}: {{A Wake}}-{{Up Call}} for the {{Scientific Community}}},
+ title = {P-{{Hacking}}: A {{Wake}}-{{Up Call}} for the {{Scientific Community}}},
shorttitle = {P-{{Hacking}}},
author = {Raj, A. Thirumal and Patil, Shankargouda and Sarode, Sachin and Salameh, Ziad},
year = {2018},
@@ -3472,7 +3472,7 @@ @article{raj_phacking_2018
issn = {1353-3452},
doi = {10.1007/s11948-017-9984-1},
abstract = {P-hacking or data dredging involves manipulation of the research data in order to obtain a statistically significant result. The reasons behind P-hacking and the consequences of the same are discussed in the present manuscript.},
- language = {English},
+ langid = {english},
keywords = {Financing,Journal impact factor,Organized,Publications,Research design},
annotation = {WOS:000451715300010}
}
@@ -3489,11 +3489,11 @@ @misc{rapp_what_2019
year = {2019},
journal = {nature},
abstract = {More than 1 million studies are now downloaded from the site every month, mostly in neuroscience, bioinformatics and genomics.},
- language = {English}
+ langid = {english}
}
@article{redish_opinion_2018,
- title = {Opinion: {{Reproducibility}} Failures Are Essential to Scientific Inquiry},
+ title = {Opinion: Reproducibility Failures Are Essential to Scientific Inquiry},
shorttitle = {Opinion},
author = {Redish, A. David and Kummerfeld, Erich and Morris, Rebecca Lea and Love, Alan C.},
year = {2018},
@@ -3514,7 +3514,7 @@ @article{restrepo_problemas_2014
}
@article{rice_curtailing_2019,
- title = {Curtailing the {{Use}} of {{Preregistration}}: {{A Misused Term}}},
+ title = {Curtailing the {{Use}} of {{Preregistration}}: A {{Misused Term}}},
shorttitle = {Curtailing the {{Use}} of {{Preregistration}}},
author = {Rice, Danielle B. and Moher, David},
year = {2019},
@@ -3528,7 +3528,7 @@ @article{rice_curtailing_2019
issn = {1745-6916},
doi = {10.1177/1745691619858427},
abstract = {Improving the usability of psychological research has been encouraged through practices such as prospectively registering research plans. Registering research aligns with the open-science movement, as the registration of research protocols in publicly accessible domains can result in reduced research waste and increased study transparency. In medicine and psychology, two different terms, registration and preregistration, have been used to refer to study registration, but applying inconsistent terminology to represent one concept can complicate both educational outreach and epidemiological investigation. Consistently using one term across disciplines to refer to the concept of study registration may improve the understanding and uptake of this practice, thereby supporting the movement toward improving the reliability and reproducibility of research through study registration. We recommend encouraging use of the original term, registration, given its widespread and long-standing use, including in national registries.},
- language = {English},
+ langid = {english},
keywords = {open science,preregistration,protocols,Registered Reports,registration,trial registration},
annotation = {WOS:000483904100001}
}
@@ -3557,7 +3557,7 @@ @article{rodriguez-sanchez_ciencia_2016
issn = {1697-2473},
doi = {10.7818/ECOS.2016.25-2.11},
copyright = {Derechos de autor},
- language = {es},
+ langid = {spanish},
keywords = {reproducibilidad,revisado}
}
@@ -3571,17 +3571,17 @@ @article{rosenthal_file_1979
pages = {638--641},
issn = {0033-2909},
doi = {10.1037/0033-2909.86.3.638},
- language = {en}
+ langid = {english}
}
@misc{rowe_preview_2018,
- title = {Preview My New Book: {{Introduction}} to {{Reproducible Science}} in {{R}} | {{R}}-Bloggers},
+ title = {Preview My New Book: Introduction to {{Reproducible Science}} in {{R}} | {{R}}-Bloggers},
shorttitle = {Preview My New Book},
author = {Rowe, Brian Lee Yung},
year = {2018},
month = nov,
abstract = {I'm pleased to share Part I of my new book ``Introduction to Reproducible Science in R``. The purpose of this \ldots Continue reading \textrightarrow},
- language = {en-US}
+ langid = {american}
}
@article{rubin_does_2020,
@@ -3597,13 +3597,13 @@ @article{rubin_does_2020
issn = {1913-4126},
doi = {10.20982/tqmp.16.4.p376},
abstract = {Preregistration entails researchers registering their planned research hypotheses, methods, and analyses in a time-stamped document before they undertake their data collection and analyses. This document is then made available with the published research report to allow readers to identify discrepancies between what the researchers originally planned to do and what they actually ended up doing. This historical transparency is supposed to facilitate judgments about the credibility of the research findings. The present article provides a critical review of 17 of the reasons behind this argument. The article covers issues such as HARKing, multiple testing, p-hacking, forking paths, optional stopping, researchers' biases, selective reporting, test severity, publication bias, and replication rates. It is concluded that preregistration's historical transparency does not facilitate judgments about the credibility of research findings when researchers provide contemporary transparency in the form of (a) clear rationales for current hypotheses and analytical approaches, (b) public access to research data, materials, and code, and (c) demonstrations of the robustness of research conclusions to alternative interpretations and analytical approaches.},
- language = {English},
+ langid = {english},
keywords = {bias,error,forking paths,harking,HARKing,inference,multiple testing,optional stopping,p-hacking,preregistration,publication bias,science},
annotation = {WOS:000573887700010}
}
@article{rubin_evaluation_2017,
- title = {An {{Evaluation}} of {{Four Solutions}} to the {{Forking Paths Problem}}: {{Adjusted Alpha}}, {{Preregistration}}, {{Sensitivity Analyses}}, and {{Abandoning}} the {{Neyman}}-{{Pearson Approach}}},
+ title = {An {{Evaluation}} of {{Four Solutions}} to the {{Forking Paths Problem}}: Adjusted {{Alpha}}, {{Preregistration}}, {{Sensitivity Analyses}}, and {{Abandoning}} the {{Neyman}}-{{Pearson Approach}}},
shorttitle = {An {{Evaluation}} of {{Four Solutions}} to the {{Forking Paths Problem}}},
author = {Rubin, Mark},
year = {2017},
@@ -3617,7 +3617,7 @@ @article{rubin_evaluation_2017
issn = {1089-2680},
doi = {10.1037/gpr0000135},
abstract = {Gelman and Loken (2013, 2014) proposed that when researchers base their statistical analyses on the idiosyncratic characteristics of a specific sample (e.g., a nonlinear transformation of a variable because it is skewed), they open up alternative analysis paths in potential replications of their study that are based on different samples (i.e., no transformation of the variable because it is not skewed). These alternative analysis paths count as additional (multiple) tests and, consequently, they increase the probability of making a Type I error during hypothesis testing. The present article considers this forking paths problem and evaluates four potential solutions that might be used in psychology and other fields: (a) adjusting the prespecified alpha level, (b) preregistration, (c) sensitivity analyses, and (d) abandoning the Neyman-Pearson approach. It is concluded that although preregistration and sensitivity analyses are effective solutions to p-hacking, they are ineffective against result-neutral forking paths, such as those caused by transforming data. Conversely, although adjusting the alpha level cannot address p-hacking, it can be effective for result-neutral forking paths. Finally, abandoning the Neyman-Pearson approach represents a further solution to the forking paths problem.},
- language = {English},
+ langid = {english},
keywords = {confusion,familywise error,forking paths,null hypothesis significance testing,okeefes,p-values,preregistration,registered reports,replication crisis,sensitivity analyses,statistical-methods},
annotation = {WOS:000417900400004}
}
@@ -3636,7 +3636,7 @@ @article{rytchkov_information_2020
issn = {0025-1909},
doi = {10.1287/mnsc.2018.3259},
abstract = {This paper studies the interplay between information aggregation and p-hacking in the context of predicting stock returns. The standard information-aggregation techniques exacerbate p-hacking by increasing the probability of the type I error. We propose an aggregation technique that is a simple modification of three-pass regression filter/ partial least squares regression with an opposite property: the predictability tests applied to the combined predictor become more conservative in the presence of p-hacking. Using simulations, we quantify the advantages of our approach relative to the standard information-aggregation techniques. We also apply our aggregation technique to three sets of return predictors proposed in the literature and find that the forecasting ability of combined predictors in two cases cannot be explained by p-hacking.},
- language = {English},
+ langid = {english},
keywords = {3prf,book-to-market,cross-section,false discoveries,forecast combination,p-hacking,performance,pls,predictability,predictability of returns,prediction,premium,presidential-address,stock returns,tests},
annotation = {WOS:000531064000007}
}
@@ -3652,7 +3652,7 @@ @article{sadaba_acceso_2014
}
@article{schindler_investigating_2021,
- title = {Investigating {{Software Usage}} in the {{Social Sciences}}: {{A Knowledge Graph Approach}}},
+ title = {Investigating {{Software Usage}} in the {{Social Sciences}}: A {{Knowledge Graph Approach}}},
shorttitle = {Investigating {{Software Usage}} in the {{Social Sciences}}},
author = {Schindler, David and Zapilko, Benjamin and Kr{\"u}ger, Frank},
year = {2021},
@@ -3678,7 +3678,7 @@ @article{schnell_reproducible_2018
issn = {1522-9602},
doi = {10.1007/s11538-018-0500-9},
abstract = {The nature of scientific research in mathematical and computational biology allows editors and reviewers to evaluate the findings of a scientific paper. Replication of a research study should be the minimum standard for judging its scientific claims and considering it for publication. This requires changes in the current peer review practice and a strict adoption of a replication policy similar to those adopted in experimental fields such as organic synthesis. In the future, the culture of replication can be easily adopted by publishing papers through dynamic computational notebooks combining formatted text, equations, computer algebra and computer code.},
- language = {en}
+ langid = {english}
}
@article{schoenbrodt_fostering_2018,
@@ -3696,7 +3696,7 @@ @article{schoenbrodt_fostering_2018
issn = {0033-3042},
doi = {10.1026/0033-3042/a000386},
abstract = {Recent large-scale replication projects suggest an amount of nonreplicable results in the scientific literature, in psychology but also in other sciences, which is concerning from our point of view. We analyze some causes for this situation, and argue that the change toward more research transparency ("open science") must be one consequence that should be drawn from the credibility crisis. We call for feasible changes in the local research units and departments and show as an example the steps that have been taken at the Department of Psychology of the Ludwig-Maximilians-Universitat Munchen. These changes concern incentive structures, research culture, teaching, and a close integration with the local ethics committee. The goal is to foster a more credible and more reproducible research output without generating unnecessary bureaucratic overhead.},
- language = {German},
+ langid = {german},
keywords = {credibility crisis,game,incentives,registered reports,replicability,replication crisis,research quality,rules,standards,truth},
annotation = {WOS:000419334000004}
}
@@ -3742,13 +3742,13 @@ @article{sijtsma_steps_2021
address = {{London}},
doi = {10.1186/s41073-021-00108-4},
abstract = {Background: A proposal to encourage the preregistration of research on research integrity was developed and adopted as the Amsterdam Agenda at the 5th World Conference on Research Integrity (Amsterdam, 2017). This paper reports on the degree to which abstracts of the 6th World Conference in Research Integrity (Hong Kong, 2019) reported on preregistered research. Methods: Conference registration data on participants presenting a paper or a poster at 6th WCRI were made available to the research team. Because the data set was too small for inferential statistics this report is limited to a basic description of results and some recommendations that should be considered when taking further steps to improve preregistration. Results: 19\% of the 308 presenters preregistered their research. Of the 56 usable cases, less than half provided information on the six key elements of the Amsterdam Agenda. Others provided information that invalidated their data, such as an uninformative URL. There was no discernable difference between qualitative and quantitative research. Conclusions: Some presenters at the WCRI have preregistered their research on research integrity, but further steps are needed to increase frequency and completeness of preregistration. One approach to increase preregistration would be to make it a requirement for research presented at the World Conferences on Research Integrity.},
- language = {English},
+ langid = {english},
keywords = {Open Science framework,Paper and poster presenters,Preregistration,Registry for research on the responsible conduct of research,Responsible conduct of research,Study protocol,World conference on research integrity},
annotation = {WOS:000624023800001}
}
@article{simmons_falsepositive_2011,
- title = {False-{{Positive Psychology}}: {{Undisclosed Flexibility}} in {{Data Collection}} and {{Analysis Allows Presenting Anything}} as {{Significant}}},
+ title = {False-{{Positive Psychology}}: Undisclosed {{Flexibility}} in {{Data Collection}} and {{Analysis Allows Presenting Anything}} as {{Significant}}},
shorttitle = {False-{{Positive Psychology}}},
author = {Simmons, Joseph P. and Nelson, Leif D. and Simonsohn, Uri},
year = {2011},
@@ -3760,7 +3760,7 @@ @article{simmons_falsepositive_2011
issn = {0956-7976, 1467-9280},
doi = {10.1177/0956797611417632},
abstract = {In this article, we accomplish two things. First, we show that despite empirical psychologists' nominal endorsement of a low rate of false-positive findings ({$\leq$} .05), flexibility in data collection, analysis, and reporting dramatically increases actual false-positive rates. In many cases, a researcher is more likely to falsely find evidence that an effect exists than to correctly find evidence that it does not. We present computer simulations and a pair of actual experiments that demonstrate how unacceptably easy it is to accumulate (and report) statistically significant evidence for a false hypothesis. Second, we suggest a simple, low-cost, and straightforwardly effective disclosure-based solution to this problem. The solution involves six concrete requirements for authors and four guidelines for reviewers, all of which impose a minimal burden on the publication process.},
- language = {en},
+ langid = {english},
keywords = {practices}
}
@@ -3778,13 +3778,13 @@ @article{simmons_falsepositive_2018
issn = {1745-6916},
doi = {10.1177/1745691617698146},
abstract = {We describe why we wrote False-Positive Psychology, analyze how it has been cited, and explain why the integrity of experimental psychology hinges on the full disclosure of methods, the sharing of materials and data, and, especially, the preregistration of analyses.},
- language = {English},
+ langid = {english},
keywords = {p-hacking,preregistration,replicability,research methods},
annotation = {WOS:000429909000024}
}
@article{simonsohn_pcurve_2014,
- title = {P-Curve: {{A}} Key to the File-Drawer},
+ title = {P-Curve: A Key to the File-Drawer},
shorttitle = {P-Curve},
author = {Simonsohn, Uri and Nelson, Leif D. and Simmons, Joseph P.},
year = {2014},
@@ -3806,7 +3806,7 @@ @misc{socha_cuanto_2018
year = {2018},
journal = {Universo Abierto},
abstract = {Los cuatro grandes actores de la industria editorial, Elsevier, Springer, Wiley y Taylor \& Francis, han adoptado el acceso abierto (Open Access, OA), a trav\'es de la modalidad ``El autor paga'' aunque en distintos grados. Tambi\'en han empleado estrategias muy diferentes en cuanto a cu\'anto cobran a sus autores. Para cualquier autor que desee publicar su investigaci\'on en Acceso Abierto en alguna de estas revistas probablemente necesita conocer lo que el mercado editorial tiene para ofrecer y qu\'e gama de precios existe. Los datos primarios proceden de las listas de precios oficiales de los editores disponibles en sus sitios web.},
- language = {Traducido}
+ langid = {Traducido}
}
@article{sociedadmaxplanck_declaracion_2003,
@@ -3836,11 +3836,11 @@ @misc{spinak_revistas_2019
year = {2019},
journal = {Scielo en Perspectiva},
abstract = {El Acceso Abierto (AA) a las publicaciones cient\'ificas online surgi\'o hace dos d\'ecadas. Entre las expectativas de su amplia adopci\'on, se consideraba la superaci\'on de la crisis presupuestal que afrontaban las universidades y otras instituciones educativas y de investigaci\'on debido al aumento constante de los precios de suscripci\'on por encima de la inflaci\'on. Es en este contexto internacional que surge la Red SciELO hace ya 20 a\~nos, proyecto pionero en su momento y hoy d\'ia el m\'as importante en el \'ambito de los pa\'ises en v\'ias de desarrollo, con m\'as de 1.650 revistas y 812.000 art\'iculos publicados en texto completo al momento de escribir este post. SciELO adopt\'o el Acceso Abierto con el objetivo de maximizar la visibilidad de las revistas y de las investigaciones que comunican.},
- language = {es}
+ langid = {spanish}
}
@article{stamkou_cultural_2019,
- title = {Cultural {{Collectivism}} and {{Tightness Moderate Responses}} to {{Norm Violators}}: {{Effects}} on {{Power Perception}}, {{Moral Emotions}}, and {{Leader Support}}},
+ title = {Cultural {{Collectivism}} and {{Tightness Moderate Responses}} to {{Norm Violators}}: Effects on {{Power Perception}}, {{Moral Emotions}}, and {{Leader Support}}},
shorttitle = {Cultural {{Collectivism}} and {{Tightness Moderate Responses}} to {{Norm Violators}}},
author = {Stamkou, Eftychia and {van Kleef}, Gerben A. and Homan, Astrid C. and Gelfand, Michele J. and {van de Vijver}, Fons J. R. and {van Egmond}, Marieke C. and Boer, Diana and Phiri, Natasha and Ayub, Nailah and Kinias, Zoe and Cantarero, Katarzyna and Efrat Treister, Dorit and Figueiredo, Ana and Hashimoto, Hirofumi and Hofmann, Eva B. and Lima, Renata P. and Lee, I-Ching},
year = {2019},
@@ -3853,12 +3853,12 @@ @article{stamkou_cultural_2019
issn = {0146-1672},
doi = {10.1177/0146167218802832},
abstract = {Responses to norm violators are poorly understood. On one hand, norm violators are perceived as powerful, which may help them to get ahead. On the other hand, norm violators evoke moral outrage, which may frustrate their upward social mobility. We addressed this paradox by considering the role of culture. Collectivistic cultures value group harmony and tight cultures value social order. We therefore hypothesized that collectivism and tightness moderate reactions to norm violators. We presented 2,369 participants in 19 countries with a norm violation or a norm adherence scenario. In individualistic cultures, norm violators were considered more powerful than norm abiders and evoked less moral outrage, whereas in collectivistic cultures, norm violators were considered less powerful and evoked more moral outrage. Moreover, respondents in tighter cultures expressed a stronger preference for norm followers as leaders. Cultural values thus influence responses to norm violators, which may have downstream consequences for violators' hierarchical positions.},
- language = {en},
+ langid = {english},
keywords = {collectivism,leadership,moral emotions,norm violation,tightness}
}
@article{steneck_fostering_2006,
- title = {Fostering Integrity in Research: {{Definitions}}, Current Knowledge, and Future Directions},
+ title = {Fostering Integrity in Research: Definitions, Current Knowledge, and Future Directions},
shorttitle = {Fostering Integrity in Research},
author = {Steneck, Nicholas H.},
year = {2006},
@@ -3870,7 +3870,7 @@ @article{steneck_fostering_2006
issn = {1471-5546},
doi = {10.1007/PL00022268},
abstract = {Over the last 25 years, a small but growing body of research on research behavior has slowly provided a more complete and critical understanding of research practices, particularly in the biomedical and behavioral sciences. The results of this research suggest that some earlier assumptions about irresponsible conduct are not reliable, leading to the conclusion that there is a need to change the way we think about and regulate research behavior. This paper begins with suggestions for more precise definitions of the terms ``responsible conduct of research,'' ``research ethics,'' and ``research integrity.'' It then summarizes the findings presented in some of the more important studies of research behavior, looking first at levels of occurrence and then impact. Based on this summary, the paper concludes with general observations about priorities and recommendations for steps to improve the effectiveness of efforts to respond to misconduct and foster higher standards for integrity in research.},
- language = {en},
+ langid = {english},
keywords = {practices}
}
@@ -3887,7 +3887,7 @@ @misc{stewart_preregistration_2020
}
@article{stodden_trust_2011,
- title = {Trust {{Your Science}}? {{Open Your Data}} and {{Code}}},
+ title = {Trust {{Your Science}}? Open {{Your Data}} and {{Code}}},
shorttitle = {Trust {{Your Science}}?},
author = {Stodden, Victoria C.},
year = {2011},
@@ -3895,7 +3895,7 @@ @article{stodden_trust_2011
pages = {21--22},
doi = {10.7916/D8CJ8Q0P},
abstract = {This is a view on the reproducibility of computational sciences by Victoria Stodden. It contains information on the Reproducibility, Replicability, and Repeatability of code created by the other sciences. Stodden also talks about the rising prominence of computational sciences as we are in the digital age and what that means for the future of science and collecting data.},
- language = {en},
+ langid = {english},
keywords = {forrt}
}
@@ -3908,7 +3908,7 @@ @book{swan_directrices_2013
}
@article{syed_registered_2020,
- title = {Registered {{Reports With Developmental}} and {{Secondary Data}}: {{Some Brief Observations}} and {{Introduction}} to the {{Special Issue}}},
+ title = {Registered {{Reports With Developmental}} and {{Secondary Data}}: Some {{Brief Observations}} and {{Introduction}} to the {{Special Issue}}},
shorttitle = {Registered {{Reports With Developmental}} and {{Secondary Data}}},
author = {Syed, Moin and Donnellan, M. Brent},
year = {2020},
@@ -3922,13 +3922,13 @@ @article{syed_registered_2020
issn = {2167-6968},
doi = {10.1177/2167696820938529},
abstract = {Registered reports are a relatively new type of journal article format in which the decision to publish an article is based on sound conceptualization, methods, and planned analyses rather than the specific nature of the results. Registered reports are becoming increasingly instituted in journals across the sciences but mostly in experimental contexts. Relatively few of these journals pertain directly to developmental research with adolescents, emerging adults, and adults, which tend to use more complex methods, or at least methods that involve a greater degree of flexibility. This article describes lessons learned through editing a special issue focused on registered reports based on analyses of a single existing data set, the Emerging Adulthood Measured and Multiple Institutions 2 project. These observations should be helpful for researchers interested in preparing registered report submissions using developmental and secondary data.},
- language = {English},
+ langid = {english},
keywords = {credibility,emerging adulthood,open science,preregistration,registered reports,replication,revolution},
annotation = {WOS:000548582500001}
}
@article{szollosi_arrested_2021,
- title = {Arrested {{Theory Development}}: {{The Misguided Distinction Between Exploratory}} and {{Confirmatory Research}}},
+ title = {Arrested {{Theory Development}}: The {{Misguided Distinction Between Exploratory}} and {{Confirmatory Research}}},
shorttitle = {Arrested {{Theory Development}}},
author = {Szollosi, Aba and Donkin, Chris},
year = {2021},
@@ -3942,7 +3942,7 @@ @article{szollosi_arrested_2021
issn = {1745-6916},
doi = {10.1177/1745691620966796},
abstract = {Science progresses by finding and correcting problems in theories. Good theories are those that help facilitate this process by being hard to vary: They explain what they are supposed to explain, they are consistent with other good theories, and they are not easily adaptable to explain anything. Here we argue that, rather than a lack of distinction between exploratory and confirmatory research, an abundance of flexible theories is a better explanation for the current replicability problems of psychology. We also explain why popular methods-oriented solutions fail to address the real problem of flexibility. Instead, we propose that a greater emphasis on theory criticism by argument might improve replicability.},
- language = {English},
+ langid = {english},
keywords = {confirmatory research,direct replication,exploratory research,philosophy of science,preregistration,theory development},
annotation = {WOS:000620008500001}
}
@@ -3958,7 +3958,7 @@ @article{szollosi_preregistration_2020
pages = {94--95},
issn = {13646613},
doi = {10.1016/j.tics.2019.11.009},
- language = {en},
+ langid = {english},
keywords = {forrt,reports}
}
@@ -3976,7 +3976,7 @@ @article{tackett_bringing_2020a
issn = {0708-5591},
doi = {10.1037/cap0000221},
abstract = {Preregistration, which involves documentation of hypotheses, methods, and plans for data analysis prior to data collection or analysis, has been lauded as 1 potential solution to the replication crisis in psychological science. Yet, many researchers have been slow to adopt preregistration, and the next generation of researchers is offered little formalized instruction in creating comprehensive preregistrations. In this article, we describe a collaborative workshop-based preregistration course designed and taught by Jennifer L. Tackett. We provide a brief overview of preregistration, including resources available, common concerns with preregistration, and responses to these concerns. We then describe the goals, structure, and evolution of our preregistration course and provide examples of enrolled students' final research products. We conclude with reflections on the strengths and opportunities for growth for the 1st iteration of this course and suggestions for others who are interested in implementing similar open science-focused courses in their training programs.},
- language = {English},
+ langid = {english},
keywords = {error,guide,incentives,open science,personality,preregistration,psychopathology,publication,registered-reports,registration,science,workshop-based learning},
annotation = {WOS:000592853200005}
}
@@ -3995,7 +3995,7 @@ @article{tackett_leveraging_2019
issn = {1040-3590},
doi = {10.1037/pas0000583},
abstract = {The last decade has seen enormous advances in research transparency in psychology. One of these advances has been the creation of a common interface for openness across the sciences-the Open Science Framework (OSF). While social, personality, and cognitive psychologists have been at the fore in participating in open practices on the OSF, clinical psychology has trailed behind. In this article, we discuss the advantages and special considerations for clinical assessment researchers' participation in open science broadly, and specifically in using the OSF for these purposes. We use several studies from our lab to illustrate the uses of the OSF for psychological studies, as well as the process of implementing this tool in assessment research. Among these studies are an archival assessment study, a project using an extensive unpublished assessment battery. and one in which we developed a short-form assessment instrument.},
- language = {English},
+ langid = {english},
keywords = {childhood,metascience,Open Science Framework,personality,power,preregistration,replicability,step,traits,transparency,youth},
annotation = {WOS:000498808600002}
}
@@ -4009,7 +4009,7 @@ @article{taylor_altmetric_2020
pages = {2523--2543},
doi = {10.1007/s11192-020-03735-8},
abstract = {The last decade has seen two significant phenomena emerge in research communication: the rise of open access (OA) publishing, and the easy availability of evidence of online sharing in the form of altmetrics. There has been limited examination of the effect of OA on online sharing for journal articles, and little for books. This paper examines the altmetrics of a set of 32,222 books (of which 5\% are OA) and a set of 220,527 chapters (of which 7\% are OA) indexed by the scholarly database Dimensions in the Social Sciences and Humanities. Both OA books and chapters have significantly higher use on social networks, higher coverage in the mass media and blogs, and evidence of higher rates of social impact in policy documents. OA chapters have higher rates of coverage on Wikipedia than their non-OA equivalents, and are more likely to be shared on Mendeley. Even within the Humanities and Social Sciences, disciplinary differences in altmetric activity are evident. The effect is confirmed for chapters, although sampling issues prevent the strong conclusion that OA facilitates extra attention at the whole book level, the apparent OA altmetrics advantage suggests that the move towards OA is increasing social sharing and broader impact.},
- language = {English}
+ langid = {english}
}
@article{tennant_ten_2019,
@@ -4025,12 +4025,12 @@ @article{tennant_ten_2019
doi = {10.3390/publications7020034},
abstract = {The changing world of scholarly communication and the emerging new wave of \‘Open Science\’ or \‘Open Research\’ has brought to light a number of controversial and hotly debated topics. Evidence-based rational debate is regularly drowned out by misinformed or exaggerated rhetoric, which does not benefit the evolving system of scholarly communication. This article aims to provide a baseline evidence framework for ten of the most contested topics, in order to help frame and move forward discussions, practices, and policies. We address issues around preprints and scooping, the practice of copyright transfer, the function of peer review, predatory publishers, and the legitimacy of \‘global\’ databases. These arguments and data will be a powerful tool against misinformation across wider academic research, policy and practice, and will inform changes within the rapidly evolving scholarly publishing system.},
copyright = {http://creativecommons.org/licenses/by/3.0/},
- language = {en},
+ langid = {english},
keywords = {copyright,impact factor,open access,open science,peer review,research evaluation,scholarly communication,Scopus,web of science}
}
@article{thibodeaux_production_2016,
- title = {Production as Social Change: {{Policy}} Sociology as a Public Good},
+ title = {Production as Social Change: Policy Sociology as a Public Good},
shorttitle = {Production as Social Change},
author = {Thibodeaux, Jarrett},
year = {2016},
@@ -4074,13 +4074,13 @@ @article{tijdink_publication_2014
issn = {1556-2646},
doi = {10.1177/1556264614552421},
abstract = {There is increasing evidence that scientific misconduct is more common than previously thought. Strong emphasis on scientific productivity may increase the sense of publication pressure. We administered a nationwide survey to Flemish biomedical scientists on whether they had engaged in scientific misconduct and whether they had experienced publication pressure. A total of 315 scientists participated in the survey; 15\% of the respondents admitted they had fabricated, falsified, plagiarized, or manipulated data in the past 3 years. Fraud was more common among younger scientists working in a university hospital. Furthermore, 72\% rated publication pressure as too high. Publication pressure was strongly and significantly associated with a composite scientific misconduct severity score.},
- language = {English},
+ langid = {english},
keywords = {ethics,ethics in publishing,fraud,impact,integrity,publication pressure,questionable research practice,science,scientific misconduct},
annotation = {WOS:000344691700008}
}
@article{toth_study_2021,
- title = {Study {{Preregistration}}: {{An Evaluation}} of a {{Method}} for {{Transparent Reporting}}},
+ title = {Study {{Preregistration}}: An {{Evaluation}} of a {{Method}} for {{Transparent Reporting}}},
shorttitle = {Study {{Preregistration}}},
author = {Toth, Allison A. and Banks, George C. and Mellor, David and O'Boyle, Ernest H. and Dickson, Ashleigh and Davis, Daniel J. and DeHaven, Alex and Bochantin, Jaime and Borns, Jared},
year = {2021},
@@ -4094,7 +4094,7 @@ @article{toth_study_2021
issn = {0889-3268},
doi = {10.1007/s10869-020-09695-3},
abstract = {Study preregistration promotes transparency in scientific research by making a clear distinction between a priori and post hoc procedures or analyses. Management and applied psychology have not embraced preregistration in the way other closely related social science fields have. There may be concerns that preregistration does not add value and prevents exploratory data analyses. Using a mixed-method approach, in Study 1, we compared published preregistered samples against published non-preregistered samples. We found that preregistration effectively facilitated more transparent reporting based on criteria (i.e., confirmed hypotheses and a priori analysis plans). Moreover, consistent with concerns that the published literature contains elevated type I error rates, preregistered samples had fewer statistically significant results (48\%) than non-preregistered samples (66\%). To learn about the perceived advantages, disadvantages, and misconceptions of study preregistration, in Study 2, we surveyed authors of preregistered studies and authors who had never preregistered a study. Participants in both samples had positive inclinations towards preregistration yet expressed concerns about the process. We conclude with a review of best practices for management and applied psychology stakeholders.},
- language = {English},
+ langid = {english},
keywords = {bias,incentives,management,Methodology,Open science,Preregistration,Questionable research practices,questionable research practices,Reproducibility,science,truth},
annotation = {WOS:000539933800001}
}
@@ -4150,7 +4150,7 @@ @article{vanderzee_open_2018
address = {{Thousand Oaks}},
doi = {10.1177/2332858418787466},
abstract = {Scientific progress is built on research that is reliable, accurate, and verifiable. The methods and evidentiary reasoning that underlie scientific claims must be available for scrutiny. Like other fields, the education sciences suffer from problems such as failure to replicate, validity and generalization issues, publication bias, and high costs of access to publications-all of which are symptoms of a nontransparent approach to research. Each aspect of the scientific cycle-research design, data collection, analysis, and publication-can and should be made more transparent and accessible. Open Education Science is a set of practices designed to increase the transparency of evidentiary reasoning and access to scientific research in a domain characterized by diverse disciplinary traditions and a commitment to impact in policy and practice. Transparency and accessibility are functional imperatives that come with many benefits for the individual researcher, scientific community, and society at large Open Education Science is the way forward.},
- language = {English},
+ langid = {english},
keywords = {articles,availability,bias,journals,open access,open science,preregistration,qualitative research,registered report,registered-reports,replication},
annotation = {WOS:000509663300004}
}
@@ -4161,13 +4161,13 @@ @article{vantveer_preregistration_2016
year = {2016},
month = nov,
journal = {Journal of Experimental Social Psychology},
- series = {Special {{Issue}}: {{Confirmatory}}},
+ series = {Special {{Issue}}: Confirmatory},
volume = {67},
pages = {2--12},
issn = {0022-1031},
doi = {10.1016/j.jesp.2016.03.004},
abstract = {Pre-registration of studies before they are conducted has recently become more feasible for researchers, and is encouraged by an increasing number of journals. However, because the practice of pre-registration is relatively new to psychological science, specific guidelines for the content of registrations are still in a formative stage. After giving a brief history of pre-registration in medical and psychological research, we outline two different models that can be applied\textemdash reviewed and unreviewed pre-registration\textemdash and discuss the advantages of each model to science as a whole and to the individual scientist, as well as some of their drawbacks and limitations. Finally, we present and justify a proposed standard template that can facilitate pre-registration. Researchers can use the template before and during the editorial process to meet article requirements and enhance the robustness of their scholarly efforts.},
- language = {en},
+ langid = {english},
keywords = {Pre-registration,Research methods,Reviewed pre-registration (RPR),Solid science,Unreviewed pre-registration (UPR)}
}
@@ -4179,11 +4179,11 @@ @misc{velterop_suscripciones_2018
journal = {Scielo en Perspectiva},
abstract = {Estoy viendo m\'as y m\'as cr\'iticas a las Tasas de Procesamiento de Art\'iculos (Article Processing Charges \textendash{} APCs). Mientras que la mayor\'ia de ellas se preocupan por el monto de las tasas, tambi\'en hay algo de cr\'iticas al concepto mismo de las APC. Naturalmente, las tasas son a menudo altas. Demasiado altas, en particular en el caso de las revistas llamadas ``h\'ibridas''. M\'as sobre esto a continuaci\'on.},
copyright = {Creative Commons Attribution 4.0 International, Open Access},
- language = {es}
+ langid = {spanish}
}
@article{vermeulen_blinded_2015,
- title = {Blinded by the {{Light}}: {{How}} a {{Focus}} on {{Statistical}} ``{{Significance}}'' {{May Cause}} p-{{Value Misreporting}} and an {{Excess}} of p-{{Values Just Below}} .05 in {{Communication Science}}},
+ title = {Blinded by the {{Light}}: How a {{Focus}} on {{Statistical}} ``{{Significance}}'' {{May Cause}} p-{{Value Misreporting}} and an {{Excess}} of p-{{Values Just Below}} .05 in {{Communication Science}}},
shorttitle = {Blinded by the {{Light}}},
author = {Vermeulen, Ivar and Beukeboom, Camiel J. and Batenburg, Anika and Avramiea, Arthur and Stoyanov, Dimo and {van de Velde}, Bob and Oegema, Dirk},
year = {2015},
@@ -4224,12 +4224,12 @@ @article{vivalt_heterogeneous_2015
issn = {0002-8282},
doi = {10.1257/aer.p20151015},
abstract = {It is very important to know how much we can extrapolate from a study's results. This paper examines the issue using data from impact evaluations in development.},
- language = {en},
+ langid = {english},
keywords = {Quantile Regressions,Single Equation Models,Single Variables: Cross-Sectional Models,Spatial Models,Treatment Effect Models}
}
@article{wagenmakers_creativityverification_2018,
- title = {The {{Creativity}}-{{Verification Cycle}} in {{Psychological Science}}: {{New Methods}} to {{Combat Old Idols}}},
+ title = {The {{Creativity}}-{{Verification Cycle}} in {{Psychological Science}}: New {{Methods}} to {{Combat Old Idols}}},
shorttitle = {The {{Creativity}}-{{Verification Cycle}} in {{Psychological Science}}},
author = {Wagenmakers, Eric-Jan and Dutilh, Gilles and Sarafoglou, Alexandra},
year = {2018},
@@ -4243,13 +4243,13 @@ @article{wagenmakers_creativityverification_2018
issn = {1745-6916},
doi = {10.1177/1745691618771357},
abstract = {Over the years, researchers in psychological science have documented and investigated a host of powerful cognitive fallacies, including hindsight bias and confirmation bias. Researchers themselves may not be immune to these fallacies and may unwittingly adjust their statistical analysis to produce an outcome that is more pleasant or better in line with prior expectations. To shield researchers from the impact of cognitive fallacies, several methodologists are now advocating preregistration-that is, the creation of a detailed analysis plan before data collection or data analysis. One may argue, however, that preregistration is out of touch with academic reality, hampering creativity and impeding scientific progress. We provide a historical overview to show that the interplay between creativity and verification has shaped theories of scientific inquiry throughout the centuries; in the currently dominant theory, creativity and verification operate in succession and enhance one another's effectiveness. From this perspective, the use of preregistration to safeguard the verification stage will help rather than hinder the generation of fruitful new ideas.},
- language = {English},
+ langid = {english},
keywords = {empirical cycle,philosophy of science,preregistration,replication},
annotation = {WOS:000438605100002}
}
@article{warren_how_2019,
- title = {How {{Much Do You Have}} to {{Publish}} to {{Get}} a {{Job}} in a {{Top Sociology Department}}? {{Or}} to {{Get Tenure}}? {{Trends}} over a {{Generation}}},
+ title = {How {{Much Do You Have}} to {{Publish}} to {{Get}} a {{Job}} in a {{Top Sociology Department}}? Or to {{Get Tenure}}? Trends over a {{Generation}}},
shorttitle = {How {{Much Do You Have}} to {{Publish}} to {{Get}} a {{Job}} in a {{Top Sociology Department}}?},
author = {Warren, John Robert},
year = {2019},
@@ -4260,18 +4260,18 @@ @article{warren_how_2019
issn = {2330-6696},
doi = {10.15195/v6.a7},
abstract = {Many sociologists suspect that publication expectations have risen over time\textemdash that how much graduate students have published to get assistant professor jobs and how much assistant professors have published to be promoted have gone up. Using information about faculty in 21 top sociology departments from the American Sociological Association's Guide to Graduate Departments of Sociology, online curricula vitae, and other public records, I provide empirical evidence to support this suspicion. On the day they start their first jobs, new assistant professors in recent years have already published roughly twice as much as their counterparts did in the early 1990s. Trends for promotion to associate professor are not as dramatic but are still remarkable. I evaluate several potential explanations for these trends and conclude that they are driven mainly by changes over time in the fiscal and organizational realities of universities and departments.},
- language = {en-US}
+ langid = {american}
}
@misc{weist_african_2009,
- title = {African {{American Experience}} of {{Sexual Assault}} in {{Maryland}}, 2003-2006: {{Version}} 1},
+ title = {African {{American Experience}} of {{Sexual Assault}} in {{Maryland}}, 2003-2006: Version 1},
shorttitle = {African {{American Experience}} of {{Sexual Assault}} in {{Maryland}}, 2003-2006},
author = {Weist, Mark D. and {Pollitt-Hill}, Jennifer and Kinney, Linda and Bryant, Yaphet and Anthony, Laura and Wilkerson, Jennifer},
year = {2009},
publisher = {{ICPSR - Interuniversity Consortium for Political and Social Research}},
doi = {10.3886/ICPSR25201.V1},
abstract = {Part 1 (Victim Quantitative Data) includes 110 items in the following categories: Personal Demographics (7 items), Details of the Sexual Assault (23 items), Medical Care (19 items), Law Enforcement (11 items), Prosecution/Court Process (11 items), Sexual Assault Center Services (22 items), Other Counseling Services (9 items), and Recommendations for Improvement (8 items). Part 2 (Victim Qualitative Data) includes verbatim responses to selected questions from Part 1. The data are organized by question, not by respondent. Part 3 (Focus Group Qualitative Data) includes questions on the needs of African American women who have been sexually assaulted, whether their needs are different from those of women of other racial/ethnic backgrounds, unique barriers to reporting sexual assault to police for African American women and their treatment by the criminal justice system, unique issues concerning the use of available resources by African American women such as post-rape medical care and counseling services, and recommendations on how the state of Maryland could improve services for African American women who are the victims of sexual assault.},
- language = {en}
+ langid = {english}
}
@article{weston_recommendations_2019,
@@ -4287,10 +4287,25 @@ @article{weston_recommendations_2019
issn = {2515-2459},
doi = {10.1177/2515245919848684},
abstract = {Secondary data analysis, or the analysis of preexisting data, provides a powerful tool for the resourceful psychological scientist. Never has this been more true than now, when technological advances enable both sharing data across labs and continents and mining large sources of preexisting data. However, secondary data analysis is easily overlooked as a key domain for developing new open-science practices or improving analytic methods for robust data analysis. In this article, we provide researchers with the knowledge necessary to incorporate secondary data analysis into their methodological toolbox. We explain that secondary data analysis can be used for either exploratory or confirmatory work, and can be either correlational or experimental, and we highlight the advantages and disadvantages of this type of research. We describe how transparency-enhancing practices can improve and alter interpretations of results from secondary data analysis and discuss approaches that can be used to improve the robustness of reported results. We close by suggesting ways in which scientific subfields and institutions could address and improve the use of secondary data analysis.},
- language = {en},
+ langid = {english},
keywords = {bias,file drawer,p-hacking,panel design,preexisting data,preregistration,reproducibility,secondary analysis,transparency}
}
+@article{whyte_open_2011,
+ title = {Open {{Science}} in {{Practice}}: Researcher {{Perspectives}} and {{Participation}}},
+ shorttitle = {Open {{Science}} in {{Practice}}},
+ author = {Whyte, Angus and Pryor, Graham},
+ year = {2011},
+ month = mar,
+ journal = {International Journal of Digital Curation},
+ volume = {6},
+ number = {1},
+ pages = {199--213},
+ issn = {1746-8256},
+ doi = {10.2218/ijdc.v6i1.182},
+ abstract = {We report on an exploratory study consisting of brief case studies in selected disciplines, examining what motivates researchers to work (or want to work) in an open manner with regard to their data, results and protocols, and whether advantages are delivered by working in this way. We review the policy background to open science, and literature on the benefits attributed to open data, considering how these relate to curation and to questions of who participates in science. The case studies investigate the perceived benefits to researchers, research institutions and funding bodies of utilising open scientific methods, the disincentives and barriers, and the degree to which there is evidence to support these perceptions. Six case study groups were selected in astronomy, bioinformatics, chemistry, epidemiology, language technology and neuroimaging. The studies identify relevant examples and issues through qualitative analysis of interview transcripts. We provide a typology of degrees of open working across the research lifecycle, and conclude that better support for open working, through guidelines to assist research groups in identifying the value and costs of working more openly, and further research to assess the risks, incentives and shifts in responsibility entailed by opening up the research process are needed.}
+}
+
@article{wilkinson_fair_2016,
title = {The {{FAIR Guiding Principles}} for Scientific Data Management and Stewardship},
author = {Wilkinson, Mark and Dumontier, Michel},
@@ -4301,11 +4316,11 @@ @article{wilkinson_fair_2016
abstract = {There is an urgent need to improve the infrastructure supporting the reuse of scholarly data. A diverse set of stakeholders\textemdash representing academia, industry, funding agencies, and scholarly publishers\textemdash have come together to design and jointly endorse a concise and measureable set of principles that we refer to as the FAIR Data Principles. The intent is that these may act as a guideline for those wishing to enhance the reusability of their data holdings. Distinct from peer initiatives that focus on the human scholar, the FAIR Principles put specific emphasis on enhancing the ability of machines to automatically find and use the data, in addition to supporting its reuse by individuals. This Comment is the first formal publication of the FAIR Principles, and includes the rationale behind them, and some exemplar implementations in the community.},
collaborator = {Aalbersberg, Ijsbrand and Appleton, Gabrielle and Axton, Myles and Baak, Arie and Blomberg, Nikklas and Boiten, Jan-Willem and Bonino, Luiz and Bourne, Philip E and Bouwman, Jildau and Brookes, Anthony and Clark, Tim and Crosas, Merc{\`e} and Dillo, Ingrid and Dumon, Oliver and Edmunds, Scott and Evelo, Chris},
copyright = {Creative Commons 3.0},
- language = {English}
+ langid = {english}
}
@article{wilson_replication_1973,
- title = {The {{Replication Problem}} in {{Sociology}}: {{A Report}} and a {{Suggestion}}*},
+ title = {The {{Replication Problem}} in {{Sociology}}: A {{Report}} and a {{Suggestion}}*},
shorttitle = {The {{Replication Problem}} in {{Sociology}}},
author = {Wilson, Franklin D. and Smoke, Gale L. and Martin, J. David},
year = {1973},
@@ -4316,12 +4331,12 @@ @article{wilson_replication_1973
issn = {1475-682X},
doi = {10.1111/j.1475-682X.1973.tb00711.x},
abstract = {The deleterious effects of joint bias in favor of statistical inference and against replication are becoming well known. The acceptance of numerous Type I errors into the literature is by far the most serious of these. Data on the contents of three major journals support the contention that a joint bias for statistical significance tests, for rejections, and against replication exists in modern sociology. This finding replicates that of Sterling (1959) for psychology. A speculative analysis of the dynamics of publication decisions suggests that a compact format for reporting replications might make their publication more attractive to editors, and thus increase their frequency in the literature. A possible format for briefly reporting replication studies is suggested.},
- language = {en},
+ langid = {english},
annotation = {\_eprint: https://onlinelibrary.wiley.com/doi/pdf/10.1111/j.1475-682X.1973.tb00711.x}
}
@article{wingen_no_2020,
- title = {No {{Replication}}, {{No Trust}}? {{How Low Replicability Influences Trust}} in {{Psychology}}},
+ title = {No {{Replication}}, {{No Trust}}? How {{Low Replicability Influences Trust}} in {{Psychology}}},
shorttitle = {No {{Replication}}, {{No Trust}}?},
author = {Wingen, Tobias and Berkessel, Jana B. and Englich, Birte},
year = {2020},
@@ -4334,7 +4349,7 @@ @article{wingen_no_2020
issn = {1948-5506},
doi = {10.1177/1948550619877412},
abstract = {In the current psychological debate, low replicability of psychological findings is a central topic. While the discussion about the replication crisis has a huge impact on psychological research, we know less about how it impacts public trust in psychology. In this article, we examine whether low replicability damages public trust and how this damage can be repaired. Studies 1\textendash 3 provide correlational and experimental evidence that low replicability reduces public trust in psychology. Additionally, Studies 3\textendash 5 evaluate the effectiveness of commonly used trust-repair strategies such as information about increased transparency (Study 3), explanations for low replicability (Study 4), or recovered replicability (Study 5). We found no evidence that these strategies significantly repair trust. However, it remains possible that they have small but potentially meaningful effects, which could be detected with larger samples. Overall, our studies highlight the importance of replicability for public trust in psychology.},
- language = {en},
+ langid = {english},
keywords = {crisis,open science,public trust,replicability,replication crisis}
}
@@ -4347,7 +4362,7 @@ @misc{wipo_frequently_2020
journal = {World Intelectual Property Organization},
abstract = {WIPO is the global forum for intellectual property (IP) services, policy, information and cooperation. We are a self-funding agency of the United Nations, with 193 member states. Our mission is to lead the development of a balanced and effective international IP system that enables innovation and creativity for the benefit of all. Our mandate, governing bodies and procedures are set out in the WIPO Convention, which established WIPO in 1967},
copyright = {Creative Commons 3.0},
- language = {English}
+ langid = {english}
}
@book{worldintelectualpropietyorganization_what_2020,
@@ -4359,11 +4374,11 @@ @book{worldintelectualpropietyorganization_what_2020
address = {{Switzerland}},
copyright = {Creative Commons Attribution 4.0 International, Open Access},
isbn = {978-92-805-3176-3},
- language = {English}
+ langid = {english}
}
@article{yamada_how_2018,
- title = {How to {{Crack Pre}}-Registration: {{Toward Transparent}} and {{Open Science}}},
+ title = {How to {{Crack Pre}}-Registration: Toward {{Transparent}} and {{Open Science}}},
shorttitle = {How to {{Crack Pre}}-Registration},
author = {Yamada, Yuki},
year = {2018},
@@ -4375,7 +4390,7 @@ @article{yamada_how_2018
address = {{Lausanne}},
issn = {1664-1078},
doi = {10.3389/fpsyg.2018.01831},
- language = {English},
+ langid = {english},
keywords = {academic publishing,misconduct in research,open science,preregistration,qrp},
annotation = {WOS:000445687200001}
}
diff --git a/lisa-book.rds b/lisa-book.rds
index 271b700..999a1a2 100644
Binary files a/lisa-book.rds and b/lisa-book.rds differ
diff --git a/packages.bib b/packages.bib
index 1306866..9bc791e 100644
--- a/packages.bib
+++ b/packages.bib
@@ -19,7 +19,7 @@ @Manual{R-knitr
title = {knitr: A General-Purpose Package for Dynamic Report Generation in R},
author = {Yihui Xie},
year = {2021},
- note = {R package version 1.34},
+ note = {R package version 1.36},
url = {https://yihui.org/knitr/},
}
+