Données GBIF

[pvictor]

Source de données : https://www.gbif.org/
Un exemple spécifique de dataset ?

Ressources R:

• https://data-blog.gbif.org/post/apache-arrow-and-parquet/
• https://data-blog.gbif.org/post/downloading-long-species-lists-on-gbif/

[gdauby]

occ_gbif.xlsx

[gdauby]

Voici un exemple de requête sur rgbif, je vous poste le code qui a permis cela dans la journée.

[NicoTex]

Bonjour,

Voici un peu de code pour extraire des données de GBIF.

1/ Aller chercher les occurrences à partir d'un dictionnaire de noms d'espèces.
Le dictionnaire de GBIF des plantes peut être télécharger ici : https://we.tl/t-wog6Ab4TLh
La fonction principale pour extraire des données est rgbif::occ_data.

2/ Aller chercher les occurrences à partir d'une liste d'espèces pré-établies. C'est du code que j'avais écrit il y a quelques temps, j'avais pas trouvé de meilleures façons d'écrire (plus courtes). Cela se fait en 2 temps : 1/ chercher les noms exacts de la liste des espèces, 2/ chercher les noms apparentés à 95%, car parfois des noms d'espèces ont des petites différences d'écriture entre les différents dictionnaire de noms d'espèces existants.

library(tidyverse)
library(rgbif)

#### Get occurrence data from a list of determined species
# get the ID GBIF of species tree of Gabon
gbif_taxon_keys_1 <- DicoSpeciesName %>% # DicoSpeciesName is the tibble containing the species names
  filter(!is.na(Name_used)) %>% # Name_used is the column containing the species names
  dplyr::select(Name_used) %>% 
  pull() %>% # use fewer names if you want to just test 
  taxize::get_gbifid_(method = "backbone") %>% # match names to the GBIF backbone to get taxonkeys or use the dictionnary (dico_gbif)
  imap(~ .x %>% mutate(original_sciname = .y)) %>% # add original name back into data.frame
  bind_rows() %>% # combine all data.frames into one
  filter(kingdom == "Plantae") %>%  # remove anything that might have matched to a non-plant
  filter(matchtype == "EXACT" & status == "ACCEPTED") %>% # get only accepted and matched names
  as_tibble()

spec_GBIF_list_1 <- occ_data(taxonKey = gbif_taxon_keys_1 %>% filter(!is.na(specieskey)) %>% distinct(specieskey) %>% pull(), limit=100000) # import all occurences from GBIF ID

occ_GBIF_1 <- spec_GBIF_list_1[[1]]$data %>% mutate_if(is.logical, as.character) %>% select_if(negate(is.list)) %>% select_if(negate(is.null)) # change logical value to character and remove columns that are list
for (i in 2:length(spec_GBIF_list_1)) {
  occ_GBIF_1 <- occ_GBIF_1 %>%
    full_join(spec_GBIF_list_1[[i]]$data %>% mutate_if(is.logical, as.character) %>% select_if(negate(is.list)) %>% select_if(negate(is.null))) # combine the list of specimens of each species from GBIF
} # convert list of specimens from GBIF to a single tibble with all the columns

# Re-run the search for ID GBIF for 95% exact name (allow to get species with one/two letter different; e.g: le-testui vs. letestui)
gbif_taxon_keys_2 <- DicoSpeciesName %>% # get the ID GBIF of species tree of Gabon
  filter(!is.na(Name_used)) %>% 
  dplyr::select(Name_used) %>% 
  pull() %>%
  taxize::get_gbifid_(method = "backbone") %>% # match names to the GBIF backbone to get taxonkeys or use the dictionnary (dico_gbif)
  imap(~ .x %>% mutate(original_sciname = .y)) %>% # add original name back into data.frame
  bind_rows() %>% # combine all data.frames into one
  filter(kingdom == "Plantae") %>%  # remove anything that might have matched to a non-plant
  filter(matchtype != "EXACT" & status == "ACCEPTED") %>% # get only non accepted and matched names
  filter(confidence > 95) %>% # get only 95% or above exact match name
  as_tibble()

spec_GBIF_list_2 <- occ_data(taxonKey = gbif_taxon_keys_2 %>% filter(!is.na(specieskey)) %>% distinct(specieskey) %>% pull(), limit=100000) # import all occurences from GBIF ID

occ_GBIF_2 <- spec_GBIF_list_2[[1]]$data %>% mutate_if(is.logical, as.character) %>% select_if(negate(is.list)) %>% select_if(negate(is.null)) # change logical value to character and remove columns that are list
for (i in 2:length(spec_GBIF_list_2)) {
  occ_GBIF_2 <- occ_GBIF_2 %>%
    full_join(spec_GBIF_list_2[[i]]$data %>% mutate_if(is.logical, as.character) %>% select_if(negate(is.list)) %>% select_if(negate(is.null))) # combine the list of specimens of each species from GBIF
} # convert list of specimens from GBIF to a single tibble with all the columns

# Specimens from GBIF without any duplicates
occ_GBIF_all <- full_join(occ_GBIF_1, occ_GBIF_2) %>% # Join the two lists of specimens
  distinct(key, .keep_all = T)  # remove duplicate specimens within GBIF

3/ A partir d'un polygone spatialisé (type shapefile par exemple):

res <- rgbif::occ_data(geometry = st_as_text(polygon$geometry), kingdomKey = 6, limit = 100000) # polygon is an sf object and kingdomKey = 6 is for plants
res$data

[NicoTex]

occ_data est assez long pour importer un gros lot de données. Il faut éventuellement tester si il y a d'autres fonctions pour que ça soit plus vite (par exemple dans les ressources R que tu as posté au début de la discussion Victor)

[pvictor]

Merci Nicolas, ça serait possible d'avoir le contenu de DicoSpeciesName ?
Dans le fichier CSV le nom des espèces correspond à quel variable ? genericName, canonicalName ou plutôt scientificName ?

[NicoTex]

Il faut prendre la variable scientificName.

J'espère que l'envoi du fichier fonctionne:
DicoSpeciesName.csv

[pvictor]

Bien reçu, merci ! Je regarde pour intégrer cela dans un module de l'application.

[gdauby]

@pvictor
Pour la fonction search_species_info, par défault confidence_level = 0.95
En réalité, il faut mettre 95 car c'est en %.
Cela explique la question du fuzzy match de Nico (par mail).

[pvictor]

Oups, je vais corriger. Merci

[NicoTex]

@pvictor
Je confirme pour le filtre confidence_level il faut le mettre à 95.

Pour la lsélection automatique des variables pour données GBIF, je remets ici juste ce que j'avais écrit dans le mail:
Taxa = scientificName
Genus = genus
Species epiteth = specificEpiteth
Rank infra-specific level = taxonRank -> pas exclusif aux rangs infra-specifiques,signale si c'est un genre, une espèce, une sous-espèce, une variété
Name infra-specific level = infraspecificEpiteth
Latitude = decimalLatitude
Longitude = decimalLongitude
Altitude (m) = elevation -> problème: peut etre que parfois ce n'est pas en mètre. il y a la colonne "verbatimElevation" qui indique en plus l'unité utilisé (ex: "1140 m") mais ce n'est donc pas un champ double
Collection year = year

Pour Rank infra-specific level = taxonRank et Altitude (m) = elevation, il n'y a rien à faire de particulier, c'était juste pour signaler à tout le monde que ça ne va pas forcément correspondre à l'intitulé de nos variables mais ce n'est pas grave. J'espère juste que pour l'altitude il y aura peu de données qui ne seront pas en mètres car évidemment mélanger des données en m et en feet ou autre, ça n'a pas de sens. Mais à ce point là je ne vois pas comment régler ce problème éventuel (et je n'ai rien vu en unité de mesure anglaise pour l'instant).

[pvictor]

Top, merci, je vais intégrer cela.
(il y a bien un bug dans la lecture des noms d'espèces, j'ai ouvert une issue: #11)