Introduction de matomo coté serveur #6063

firm1 · 2021-03-05T17:54:59Z

Cette PR permet de faire rentrer matomo (anciennement piwik) comme outil de tracking à la place de google analytics.

Pour la petite histoire, j'ai installé matomo sur un serveur tout frais ( 2CPU , 2GB RAM, 20Go) léger pour pouvoir évaluer s'il peut tenir la route. Si jamais on veut l'utiliser pour zeste de savoir, il suffira de créer un sous domaine de zestedesavoir.com et de le faire pointer sur l'IP du serveur.

NB : que l'on choisisse d'heberger matomo sur une infra zds ou via une offre allechante, la PR reste d'actualité puisque l'url matomo est un paramètre au déploiement du site

Ce que fait la PR

Intégration de matomo comme outil de tracking des visites sur le site : ce qui permet d'envisager de se débarrasser de notre dépendance à Google Analytics et donc d'avoir des stats plus fiable.

Ce que ne fait pas la PR

On n'enlève pas encore Google Analytics (le module de stats des tutos se base encore sur Google Analytics, la refonte sera pour une autre PR), l'idée de la PR est d'abord d'introduire matomo et d'évaluer si les performances tiennent la route (je vais solliciter un déploiement de la PR en beta pour cela)

Ticket concerné : #6030

Contrôle qualité

Idéalement il faudra déployer cette PR sur la beta pour pouvoir tester convenablement si ça n'impacte pas le rendu du site.

coveralls · 2021-03-05T18:08:37Z

Coverage increased (+0.1%) to 86.736% when pulling cb92bb1 on firm1:migrate_to_matomo into 4a9e862 on zestedesavoir:dev.

AmauryCarrade

C'est cool ! Quelques remarques sur la façon de collecter les données et autres menus détails.

Concernant l'implémentation dans son ensemble, il serait vraiment mieux qu'elle soit asynchrone, afin de ne pas ralentir le chargement des pages. Pour ce faire, plusieurs possibilités :

créer un thread par requête pour envoyer le ping à Matomo ;
créer un thread par worker contenant une file d'attente pour envoyer les pings à Matomo ;
utiliser un paquet Django existant pour 1 ou 2.

Supposant que Django n'exécute qu'une fois le fichier enablematomomiddleware.py de l'intergiciel, il suffirait de créer un thread là, contenant une file d'attente et une boucle infinie de traitement ou que sais-je ; et de lui passer les requêtes à transmettre (ou juste les infos nécessaire pour éviter de faire vivre trop longtemps l'objet Request de Django).

Sur Discord, sgble précisait qu'il fallait être prudent :

Peut-être que Gunicorn attend de ses workers qu'ils n'aient pas de long-lived process ou thread. Cas 1 : il les désactive (uwsgi le fait sur option, par exemple), Cas 2 : il laisse faire mais il faut s'assurer qu'ils ne respawn pas les workers de façon à interférer. Par exemple, je sais que là encore uwsgi peut le faire (pour éviter qu'un worker dégénère avec le temps) et je me dis que Gunicorn aussi, peut-être

Quant à lui, artragis indique qu'il a une idée autre ; je le laisse préciser s'il le désire.

AmauryCarrade · 2021-03-07T15:40:45Z

zds/middlewares/enablematomomiddleware.py

+        exclude_paths = ["/contenus", "/mp"]
+        # only on get
+        if request.method == "GET":
+            for p in exclude_paths:
+                if request.path.startswith(p):
+                    return response
+            self.matomo_track(request)


Tu exlues totalement /contenus et /mp, j'imagine pour des raisons de confidentialité. Sur le principe, je suis d'accord, mais ne serais-ce pas plus pertinent de transmettre une autre URL avec uniquement le début du chemin, ou une URL avec les identifiants retirés, dans ces cas là ?

Ça permettrait de savoir à quel point les MPs et l'édition des contenus est utilisée, sans pour autant savoir quoi (ce qui est une bonne chose). Par exemple, au lieu de transmettre /contenus/stats/3819/zeste-de-savoir-30-elpis-lavant-gout-dune-nouvelle-direction/, on transmettrait /contenus/stats/.

En fait, je suis parti du principe que "on ne sait jamais" je préfère exclure plutot qu'anonymiser. Au cas ou pour une raison inconnue l'anonymisation ne fonctionne plus correctement. Mais bon, j'avoue que je n'ai pas d'avis tranché.

Ne peut-on point appliquer ce même raisonnement à ton filtre, en soit ?

Avec un code d'une complexité similaire (donc le même niveau de risque), on peut obtenir ce que je propose : il suffit de transmettre l'URL de la liste au lieu de bloquer. Et pour obtenir plus de précision tout en ayant un filet, on peut avoir une liste d'exclusion de ce genre, qui serait traitée dans l'ordre en s'arrêtant au premier qui colle :

exclude_paths = [ # Tout ce qu'on veut voir séparément (pas forcément que ça, c'est pour l'exemple) "/contenus/stats", "/contenus/historique", "/contenus/importer", "/contenus/tags", # Tous le reste qui sera groupé dans une seule URL (le filet) "/contenus", # On n'a pas ce souci pour les MPs vu que le détail n'importe que peu "/mp" ]

Du coup, non ?

zds/middlewares/enablematomomiddleware.py

zds/settings/abstract_base/zds.py

firm1 · 2021-03-07T17:55:30Z

Merci @artragis pour la mise en background. C'est mergé sur la branche.

artragis · 2021-03-07T21:24:04Z

Après quelques atermoiments, j'ai proposé une "fake PR" pour voir si on peut pas réparer la CI.

J'ai été obligé de désactiver les stats dans cette config, désolé.

Par contre, en contrepartie, je suis repassé à du thread plutôt que du multiprocess. C'est plus léger mais ça reste asynchrone. La seule chose c'est que quand un worker est occupé à envoyer des stats, bah il peut pas prendre des requêtes. Et vice versa. Les stats sont queuées en attendant d'avoir un peu d'espace CPU de libre quand on a une montée en charge des requêtes.

AmauryCarrade · 2021-03-08T00:17:24Z

Si l'envoi est différé, alors il faudrait stocker l'heure exacte de la requête initiale et la passer à Matomo via les paramètres h, m et s.

firm1 · 2021-03-16T22:36:50Z

J'ai pris en compte le code d'@artragis sur le traitement asynchrone de l'envoi et la remarque de @AmauryCarrade sur l'heure exacte.

J'en ai profité pour migrer la page des stats des contenus vers matomo. On perd l'information sur le nombre de session mais c'est tout principalement.

Est-ce que la mise à jour de la PR pourraient être déployée sur la beta ?

Situphen · 2021-03-27T18:26:35Z

Je me suis permis de mettre à jour ta branche par rapport à upstream/dev pour avoir la même version de zmarkdown sur la bêta et sur la prod :)

zds/middlewares/matomomiddleware.py

firm1 · 2021-03-29T10:27:50Z

J'ai pris en compte les remarques d'artragis ici. un deploiement en beta (@Situphen , @philippemilink ) ?

Situphen · 2021-03-29T10:49:07Z

J'ai pris en compte les remarques d'artragis ici. un deploiement en beta (@Situphen , @philippemilink ) ?

La bêta est à jour.

AmauryCarrade · 2021-03-30T11:32:18Z

zds/middlewares/matomomiddleware.py

+def _background_process(queue: Queue):
+    data = queue.get(block=True)
+    while data:
+        params = {
+            "idsite": matomo_site_id,
+            "action_name": data["r_path"],
+            "rec": 1,
+            "apiv": matomo_api_version,
+            "lang": data["client_accept_language"],
+            "ua": data["client_user_agent"],
+            "urlref": data["client_referer"],
+            "url": data["client_url"],
+            "h": data["datetime"].hour,
+            "m": data["datetime"].minute,
+            "s": data["datetime"].second,
+        }
+        requests.get(
+            matomo_api_url,
+            params=params,
+        )
+        logger.info(f'Matomo tracked this link : {data["client_url"]}')
+
+        data = queue.get(block=True)


Je demande surtout à @artragis qui a implémenté ça : si j'ai bien compris, la tâche attend qu'il y ait une charge CPU pas trop importante pour traiter les requêtes. Donc il y aura a priori des requêtes traitées par lot. Ne serait-il pas pertinent d'utiliser l'API de traitement par lot de Matomo ?

ça peut être pertinent mais ça augmentera la complexité du code. J'étais juste inconscient que cette API existait.

AmauryCarrade · 2021-03-30T11:39:57Z

Au vu de ce genre de profils, je me demande si on ne suit pas les bots. Ça fait beaucoup d'activité tout de même. Matomo ne me montre pas l'UA brute donc je ne peux pas confirmer, mais ça me semble louche.

zds/middlewares/matomomiddleware.py

firm1 · 2021-04-20T09:35:18Z

Remarques des uns et des autres prises en charges (notamment l'envoi de l'IP) et tests corrigé (j'ai mocké complètement l'API dans les tests).

Je pense qu'on arrive au bout de cette PR.

Situphen · 2021-04-20T09:43:47Z

Si tu as le temps de faire un petit rebase ce serait bien ! Je vais mettre à jour la PR sur la bêta :)

firm1 · 2021-04-20T10:04:35Z

Rebase done.

Situphen · 2021-04-20T10:12:38Z

Bêta à jour !

artragis

COmme on a requis ma review, j'ai refait une passe et je n'ai qu'une seule et unique remarque.

Pour la corriger on a deux méthodes : soit on invalide le token côté matomo et tout est gagné, soit on retire ça de notre git

zds/settings/abstract_base/zds.py

philippemilink · 2021-04-25T15:17:14Z

Pour la corriger on a deux méthodes : soit on invalide le token côté matomo et tout est gagné, soit on retire ça de notre git

Il faut faire les deux, non ? Le token a été exposé publiquement, il faut donc le changer ! Et oui, dans tous les cas le retirer de Git.

philippemilink · 2021-05-03T20:02:04Z

Je viens d'aller voir les statistiques d'un de mes billets sur la bêta, et les pages contenant les statistiques sont très longues à charger (20,9 secondes), comme si récupérer les infos de Matomo était très long. Sur la prod, le chargement de ces pages est bien plus rapide (1,8 secondes). Je suis le seul à observer ce phénomène ?

Situphen · 2021-05-16T23:12:03Z

Les logs de la bêta m'indiquent un soucis :

Matomo tracked this link : https://beta.zestedesavoir.com/
Matomo tracked this link : https://scaleway.zestedesavoir.com/forums/flux/messages/atom/
Matomo tracked this link : https://beta.zestedesavoir.com/billets/
Matomo tracked this link : https://scaleway.zestedesavoir.com/forums/flux/sujets/atom/

C'est dû à l'utilisation de la fonction request.get_host() qui s'appuie sur ALLOWED_HOSTS qui est probablement trop permissif :

zds-site/zds/settings/prod.py

Lines 36 to 47 in 9f6e100

    
           ALLOWED_HOSTS = [ 
        
               "beta.zestedesavoir.com", 
        
               "scaleway.zestedesavoir.com", 
        
               "zdsappserver", 
        
               "gandi.zestedesavoir.com", 
        
               "gandi.zestedesavoir.com.", 
        
               ".zestedesavoir.com", 
        
               ".zestedesavoir.com.", 
        
               "127.0.0.1", 
        
               "localhost", 
        
               "163.172.171.246", 
        
           ]

zds/settings/abstract_base/zds.py

firm1 · 2021-05-17T23:20:35Z

Je viens d'aller voir les statistiques d'un de mes billets sur la bêta, et les pages contenant les statistiques sont très longues à charger (20,9 secondes), comme si récupérer les infos de Matomo était très long. Sur la prod, le chargement de ces pages est bien plus rapide (1,8 secondes). Je suis le seul à observer ce phénomène ?

@philippemilink je n'ai pas observé ça chez moi. Tu reproduis encore ce problème ?

firm1 · 2021-05-17T23:23:31Z

Les logs de la bêta m'indiquent un soucis :
Matomo tracked this link : https://beta.zestedesavoir.com/
Matomo tracked this link : https://scaleway.zestedesavoir.com/forums/flux/messages/atom/
Matomo tracked this link : https://beta.zestedesavoir.com/billets/
Matomo tracked this link : https://scaleway.zestedesavoir.com/forums/flux/sujets/atom/
C'est dû à l'utilisation de la fonction request.get_host() qui s'appuie sur ALLOWED_HOSTS qui est probablement trop permissif :

zds-site/zds/settings/prod.py

Lines 36 to 47 in 9f6e100

ALLOWED_HOSTS = [

"beta.zestedesavoir.com",

"scaleway.zestedesavoir.com",

"zdsappserver",

"gandi.zestedesavoir.com",

"gandi.zestedesavoir.com.",

".zestedesavoir.com",

".zestedesavoir.com.",

"127.0.0.1",

"localhost",

"163.172.171.246",

]

@Situphen c'est probablement la consultation via munin qui ne passe pas d'entête http et donc django va chercher le nom du host lui même. Je ne vois pas comment on peut faire autrement.

AmauryCarrade

On m'a demandé une revue, donc acte.

J'ai adressé plusieurs commentaires qui ont été ignorés et qui sont toujours d'actualité, après vérification :

des statistiques groupées sur certaines URLs plutôt que rien ;
certains bots semblent passer sur Matomo (vérifié à l'instant sur l'instance de prod de Matomo).

Concernant le second point, ça semble plus subtil que ça car cette fois, on a l'UA — Wget. Donc si quelqu'un aspire l'ensemble du site avec wget (ce qui semble se produire régulièrement ?!), on voit tout dans Matomo. Mais les autres bots plus classiques (Google, etc.) semblent correctement filtrés par Matomo.

artragis · 2021-05-18T19:21:55Z

des statistiques groupées sur certaines URLs plutôt que rien ;

personnellement cette solution ne me convainc pas d'autant que je ne vois pas à quoi serviraient ces stats sinon à augmenter le poids de la bdd

certains bots semblent passer sur Matomo (vérifié à l'instant sur l'instance de prod de Matomo).

ça ressemble à munin : 7 requêtes toutes les 5 minutes pendant 12h ça fait 1008, si on compte que la visite est sensée avoir duré "11 h 45", tu enlèves 2 cycles et tu tombes pile sur... 994

AmauryCarrade · 2021-05-19T08:19:09Z

personnellement cette solution ne me convainc pas d'autant que je ne vois pas à quoi serviraient ces stats sinon à augmenter le poids de la bdd

Dans mon esprit, à savoir à quel point les outils de rédaction/MP étaient utilisés, mais ce n'est pas forcément indispensable, certes.

ça ressemble à munin : 7 requêtes toutes les 5 minutes pendant 12h ça fait 1008, si on compte que la visite est sensée avoir duré "11 h 45", tu enlèves 2 cycles et tu tombes pile sur... 994

Ah oui bien vu, d'autant que les pages visitées sont bien moins diversifiées que ce qu'il me semblait — c'est totalement ça. Du coup, il faudrait ou filtrer Wget côté Matomo, si possible, ou le filtrer avant d'envoyer la requête à Matomo.

firm1 · 2021-05-20T15:01:53Z

@AmauryCarrade je n'avais pas répondu sur ton commentaire, mais je partage l'avis de @artragis ici :

Point 1 : je ne suis pas convaincu par l'utilité de rajouter une complexité au code pour avoir des infos sur les outils de rédactions. Ce que je veux dire c'est que je ne perçois pas le gain de savoir que la fonction d'historique (ou d'import) est utilisé x fois, d'autant plus que l'on aura pas la distinction par contenus/auteurs. Je ne trouve pas l'info très exploitable.
Point 2 : il s'agit bien de munin, par contre ça pose un dilemme. Théoriquement ce n'est pas le rôle du code de zds d'identifier ce qu'est un bot, c'est le rôle de matomo. Si matomo n'arrive pas à l'identifier est-ce que c'est à nous de le faire ? qu'en sera t-il d'un bot dont l'UA sera curl ? Mais je suis d'accord qu'infine on ne veut pas considérer munin comme une vraie visite. Du coup la question est : faut-il le filter en amont ou en sortie (lorsque l'on veut afficher les résultats) ?

artragis · 2021-05-20T15:58:30Z

J'aurais dit en sortie. A priori matomo est capable de se rendre compte que c'est lui et pas un autre alors je me dis qu'on peut carrément blacklister sur matomo l'id de wget

AmauryCarrade · 2021-05-21T13:51:35Z

OK pour les deux points. J'approuve le blocage côté Matomo si c'est possible, ça devrait rester son rôle que de filtrer.

AmauryCarrade · 2021-05-21T15:16:50Z

J'ai configuré l'instance de production de Matomo pour exclure Wget et CURL.

Le suivi de Munin semble bien avoir cessé. Donc pour moi, on est bons ici !

firm1 added the C-Back Concerne le back-end Django label Mar 5, 2021

AmauryCarrade reviewed Mar 7, 2021

View reviewed changes

firm1 force-pushed the migrate_to_matomo branch from 01e4040 to e527ebc Compare March 7, 2021 18:35

artragis requested changes Mar 28, 2021

View reviewed changes

zds/middlewares/matomomiddleware.py Outdated Show resolved Hide resolved

zds/middlewares/matomomiddleware.py Outdated Show resolved Hide resolved

AmauryCarrade reviewed Mar 30, 2021

View reviewed changes

Situphen requested changes Apr 11, 2021

View reviewed changes

zds/middlewares/matomomiddleware.py Outdated Show resolved Hide resolved

artragis reviewed Apr 11, 2021

View reviewed changes

zds/middlewares/matomomiddleware.py Outdated Show resolved Hide resolved

Situphen reviewed Apr 11, 2021

View reviewed changes

zds/middlewares/matomomiddleware.py Outdated Show resolved Hide resolved

artragis reviewed Apr 18, 2021

View reviewed changes

zds/middlewares/matomomiddleware.py Outdated Show resolved Hide resolved

firm1 and others added 8 commits April 20, 2021 12:03

add matomo tracking

1b538e2

Matomo tourne en background

475f2b4

Pas de joinablequeue

700b191

FIx SYNC

2888a9c

FIx queue usage

d1e0dfe

essai sans le join

35bb6cd

fix async middleware

6fd9e38

migrate statistics results for contents

aed7085

Situphen previously approved these changes Apr 20, 2021

View reviewed changes

Situphen requested review from artragis and AmauryCarrade April 25, 2021 13:11

artragis requested changes Apr 25, 2021

View reviewed changes

zds/settings/abstract_base/zds.py Outdated Show resolved Hide resolved

le token est obligatoire pour traquer l'url

56002e4

firm1 dismissed Situphen’s stale review via 56002e4 May 17, 2021 09:35

artragis reviewed May 17, 2021

View reviewed changes

zds/settings/abstract_base/zds.py Outdated Show resolved Hide resolved

pas besoin du token vers matomo sur github

cb92bb1

artragis approved these changes May 18, 2021

View reviewed changes

AmauryCarrade reviewed May 18, 2021

View reviewed changes

AmauryCarrade approved these changes May 21, 2021

View reviewed changes

artragis merged commit f8b172d into zestedesavoir:dev May 21, 2021

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Introduction de matomo coté serveur #6063

Introduction de matomo coté serveur #6063

firm1 commented Mar 5, 2021 •

edited

Loading

coveralls commented Mar 5, 2021 •

edited

Loading

AmauryCarrade left a comment •

edited

Loading

AmauryCarrade Mar 7, 2021

firm1 Mar 7, 2021

AmauryCarrade Mar 7, 2021

AmauryCarrade Mar 30, 2021

firm1 commented Mar 7, 2021

artragis commented Mar 7, 2021

AmauryCarrade commented Mar 8, 2021

firm1 commented Mar 16, 2021

Situphen commented Mar 27, 2021

firm1 commented Mar 29, 2021

Situphen commented Mar 29, 2021

AmauryCarrade Mar 30, 2021

artragis Mar 30, 2021

AmauryCarrade commented Mar 30, 2021

firm1 commented Apr 20, 2021

Situphen commented Apr 20, 2021 •

edited

Loading

firm1 commented Apr 20, 2021

Situphen commented Apr 20, 2021

artragis left a comment

philippemilink commented Apr 25, 2021

philippemilink commented May 3, 2021

Situphen commented May 16, 2021

firm1 commented May 17, 2021

firm1 commented May 17, 2021

AmauryCarrade left a comment

artragis commented May 18, 2021

AmauryCarrade commented May 19, 2021

firm1 commented May 20, 2021

artragis commented May 20, 2021

AmauryCarrade commented May 21, 2021

AmauryCarrade commented May 21, 2021

Introduction de matomo coté serveur #6063

Introduction de matomo coté serveur #6063

Conversation

firm1 commented Mar 5, 2021 • edited Loading

Ce que fait la PR

Ce que ne fait pas la PR

Contrôle qualité

coveralls commented Mar 5, 2021 • edited Loading

AmauryCarrade left a comment • edited Loading

Choose a reason for hiding this comment

AmauryCarrade Mar 7, 2021

Choose a reason for hiding this comment

firm1 Mar 7, 2021

Choose a reason for hiding this comment

AmauryCarrade Mar 7, 2021

Choose a reason for hiding this comment

AmauryCarrade Mar 30, 2021

Choose a reason for hiding this comment

firm1 commented Mar 7, 2021

artragis commented Mar 7, 2021

AmauryCarrade commented Mar 8, 2021

firm1 commented Mar 16, 2021

Situphen commented Mar 27, 2021

firm1 commented Mar 29, 2021

Situphen commented Mar 29, 2021

AmauryCarrade Mar 30, 2021

Choose a reason for hiding this comment

artragis Mar 30, 2021

Choose a reason for hiding this comment

AmauryCarrade commented Mar 30, 2021

firm1 commented Apr 20, 2021

Situphen commented Apr 20, 2021 • edited Loading

firm1 commented Apr 20, 2021

Situphen commented Apr 20, 2021

artragis left a comment

Choose a reason for hiding this comment

philippemilink commented Apr 25, 2021

philippemilink commented May 3, 2021

Situphen commented May 16, 2021

firm1 commented May 17, 2021

firm1 commented May 17, 2021

AmauryCarrade left a comment

Choose a reason for hiding this comment

artragis commented May 18, 2021

AmauryCarrade commented May 19, 2021

firm1 commented May 20, 2021

artragis commented May 20, 2021

AmauryCarrade commented May 21, 2021

AmauryCarrade commented May 21, 2021

firm1 commented Mar 5, 2021 •

edited

Loading

coveralls commented Mar 5, 2021 •

edited

Loading

AmauryCarrade left a comment •

edited

Loading

Situphen commented Apr 20, 2021 •

edited

Loading