[IMP] hr_employee_stats_sheet : lire en une fois les données de tous les jours calculés #25

Open
vlab wants to merge 5 commits from vlab/hr_employee_stats_sheet-batch-reads AGit into 16.0
Owner

Pourquoi

Sur une copie de la base de test du Moulin Nature, le tableau de bord des
feuilles de temps regroupé par employé faisait 75 430 requêtes SQL et
prenait 21 s. Chaque jour (hr.employee.stats) faisait ses propres
recherches : lignes de temps, historique de calendrier, horaires, congés,
jours fériés. Pour 6 772 jours, cela fait des dizaines de milliers de
recherches.

Ce que fait cette PR

Les jours calculés ensemble font maintenant une seule recherche par type
de donnée, puis chaque jour applique exactement la même règle qu'avant.
Aucun champ n'est stocké (pas de store=True).

Un commit par règle, chacun passe les tests du module :

  1. lignes de temps : une recherche pour tous les jours ;
  2. heures prévues : une recherche des historiques de calendrier et une des
    horaires ;
  3. congés validés : une recherche pour tous les jours ;
  4. jours fériés : une recherche par employé ;
  5. feuilles de temps : les jours de toutes les feuilles calculés ensemble.

Mesures (copie de la base de test LMN, même machine)

Vue Avant Après
Tableau de bord, groupé par employé 75 430 requêtes, 21,3 s 888 à 920 requêtes, 1,3 à 1,8 s
Tableau de bord, groupé par mois 75 191 requêtes, 21,4 s 987 requêtes, 1,3 à 1,7 s
Une feuille de temps 390 requêtes 23 requêtes

Les résultats ne changent pas : comment c'est vérifié

Même base, ancien puis nouveau code, toutes les valeurs comparées. Sur
une copie de la base de test LMN (isolée du réseau, envois de mails et
tâches planifiées coupés), avec l'image Odoo du serveur de test, un script
lit toutes les valeurs avec l'ancien code puis avec le nouveau, et les
compare au dernier chiffre près, sans arrondi :

  • pour chacun des 6 772 jours : jour de la semaine, jour férié, heures
    travaillées, prévues, de congé, de récupération, écart, lignes de temps,
    jour exceptionnel (LMN) ;
  • pour chacune des 227 feuilles : écart et heures de récupération ;
  • le tableau de bord, groupé par employé, par mois, et les deux.

Lu de toutes les façons possibles, puisque le nouveau code lit les
jours ensemble : tous les jours d'un coup (dans les deux ordres), feuille
par feuille, employé par employé, 120 mélanges de 2 à 150 jours tirés au
hasard, 800 jours un par un, le jour exceptionnel lu seul, en premier ou
en dernier.

Avec 7 utilisateurs (superutilisateur, admin, 2 managers, 3 employés),
car les droits changent ce que chacun voit.

Résultat : 1 979 comparaisons, aucune différence.

Une base de test construite pour les cas absents chez LMN (2 365 jours,
330 feuilles) : calendriers sur deux semaines, changement ou trou dans
l'historique de calendrier, deux calendriers le même jour, jours fériés à
cheval sur deux jours selon le fuseau horaire (Paris, New York, Auckland),
deux jours fériés le même jour, demi-journées, congés à l'heure ou sur
plusieurs jours (week-ends, jours fériés, deux feuilles), récupérations,
congés refusés ou en attente, deux sociétés, aujourd'hui au milieu d'une
feuille. 10 368 comparaisons : mêmes valeurs et mêmes messages d'erreur,
sauf le cas ci-dessous.

Deux pièges vérifiés à part, dans une même requête : lire les mêmes
jours en superutilisateur puis avec un autre utilisateur, et ajouter ou
déplacer une ligne de temps puis recalculer. Le nouveau code donne
exactement ce que donnait l'ancien.

Seul cas différent : avec plusieurs sociétés, un utilisateur qui n'a
pas accès aux employés d'une autre société et qui affiche en même temps des
jours de ces employés reçoit une erreur d'accès. L'ancien code affichait
parfois des valeurs, mais calculées à moitié : il écrivait une valeur avant
d'échouer en lisant l'employé. Le Moulin Nature n'a qu'une société.

Pour les modules qui étendent celui-ci

get_total_hours_domain porte maintenant sur tous les jours de
l'enregistrement. _get_total_hours, _get_total_planned_hours,
_get_total_recovery_hours, _get_total_leave_hours et
_is_public_holiday_accordig_to_employe_tz existent toujours et renvoient
les mêmes valeurs, mais le calcul des champs ne passe plus par elles : un
module qui les surchargerait ne changerait plus les totaux. Aucun module de
l'image Élabore ni du Moulin Nature ne les surcharge.

Tests

5 tests ajoutés (28 au total, tous passent ; les 23 tests existants
passent sans modification) :

  • 14 jours ne coûtent pas plus de requêtes que 2 jours ;
  • 6 feuilles ne coûtent pas plus de requêtes que 2 feuilles ;
  • jours fériés lus ensemble (fuseau horaire, deux jours fériés le même jour) ;
  • heures prévues lues ensemble (calendrier sur deux semaines, changements de
    calendrier, deux calendriers le même jour) ;
  • congés et récupérations lus ensemble (demi-journée, heures, plusieurs
    jours).

Les 3 tests de comportement passent aussi sur l'ancien code. Les 2 tests
de requêtes échouent sur l'ancien code (109 requêtes au lieu de 22, 266 au
lieu de 98), c'est ce qu'ils doivent détecter.

Ordre de fusion

À fusionner et déployer avant la PR de moulinnature-addons de même nom :
son second commit utilise _planned_hours_by_stat, ajouté ici.

## Pourquoi Sur une copie de la base de test du Moulin Nature, le tableau de bord des feuilles de temps regroupé par employé faisait 75 430 requêtes SQL et prenait 21 s. Chaque jour (`hr.employee.stats`) faisait ses propres recherches : lignes de temps, historique de calendrier, horaires, congés, jours fériés. Pour 6 772 jours, cela fait des dizaines de milliers de recherches. ## Ce que fait cette PR Les jours calculés ensemble font maintenant une seule recherche par type de donnée, puis chaque jour applique exactement la même règle qu'avant. Aucun champ n'est stocké (pas de `store=True`). Un commit par règle, chacun passe les tests du module : 1. lignes de temps : une recherche pour tous les jours ; 2. heures prévues : une recherche des historiques de calendrier et une des horaires ; 3. congés validés : une recherche pour tous les jours ; 4. jours fériés : une recherche par employé ; 5. feuilles de temps : les jours de toutes les feuilles calculés ensemble. ## Mesures (copie de la base de test LMN, même machine) | Vue | Avant | Après | |---|---|---| | Tableau de bord, groupé par employé | 75 430 requêtes, 21,3 s | 888 à 920 requêtes, 1,3 à 1,8 s | | Tableau de bord, groupé par mois | 75 191 requêtes, 21,4 s | 987 requêtes, 1,3 à 1,7 s | | Une feuille de temps | 390 requêtes | 23 requêtes | ## Les résultats ne changent pas : comment c'est vérifié **Même base, ancien puis nouveau code, toutes les valeurs comparées.** Sur une copie de la base de test LMN (isolée du réseau, envois de mails et tâches planifiées coupés), avec l'image Odoo du serveur de test, un script lit toutes les valeurs avec l'ancien code puis avec le nouveau, et les compare au dernier chiffre près, sans arrondi : - pour chacun des 6 772 jours : jour de la semaine, jour férié, heures travaillées, prévues, de congé, de récupération, écart, lignes de temps, jour exceptionnel (LMN) ; - pour chacune des 227 feuilles : écart et heures de récupération ; - le tableau de bord, groupé par employé, par mois, et les deux. **Lu de toutes les façons possibles**, puisque le nouveau code lit les jours ensemble : tous les jours d'un coup (dans les deux ordres), feuille par feuille, employé par employé, 120 mélanges de 2 à 150 jours tirés au hasard, 800 jours un par un, le jour exceptionnel lu seul, en premier ou en dernier. **Avec 7 utilisateurs** (superutilisateur, admin, 2 managers, 3 employés), car les droits changent ce que chacun voit. Résultat : 1 979 comparaisons, aucune différence. **Une base de test construite pour les cas absents chez LMN** (2 365 jours, 330 feuilles) : calendriers sur deux semaines, changement ou trou dans l'historique de calendrier, deux calendriers le même jour, jours fériés à cheval sur deux jours selon le fuseau horaire (Paris, New York, Auckland), deux jours fériés le même jour, demi-journées, congés à l'heure ou sur plusieurs jours (week-ends, jours fériés, deux feuilles), récupérations, congés refusés ou en attente, deux sociétés, aujourd'hui au milieu d'une feuille. 10 368 comparaisons : mêmes valeurs et mêmes messages d'erreur, sauf le cas ci-dessous. **Deux pièges vérifiés à part**, dans une même requête : lire les mêmes jours en superutilisateur puis avec un autre utilisateur, et ajouter ou déplacer une ligne de temps puis recalculer. Le nouveau code donne exactement ce que donnait l'ancien. **Seul cas différent :** avec plusieurs sociétés, un utilisateur qui n'a pas accès aux employés d'une autre société et qui affiche en même temps des jours de ces employés reçoit une erreur d'accès. L'ancien code affichait parfois des valeurs, mais calculées à moitié : il écrivait une valeur avant d'échouer en lisant l'employé. Le Moulin Nature n'a qu'une société. ## Pour les modules qui étendent celui-ci `get_total_hours_domain` porte maintenant sur tous les jours de l'enregistrement. `_get_total_hours`, `_get_total_planned_hours`, `_get_total_recovery_hours`, `_get_total_leave_hours` et `_is_public_holiday_accordig_to_employe_tz` existent toujours et renvoient les mêmes valeurs, mais le calcul des champs ne passe plus par elles : un module qui les surchargerait ne changerait plus les totaux. Aucun module de l'image Élabore ni du Moulin Nature ne les surcharge. ## Tests 5 tests ajoutés (28 au total, tous passent ; les 23 tests existants passent sans modification) : - 14 jours ne coûtent pas plus de requêtes que 2 jours ; - 6 feuilles ne coûtent pas plus de requêtes que 2 feuilles ; - jours fériés lus ensemble (fuseau horaire, deux jours fériés le même jour) ; - heures prévues lues ensemble (calendrier sur deux semaines, changements de calendrier, deux calendriers le même jour) ; - congés et récupérations lus ensemble (demi-journée, heures, plusieurs jours). Les 3 tests de comportement passent aussi sur l'ancien code. Les 2 tests de requêtes échouent sur l'ancien code (109 requêtes au lieu de 22, 266 au lieu de 98), c'est ce qu'ils doivent détecter. ## Ordre de fusion À fusionner et déployer avant la PR de `moulinnature-addons` de même nom : son second commit utilise `_planned_hours_by_stat`, ajouté ici.
vlab added 5 commits 2026-11-19 13:32:18 +00:00
Computing the hours of N days ran one search on the analytic lines per
day. The days computed together now share a single search, whose lines
are grouped back by employee and day.

Each day keeps its lines in the search order (``date desc, id desc``),
the order the per-day search returned them in, so the sums are the same
to the last digit.

``get_total_hours_domain`` now returns the domain of all the days of the
recordset, and ``_get_total_hours`` reads its value from the shared
search.

Assisted-by: Claude:claude-opus-5-5
Assisted-by: GPT:gpt-6.1-sol
Assisted-by: GPT:gpt-6.2-astra-ultrafast
The planned hours of each day searched the employee calendar history,
then the calendar attendances, day by day. The days computed together now
share one search of the calendar histories and one of the attendances.

The calendar of a day is chosen by the same rule as before, now in
``_select_stats_calendar`` and shared with
``_get_calendar_in_progress_during_a_time_period``: the history line
covering the day, else the company calendar, and an error when two lines
cover it.

Assisted-by: Claude:claude-opus-5-5
Assisted-by: GPT:gpt-6.1-sol
Assisted-by: GPT:gpt-6.2-astra-ultrafast
Each day ran two searches on the leaves, one for the recoveries and one
for the other leaves. The days computed together now share one search,
and ``_absence_hours_by_stat`` applies the existing rule to each day: a
single-day request counts the hours Odoo computed for it, a day inside a
longer request counts the planned hours of that day.

The leaves of a day stay in the search order (``date_from desc``), so the
sums are the same as before.

Assisted-by: Claude:claude-opus-5-5
Assisted-by: GPT:gpt-6.2-sol-ultrafast
Each day searched the public holidays of its own date. The days computed
together now run one search per employee over their date range, then
keep for each day the holidays the per-day search returned: those whose
UTC range covers the day. The check in the employee time zone is
unchanged, and two holidays on the same day still raise the same error.

With this change, the number of SQL queries needed to compute the days of
an employee no longer grows with the number of days.

Assisted-by: Claude:claude-opus-5-5
Assisted-by: GPT:gpt-6.1-sol
Assisted-by: GPT:gpt-6.2-astra-ultrafast
[IMP]hr_employee_stats_sheet:compute the days of all the sheets together
Some checks failed
pre-commit / pre-commit (pull_request) Failing after 1m33s
tests / test (pull_request) Successful in 2m12s
b0823653a8
Reading the totals of several timesheet sheets computed their days sheet
by sheet. The days of all the sheets are now computed in one batch first,
so a list or a grouped view of sheets needs as many SQL queries for 2
sheets as for 200.

Assisted-by: Claude:claude-opus-5-5
Assisted-by: GPT:gpt-6.2-astra-ultrafast
Some checks failed
pre-commit / pre-commit (pull_request) Failing after 1m33s
tests / test (pull_request) Successful in 2m12s
This pull request can be merged automatically.
You are not authorized to merge this pull request.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u origin refs/pull/25/head:vlab/hr_employee_stats_sheet-batch-reads
git checkout vlab/hr_employee_stats_sheet-batch-reads
Sign in to join this conversation.
No description provided.