31:T45e,# La discrétisation "Head/tail" valorise mieux les phénomènes hiérarchisés Deux exigences opposées tiraillent le cartographe : schématiser pour mieux imprimer les messages essentiels, ou délivrer le maximum de détails, tant que l'image le permet. Ces exigences ne sont pas forcément contradictoires. En cartographie thématique, l'art de la coloration repose d'abord sur le découpage en classes, ce que l'on appelle _discrétiser_. Les bons logiciels proposent plusieurs méthodes automatiques : quantiles, intervalles égaux et Jenks (ou seuils naturels) sont les plus fréquentes. La discrétisation **Head/tail**, proposée en 2013 par le géographe [Bin Jiang](https://www.researchgate.net/profile/Bin-Jiang-36), et récemment mise en lumière en France par [Thomas Ansart](https://observablehq.com/@ateliercartographie/head-tail-breaks) dessine fort bien les données hiérarchisées, dont la distribution dissymétrique comprend typiquement beaucoup de petites valeurs et quelques valeurs élevées. C'est le cas par exemple de la population des communes, des revenus moyens, ou des loyers. 32:T4aa,**Head/tail à gauche prend la moyenne comme premier seuil**, considère les données supérieures (head), puis calcule de façon itérative des moyennes emboitées. La méthode de Jenks est également itérative. Elle délimite x groupes les plus homogènes possibles, et en même temps les plus distincts les uns des autres. Elle est proche dans l'esprit de la méthode des K-moyennes. **Ces différentes méthodes aspirent à déterminer des "seuils naturels"**, des ruptures inhérentes aux données plutôt qu'imposées de l'extérieur par des intervalles égaux ou des effectifs égaux (quantiles). Elles sont puissantes et complémentaires. Head/tail assume de simplifier drastiquement la représentation en neutralisant la première partie de la distribution, celle sous la moyenne (le tail). Ce qui permet de mieux dégager la hiérarchie des valeurs supérieures à la moyenne (head). J'aime beaucoup ce rendu plus doux, moins agressif, **tout en nuances**, en particulier pour les loyers dans le bassin parisien. La structure hiérarchique que cette carte dessine, avec une belle séparation de l'avant-plan et de l'arrière-plan, s'imprimera plus durablement dans mon esprit.33:T460,Comparons aussi avec cette [version (je suppose par quantile)](https://www.linkedin.com/feed/update/urn:li:activity:7249362753113485313/), palette divergente, de Boris Mericskay, avec des données de même origine. L'opposition vert/violet a le mérite de simplifier fortement l'information, divisant la France en deux ou trois, autour d'une classe centrale, d'une moyenne supposée faire sens. ![image@10.png](${await FileAttachment("image@10.png").url()}) Mais quand la distribution est déséquilibrée comme celle des loyers, une représentation symétrique est moins pertinente. Par exemple, une très faible variation du 1^er seuil, intervenant dans la pente abrupte du début de la distribution, fera basculer beaucoup de communes d'une classe verte à l'autre, avec un effet violent sur la répartition colorée des deux premières classes. Et le vert foncé n'est pas le symétrique du violet foncé, il ne traduit pas le même écart à la moyenne.

![image@21.png](${await FileAttachment("image@21.png").url()})
_Distribution du loyer des appartements en France (en € par m²) en 2023_34:T7b5,## Pour un plus large usage de Head/tail [Bin Jiang rappelle](https://arxiv.org/pdf/1401.5889) que dans la nature, le monde du vivant, les organisations humaines, les phénomènes observés se présentent rarement sous forme d’une distribution symétrique autour d’une « moyenne ». Il y a en général plus de petites valeurs que de grandes. Mais la hiérarchie déroulée à partir des grandes valeurs est ce qui frappe tout d’abord l’esprit, **ce qui donne une première idée d’une structure d’ensemble** : hiérarchie des villes, des longueurs de rues dans une ville, des entreprises dans un secteur donné, des intensités de tremblements de terre, de répartition des richesses, de popularité des sites web, de fréquence des mots dans un texte, etc. Ou les niveaux successifs d'organisation d'une feuille, de ses nervures : ![image@3.png](${await FileAttachment("image@3.png").url()})
Une feuille (a) décomposée en 5 niveaux d'organisation, jusqu'au réseau le plus fin de ses nervures
[Source : Jiang, 2020. A New Approach to Detecting and Designing Living Structure of Urban Environments](https://arxiv.org/pdf/2104.04131) Pour employer un langage plus technique, les phénomènes géographiques sont peu souvent gaussiens (symétriques), plus souvent "paretiens" (de Pareto et sa fameuse loi des 80/20 - 20 % des causes expliquent 80 % des effets), ou "log-normaux" (leur logarithme est gaussien). Pour Jiang, le nombre de seuils calculés par la méthode Head/tail (dénommé _ht index_) est un indicateur de la profondeur organisationnelle du phénomène étudié (Il le rapproche même du concept de dimension fractale, posé par Benoît Mandelbrot). Pour une distribution symétrique, idéale, quasi-gaussienne, le ht index sera souvent faible, 2 par exemple. À l'inverse, **un ht-index > 5 caractérisera un phénomène étagé**, où même parfois d'un niveau à l'autre l'on retrouve les mêmes rapports d'échelle. 35:T46a,Head/tail fournit une **alternative à la méthode de discrétisation de Jenks, bien plus rapide à calculer et, pour son concepteur, mieux apte à rendre compte d'une hiérarchie**, d'une structure fractale, caractéristique fréquemment rencontrée dans la nature et le "vivant". Pour rappel, la méthode de Jenks - dite aussi des "seuils naturels" - conduit à délimiter x groupes les plus homogènes possibles, et en même temps les plus distincts les uns des autres. x est un paramètre fourni à l'algorithme de Jenks. Cet algorithme est de complexité O(n²), c'est-à-dire que son coût est proportionnel au carré de l'effectif de la distribution à classifier ; il devient difficile à calculer en JavaScript quand n dépasse 10 000 observations. À l'inverse, **la méthode Head/tail est de complexité O(n), et s'exécute en moins d'une seconde avec plusieurs millions d'observations**. De plus, elle détermine - intelligemment - son propre nombre de classes, indicateur de la profondeur de la hiérarchie détectée (nombre que l'on peut toutefois réduire en ne retenant que les x premiers seuils). 36:T51f,/** * Head/tail algorithm v1.0 based on Jiang (2019). * @param {Number[]} values - An array of numerical values. * @param {Number} nb - Optional number of class. If nb < natural breaks results, upper classes are merged. If nb > natural breaks results, nb is not used and the natural breaks results is returned. * @returns {Number[]} An array of break points with min and max. */ function headtail_js(values, options = {}) { const { nb, threshold = 0.4, minmax = false } = options; let min, max; if (minmax) [min, max] = d3.extent(values); const breaks = []; if (minmax) breaks.push(min); /** * A recursive function that calculates the next break point. * @param {Number[]} values - An array of numerical values. */ function getBreak(values) { // Add mean to breaks value const mean = d3.mean(values); breaks.push(mean); // Recursive call to get next break point const head = values.filter((d) => d > mean); while (head.length > 1 && head.length / values.length <= threshold) return getBreak(head); } getBreak(values); // Handle optional number of class if (nb && nb !== null) { const diff = nb - 1 - breaks.length; if (diff < 0) breaks.splice(nb - 1); } // Add max to breaks if (minmax) breaks.push(max); return breaks; }37:T4b0,macro_sql = { const conn = await db.connect() await conn.query(` CREATE OR REPLACE FUNCTION headtail_discr(tbname, varnum, nb := 10, threshold := 0.4) AS ( WITH RECURSIVE headtail(break, values_count) AS ( -- Initialisation avec break = moyenne, values_count = nb d'observations FROM query_table(tbname) SELECT avg(varnum), -- break count(*) -- values_count UNION ALL -- headtail suivant se réfère à la dernière ligne de la table en cours de croissance FROM query_table(tbname), headtail SELECT avg(varnum), -- next break count(*) head_count -- next values_count WHERE varnum > headtail.break GROUP BY ALL HAVING head_count > 1 AND head_count / headtail.values_count <= threshold ) FROM headtail SELECT list(break)[1:nb] AS breaks )`) await conn.close() return "Macro headtail_discr créée dans DuckDB" }38:T4af,## Pour en savoir plus - [Page Wikipedia](https://en.wikipedia.org/wiki/Head/tail_breaks) avec une liste d'implémentations dans divers langages (R, Python...) - Jiang, B. (2013). "Head/tail breaks: A new classification scheme for data with a heavy-tailed distribution", The Professional Geographer, 65 (3), 482 – 494. https://arxiv.org/abs/1209.2801v1 - Jiang, B. (2019). "A recursive definition of goodness of space for bridging the concepts of space and place for sustainability". Sustainability, 11(15), 4091. https://arxiv.org/abs/1909.01073v1 - Jiang, B. (2013) Geospatial Analysis Requires a Different Way of Thinking: The Problem of Spatial Heterogeneity, https://arxiv.org/pdf/1401.5889 - Denise Pumain, Hierarchy in Natural and Social Sciences, Springer, 2006 - Thomas Ansart, Atelier de cartographie de Sciences-Po. [Head/Tail breaks](https://observablehq.com/@ateliercartographie/head-tail-breaks) - L'outil [Magrit](https://magrit.cnrs.fr/app/) et la librairie JS [statsbreaks](https://github.com/riatelab/statsbreaks) supportent Head/Tail - Jean de La Fontaine, [La tête et la queue du Serpent](https://www.poetica.fr/poeme-2115/jean-de-la-fontaine-la-tete-et-la-queue-du-serpent/) 39:T4ab,macro_sql_v2 = { const conn = await db.connect() await conn.query(` CREATE OR REPLACE FUNCTION headtail_discr_v2(tbname, varnum, nb := 10, threshold := 0.4) AS ( WITH RECURSIVE headtail(break, values_count, l_pct_head) AS ( FROM query_table(tbname) SELECT avg(varnum), count(*), []::double[] UNION ALL ( WITH t1 AS ( FROM query_table(tbname), headtail SELECT avg(varnum) next_break, count(*) h_count, headtail.values_count v_count, headtail.l_pct_head l WHERE varnum > headtail.break GROUP BY ALL ) FROM t1 SELECT next_break, h_count, list_append(l, h_count / v_count) next_l WHERE h_count > 1 AND list_avg(next_l) <= threshold ) ) FROM headtail SELECT list(break)[1:nb] AS breaks )`) await conn.close() return "Macro headtail_discr_v2 créée dans DuckDB" }3a:[{"id":"6b17bcbe185ad601f7c18668681c6be4449e7fb37164f3d6ebdd2aff23631f9240564b826d45df40421ef95a8476818a02886366cb876f3b9dc436876371404e","href":"https://static.observableusercontent.com/files/6b17bcbe185ad601f7c18668681c6be4449e7fb37164f3d6ebdd2aff23631f9240564b826d45df40421ef95a8476818a02886366cb876f3b9dc436876371404e","name":"image@21.png","type":"image/png","lastModified":1728908148575.259,"size":16840},{"id":"b93985da16a6352908684db0e82b2980394dedbac71b855576066e11afeb0886b2e8baaf1b481979b9d492d6c4461beda99fd65a5fc981c81a6e97f95cec1dac","href":"https://static.observableusercontent.com/files/b93985da16a6352908684db0e82b2980394dedbac71b855576066e11afeb0886b2e8baaf1b481979b9d492d6c4461beda99fd65a5fc981c81a6e97f95cec1dac","name":"image@8.png","type":"image/png","lastModified":1728979407987.623,"size":647789},{"id":"796e98ba8fa68045f6f4b219b1a8e2b41769f770b8663b84d5e3b6618ff97db531ebf40c57329a53b94c2a88b62c25940a55ac28761ce832646997a54d17f752","href":"https://static.observableusercontent.com/files/796e98ba8fa68045f6f4b219b1a8e2b41769f770b8663b84d5e3b6618ff97db531ebf40c57329a53b94c2a88b62c25940a55ac28761ce832646997a54d17f752","name":"image@9.png","type":"image/png","lastModified":1728981003402.411,"size":509754},{"id":"c912130672c4217afd1842c919c39fb18e2785ca854641f25045ce142133bd679e6b1e759ccfb7894205e88d9c92f289d6cd3f9248ed077ee71a7294eb48c786","href":"https://static.observableusercontent.com/files/c912130672c4217afd1842c919c39fb18e2785ca854641f25045ce142133bd679e6b1e759ccfb7894205e88d9c92f289d6cd3f9248ed077ee71a7294eb48c786","name":"image@12.png","type":"image/png","lastModified":1728981021336.193,"size":834466},{"id":"c60ea90636ecb0f39c0f6049309e20e632fd55342f864cd3f561d7fbdcbd70d36660dba44067f5701848ca1d30768a4ccb1b31cce779e05e3aec73305e02356d","href":"https://static.observableusercontent.com/files/c60ea90636ecb0f39c0f6049309e20e632fd55342f864cd3f561d7fbdcbd70d36660dba44067f5701848ca1d30768a4ccb1b31cce779e05e3aec73305e02356d","name":"image@13.png","type":"image/png","lastModified":1728981038852.623,"size":833071},{"id":"a91bfc29fb1e885203415329c4f2480b8a2377039a22dd204eb5344a15c75f2945474b0593137e5dcd0deeded1484a3091a63c81899e93afd12d96b2e4d67a2d","href":"https://static.observableusercontent.com/files/a91bfc29fb1e885203415329c4f2480b8a2377039a22dd204eb5344a15c75f2945474b0593137e5dcd0deeded1484a3091a63c81899e93afd12d96b2e4d67a2d","name":"image@10.png","type":"image/png","lastModified":1728908148575.259,"size":479918},{"id":"464d591b3aa94f5d8d449e9ece9cb1c8efb7c9cfb9ae7e0d8b9fc5095501a368c652417ed1d8d9e95f31f5c42c3d03d86efdc157c0d09567d37a7a584ce376c4","href":"https://static.observableusercontent.com/files/464d591b3aa94f5d8d449e9ece9cb1c8efb7c9cfb9ae7e0d8b9fc5095501a368c652417ed1d8d9e95f31f5c42c3d03d86efdc157c0d09567d37a7a584ce376c4","name":"image@7.png","type":"image/png","lastModified":1728908148575.259,"size":67410},{"id":"12fe3f6d83615f4ed6ea406a8ac102e4726ba7e2492f89e9a9bc8268efd7ccecc2e8e0f5d0e88285e08a5ece602bd3490e277ee0f250adc7a5da2959d99b5cf8","href":"https://static.observableusercontent.com/files/12fe3f6d83615f4ed6ea406a8ac102e4726ba7e2492f89e9a9bc8268efd7ccecc2e8e0f5d0e88285e08a5ece602bd3490e277ee0f250adc7a5da2959d99b5cf8","name":"image@3.png","type":"image/png","lastModified":1728933402072.232,"size":201968}] 2f:{"title":"La discrétisation \"Head/tail\" valorise mieux les phénomènes hiérarchisés","cells":[{"id":685,"value":"$31","pinned":false,"hidden":false,"mode":"md"},{"id":699,"value":"Voici une première illustration, avec le coût par m² du **loyer mensuel des appartements** par commune et arrondissement en France en 2023.\n","pinned":false,"hidden":false,"mode":"md"},{"id":471,"value":"![image@8.png](${await FileAttachment(\"image@8.png\").url()})
\n[Source : ministère de la Transition écologique](https://www.data.gouv.fr/fr/datasets/carte-des-loyers-indicateurs-de-loyers-dannonce-par-commune-en-2023/)\n\n\n\n","pinned":false,"hidden":false,"mode":"md"},{"id":728,"value":"$32","pinned":false,"hidden":false,"mode":"md"},{"id":720,"value":"$33","pinned":false,"hidden":false,"mode":"md"},{"id":745,"value":"**Voici 3 autres illustrations statistiques et cartographiques de l'intérêt de la méthode Head/tail**, appliquée toujours à des distributions dissymétriques, avec beaucoup de petites valeurs et peu de grandes valeurs. ","pinned":false,"hidden":false,"mode":"md"},{"id":485,"value":"1 - La **densité de population** (2021)","pinned":false,"hidden":false,"mode":"md"},{"id":412,"value":"![image@9.png](${await FileAttachment(\"image@9.png\").url()})
\n[Source : Insee](https://statistiques-locales.insee.fr/#c=indicator&i=pop_depuis_1876.dens&s=2021&t=A01&view=map1)\n\nAvec Head/tail, Paris, puis Lyon, sont distinguées du groupe des autres villes moyennes (Toulouse, Bordeaux, Nantes, Nice, etc.).","pinned":false,"hidden":false,"mode":"md"},{"id":420,"value":"2 - La **médiane du niveau de vie** (2021)\n![image@12.png](${await FileAttachment(\"image@12.png\").url()})
\n[Source : Insee](https://statistiques-locales.insee.fr/#c=indicator&i=filosofi.med&s=2021&t=A01&view=map1)\n\nLa frontière suisse, une partie de la frontière luxembourgeoise, l'ouest de l'Île-de-France et le sud de l'Oise sautent davantage aux yeux, du fait d'un meilleur contraste.","pinned":false,"hidden":false,"mode":"md"},{"id":428,"value":"3 - La **part des diplômés d'un BAC+5 ou plus dans la pop. non scolarisée de 15 ans ou +** (2021)\n![image@13.png](${await FileAttachment(\"image@13.png\").url()})
\n[Source : Insee](https://statistiques-locales.insee.fr/#c=indicator&i=rp.pt_sup5&s=2021&t=A01&view=map1)","pinned":false,"hidden":false,"mode":"md"},{"id":929,"value":"$34","pinned":false,"hidden":false,"mode":"md"},{"id":0,"value":"## Description de l'algorithme Head/Tail\n\nConsidérons par exemple 10 nombres [1, 1/2, 1/3...1/10] (ou [1, 0.5, 0.333...0.1]) qui suivent cette règle de proposer plus de petites valeurs que de grandes.\n\nLa somme de cette série fait 2,93, la moyenne 0,293. 1, 1/2 et 1/3 lui sont supérieurs.\n\nSi l'on divise la série en deux morceaux autour de la moyenne (\"Head\" au-dessus, \"Tail\" en dessous), on obtient donc l'itération 1 de cette figure : \n![image@7.png](${await FileAttachment(\"image@7.png\").url()})
\n[Source : Bin Jiang - A new approach to detecting and designing living structure of urban environments](https://www.researchgate.net/figure/llustration-of-head-tail-breaks-classification-with-a-simple-example-of-the-10-numbers_fig2_353017417)\n\nL'algorithme Head/Tail itère jusqu'à ce que cette division par la moyenne s'arrête, par exemple parce que le dernier \"head\" n'a plus qu'un élément ; ou que le dernier \"head\" a un effectif supérieur à son \"tail\", signe que la division n'est plus pertinente.\n\n","pinned":false,"hidden":false,"mode":"md"},{"id":414,"value":"$35","pinned":false,"hidden":false,"mode":"md"},{"id":82,"value":"## Calcul des seuils en JavaScript ou en SQL avec DuckDB\n\nChargeons tout d'abord les données communales sur les loyers :","pinned":false,"hidden":false,"mode":"md"},{"id":607,"value":"loyers2023 = {\n const conn = await db.connect()\n\n await conn.query(`\n CREATE TABLE if not exists loyers2023 AS \n FROM read_parquet('https://static.data.gouv.fr/resources/jeux-de-donnees-de-formation/20241014-100136/loyers-appart2023.parquet' \n || '?' || now())\n `)\n \n const rs = await conn.query(`FROM loyers2023`) \n \n await conn.close()\n\n return rs.toArray().map(d => d.loypredm2)\n}","pinned":false,"hidden":false,"mode":"ojs"},{"id":846,"value":"Les deux fonctions proposées ci-après produisent bien le même résultat.","pinned":false,"hidden":false,"mode":"md"},{"id":611,"value":"headtail_loyers_js = headtail_js(loyers2023, {nb: 10, threshold: 0.42})\n .map(d => parseFloat(d.toFixed(3)))","pinned":false,"hidden":false,"mode":"ojs"},{"id":614,"value":"headtail_loyers_sql = {\n loyers2023\n macro_sql\n \n const conn = await db.connect()\n\n const rs = await conn.query(`SELECT headtail_discr(loyers2023, loypredm2, threshold := 0.42) breaks`) \n \n await conn.close()\n\n return [...rs.getChild('breaks').get(0)].map(d => parseFloat(d.toFixed(3)))\n}","pinned":false,"hidden":false,"mode":"ojs"},{"id":842,"value":"Voici la version **JavaScript** écrite par Thomas Ansart, une fonction récursive fort élégante (son [notebook](https://observablehq.com/@ateliercartographie/head-tail-breaks) présente aussi une cartographie interactive permettant de jouer avec les méthodes et le nombre de seuils) :","pinned":false,"hidden":false,"mode":"md"},{"id":106,"value":"$36","pinned":true,"hidden":false,"mode":"ojs"},{"id":549,"value":"Dans cette version, le ratio empirique (threshold) de 0.4, établi par Jiang, devient ajustable, comme Jiang le suggère lui-même (jusqu'à 0.5 par exemple). ","pinned":false,"hidden":false,"mode":"md"},{"id":220,"value":"Voici enfin l'algorithme Head/tail sous forme d'une FUNCTION **SQL** récursive avec DuckDB :","pinned":false,"hidden":false,"mode":"md"},{"id":61,"value":"$37","pinned":true,"hidden":false,"mode":"ojs"},{"id":945,"value":"Pour l'anecdote, ma découverte de Head/tail est partie de là, d'un exercice proposé par Thomas Ansart lors d'une formation que je lui dispense sur DuckDB (il me pousse à un haut niveau d'exigence) : et si l'on implémentait cet algorithme en SQL récursif ? Pari tenu !","pinned":false,"hidden":false,"mode":"md"},{"id":903,"value":"$38","pinned":false,"hidden":false,"mode":"md"},{"id":1038,"value":"## Bonus\n\nLa V2 de l'algorithme, proposée par Jiang en 2019, relâchant un peu les contraintes (présentée dans le [notebook de Thomas](https://observablehq.com/@ateliercartographie/head-tail-breaks)), en version SQL.","pinned":false,"hidden":false,"mode":"md"},{"id":1041,"value":"$39","pinned":true,"hidden":false,"mode":"ojs"},{"id":1048,"value":"headtail_loyers_sql_v2 = {\n loyers2023\n macro_sql\n \n const conn = await db.connect()\n\n const rs = await conn.query(`SELECT headtail_discr_v2(loyers2023, loypredm2, threshold := 0.42) breaks`) \n \n await conn.close()\n\n return [...rs.getChild('breaks').get(0)].map(d => parseFloat(d.toFixed(3)))\n}","pinned":true,"hidden":false,"mode":"ojs"},{"id":6,"value":"duckdb = import(\"https://cdn.jsdelivr.net/npm/@duckdb/duckdb-wasm@1.29.0/+esm\") // august 2024 : 258 273 287 1.28.1-dev287.0","pinned":false,"hidden":false,"mode":"ojs"},{"id":8,"value":"db = {\n const bundle = await duckdb.selectBundle(await duckdb.getJsDelivrBundles())\n const logger = new duckdb.ConsoleLogger()\n const worker = await duckdb.createWorker(bundle.mainWorker)\n const db = new duckdb.AsyncDuckDB(logger, worker)\n await db.instantiate(bundle.mainModule, bundle.pthreadWorker)\n \n return db\n}","pinned":false,"hidden":false,"mode":"ojs"}],"files":"$W3a","stdlib":"1","titling":"auto"}