habett – Bug or Feature

Gospelled in MP3 under spotlight

Je fais de la musique depuis longtemps, sous licence creative commons CC(by). Pour obtenir un public plus large, je diffuse gratuitement depuis mon site et j’essaye d’être sur un maximum de services, et pour être suivi, j’ai mis en place une page podcasts toute simple et utilisée.

L’autre jour je suis allé sur Apple Podcasts Connect (https://podcastsconnect.apple.com) pour y constater que les stats ne sont pas disponibles alors que mon serveur vois bien plein de requêtes avec comme user agent « iTMS ». Bref, passons. Je vois en moyenne de 100 à 500 episodes par jour, écoutés au travers du podcast.

Parlant avec des utilisateurs de Spotify, je me dis qu’il doit y avoir un moyen d’être présent là aussi. Spotify est un gros player, ils acceptent les podcasts et j’ai cru comprendre qu’ils diffusaient de la musique. Gros potentiel pour moi.

Je me diffuse moi-même. Je vais sur Spotify for Creators, je crée un compte, j’indique l’URL de mon feed (http://habett.net/tracks.rss) et, alors que tout se passe bien jusqu’au bout, je finis par être inondé de messages « An episode of your podcast has been removed » !!!

En détail, chaque message indique que tel épisode est jugé comme non conforme à leur « content policy »:

Spotify for Creators supports the distribution of audio and video podcasts. Content that appears to be exclusively or primarily music is automatically taken down.

Si je comprends bien, de la musique, des podcasts, mais surtout pas le mélange des deux. Le pain, le beure mais surtout pas la tartine gratuite. J’imagine qu’ils font cela pour forcer les créateurs à passer par un organisme de gestion et/ou se blinder sur les questions de droits d’auteur en se déchargeant sur des opérateurs tiers. Techniquement, je ne vois aucune explication. Bref, cela ne vas pas avec les tout petits diffuseurs autonomes.

🤔 Sprite ou Vecteur

Interfaces graphiques oldschool (90s), GUI tout en sprites/bitmaps. Simple, efficace, binaire. Ensuite les vecteurs sont apparus à droite à gauche, essentiellement pour le texte typographique. Sur mon Acorn, on pouvait activer un mode antialiasing pour le texte et les résultats étaient non seulement magnifiques, mais aussi gracieux en très grandes tailles. A l’époque, les images en format vectoriel étaient très appréciées car réutilisables, souples et légères.

Quand le NeXT est apparu, le truc qui m’avait le plus impressioné, en plus de son boîtier cubique noir et de sa gestion du multitâche, était son mode d’affichage. Le mobilier des fenêtres, et surtout les icônes, sublimes, étaient en vectoriel (display postscript). Bref, un format issu du monde de l’impression, appliqué à une lignée (imaginée) de systèmes d’exploitation pour s’accommoder d’un futur dans lequel nous sommes arrivés.

Si plus personne ne discute réellement le fait que la typographie numérique soit basée sur des vecteurs, le reste de l’environnement est resté bitmap dans des proportions totalitaires. A l’époque où l’on est capable de faire du ray-tracing en temp réel, on reste bloqué avec des images non vectorielles. Si on regarde dans Xcode, il est demandé de fournir des logos et images en plusieurs définitions là ou un seul fichier vectoriel pourrait suffire. Ce futur est bien décevant.

Si je prend Pages.app, le mini traitement de texte sur Mac, on peut monter la taille des caractères très haut, 1000pt. A cette taille, le tracé (issu de vecteurs) reste parfaitement harmonieux.

✘

Mon problème du jour, est exprimé par l’implémentation des emojis. Prenez un emoji et affichez-le dans une très grande taille, vous verrez surgir un infect mélange de pixel et de flou. Dès 256pt, la perte de qualité est gênante. Les émojis ne sont des caractères que fonctionnellement. Quel héritage triste Apple a-t-il hérité de NeXT ? LibreOffice sous Linux présente ce même problème, MSWord aussi j’imagine.

Ou aurait pu avoir des Emojis vectoriels, techniquement tout était prêt. Mais non, on a droit, puisque c’est en partie le problème à mon avis, à un mélange idiot. Imaginer un monde en vectoriel, adapté du jour au lendemain aux affichages sub-pixels intégré. Imaginez ce monde. La formalisation unicode est sans doute une très grande occasion manquée, emojis et autres aussi.

🤔

Chaque plateforme a son emojiset et la complexification du développement de cet eco-système est telle que c’est perdu. A l’époque des écrans 4K et plus, on en reste là. On fait transiter de gros fichiers plein de pixels inutiles et d’une qualité discutable. Zut pour les SVG/XML ? Fuck pour les PDFs sans graphiques bitmap/photos inclus ? Un fichier vectoriel peut encapsuler des bitmaps si vraiment il y a besoin mais la réciproque n’est pas vraie.

Peut-être que nous sommes dans un autre type de monde ? pixels/vecteurs/fractales ? Je ne sais pas. En attendant, on fait du ravaudage et on perds du temps.

Je voulais conclure sur l’ascii-art et Figlet, les logiciels de vectorisation, les IA qui génèrent des photos alors qu’elles figurent des vecteurs, mais il est trop tard. Trop tard. Désolé.

Hankode

J’ai longtemps trainé autour d’une solution, passant par des modules hasardeux et des manoeuvres try {} et aujourd’hui j’en arrive à ce point pour négocier les encodages variés, car même si l’UTF-8 est maintenant dominant, le notepad.exe n’enregistre toujours pas par défaut ainsi.

C’est presque un haïku:

open(T,'<','Any.txt') or die($!); binmode(T); $l = <T>; close(T); if(length($l) == length(decode('utf-8',$l))) { $l = encode('utf-8',$l); } print $l;

Le binmode ne sert à rien mais c’est pour montrer l’intention.

Enfin, avec HTML::Entities

$l = encode('utf-8',decode_entities(decode('utf-8',$l)));

My Ranker

J’adore SolR mais certaines choses sont plus compliquées à faire. Je voulais me faire un algorithme de ranking personnel basé sur la pertinence (de base) et sur une valeur numérique (karma ou date par exemple), ainsi que donner plus d’importance à certains champs. Ainsi, sur mon SolrR 8, cela se formule comme ça (je ne mets ici que les paramètres différents d’une utilisation) :

defType=edismax

&q=remix test

&sort=product($qq,karma)+desc

&qq={!edismax v="remix test" qf="title^20 description^2 author^10 "}

J’aurais aimé mettre dans qq, v=$q au lieu de répéter la requête mais j’ai l’impression que ce n’est pas valable. En tout cas mon ranking est alors bien meilleur.

Enfin, pour ce qui est mettre un bonus aux documents les plus récents, toujours en edismax, j’ajoute: &bf=sqrt(sqrt(ms(dated))). Il est pertinent d’ajuster la fonction ms avec une origine temporelle du décompte: ms(mydatefield, 2000-01-01T00:00:00Z)

Who’s in here ?

Je suis pas parano mais j’aime bien surveiller un peu ce qui se passe à l’intérieur de mon Ubuntu Desktop perso. J’ai donc mis dans mon .bashrc

if [ $(who | wc -l) -gt 1 ]; then notify-send -t 3000 "Someone else logged in as me" fi

Simple et pratique. J’aurais pu faire un grep pour filtrer les connexions externes uniquement mais j’aime bien comme ça. Avant je mettais directement notify-send mais cela perturbait l’Ubuntu car le .bashrc était lu avant la session graphique. Je mets aussi dans mon conky.conf une ligne pour surveiller aussi:

${font Lato:light:size=22}Who =$color ${user_number}locals ${font}

On s’amuse comme on peut.

No Return (mails)

Je gère pour un site des envois d’e-mails personnalisés en masse. J’envoyais mais, au bout d’un certain temps, j’en ai eu mare de recevoir, par exemple, les messages d’absence en retour.

Au final, j’ai ajouté à ces messages des headers qui font le job, globalement car certains serveurs me résistent de par leur implémentation.

'X-Auto-Response-Suppress:' => 'OOF, DR, RN, NRN, AutoReply' 'Auto-Submitted:' => 'auto-generated'

C’est assez élégant et fonctionnel.

Deep structure JSON

J’aime bien le JSON mais je dois avouer que quand il s’agit de traiter des structures plus profondes (au delà des tables et des listes, et surtout les cas où la profondeur est variable (exemple: JORF), je suis assez démuni alors que je n’ai pas du tout ce problème avec du XML où il est facile de naviguer entre enfants et parents, etc.

J’avais fais des essais avec JSON::XPath et autres mais la syntaxe me dépasse car j’y vois des tonnes de confusions avec le XPath du XML (notamment à propos de la notion de. parent). Plutôt que de me prendre la tête , je me suis mis à chercher un convertisseur JSON vers XML.

Trouvé ici : https://stackoverflow.com/questions/17398601/how-to-create-xml-from-json-string-in-perl

use JSON::Any;
use XML::Simple;

my $convertor = JSON::Any->new();
my $data = $convertor->decode($json);
my $xml = XMLout($data);

J’adore!

I’m a (script driven) robot

Vous l’avez sans doute compris, j’aime beaucoup le scraping. Pour des cas compliqués, l’émulation d’un véritable browser devient de plus difficile. Certaines protections vont tellement loin dans construction des requêtes successives pour obtenir un résultat que cela devient pénible et aussi instable.

Je suis donc parti, pour ces cas, dans l’approche Selenium, c’est à dire un véritable navigateur sans tête piloté par script.

Au final je suis parti parti la sous-branche qui procède à cette construction en utilisant google-chrome (c’est fallacieux et amusant à la fois, sachant que je n’utilise jamais ce navigateur).

Il y a des exemples dans beaucoup de langages, mais finalement assez peu sur les bindings en perl.

Grâce à cet article, https://www.perl.com/article/spidering-websites-with-headless-chrome-and-selenium/ la lumière m’est apparue et j’ai gagné beaucoup. It’s more fun to compute en perl. https://en.perlzemi.com/blog/20211119124656.html est aussi très sympa.

J’ai suivi sa procédure, avec quelques adaptations pour mon Ubuntu server. J’ai pris une version plus récente du chrome driver, installation chrome et module Selenium::Remote::Driver sans problèmes. J’avais sur mon système une version de java (pour mon solr) pas compatible semble t’il avec le serveur selenium standalone. J’ai donc mis un openjdk 11 et tout s’est bien emboité.

C’est assez tranquille mais j’ai pas mal erré pour ce qui est de cacher le caractère headless de mon chrome en écrasant la chaîne user-agent d’origine car sinon c’est pas du jeu. Pour une chaîne user-agent dans une variable $ua, je me retrouve avec le constructeur suivant, avec un peu de random en plus dans la taille de la fenêtre virtuelle:

$sx = sprintf("%d",1600 + ((rand() - rand()) * 303 )); $sy = sprintf("%d",900 + ((rand() - rand()) * 256 )); my $driver; eval { $driver = Selenium::Remote::Driver->new( browser_name => $ua, extra_capabilities => { chromeSwitches => [ "--user-agent= '$ua'" ], chromeOptions => { args => [ 'window-size='.$sx.','.$sy, 'headless', 'user-agent='.$ua, ], }, }, ); };

A partir de là, j’ai pu réellement jouer. Le driver Selenium permet pas mal de choses, mais, pour le moment, je récupère surtout la source de la page que je passe ensuite à une XML::LibXML comme à mes habitudes des dernières années. Il est possible de jouer avec des XPaths, des screenshots, des evals de javascript donc plein de choses très amusantes en perspective. Cela permet notamment d’obtenir le DOM interprété plutôt que la source de la page $driver->execute_script("return document.documentElement.outerHTML");

Ne pas oublier à la fin de faire un $driver->quit() pour libérer de la mémoire

Firefox // Manifest V3 //

Compliqués rapports entre firefox et le ManifestV3. Maintenant que le support est là (v109) et même dans les versions ESR, il restait pour moi le problème lié au permissions d’accéder à tous les sites. Dans le Manifest.json, cela ne suffit pas:

"host_permissions": ["<all_urls>"],

Grosse prise de tête donc je mets ici le résultat de mes explorations:

Mettre dans le popup un bandeau pour avoir un point d’entrée, par exemple:
<center id="perm" style="color: yellow; background: #840; clear: both; font-weight: 404; padding: .5em; margin,: .5em; cursor: pointer;">Finaliser</center>
Dans le javascript du popup, mettre ce bout de code dans handler de l’event DOMContentLoaded avec pour objectif de cacher le bandeau défini précédemment si les permissions d’hôte sont bonnes, et sinon de les obtenir grâce à un clic sur le bandeau (action de l’utilisateur nécessaire):
chrome.permissions.contains({ origins: ['<all_urls>'] }, (result) => { if (result) { document.getElementById('perm').style.display = 'none'; } else { document.getElementById('perm').addEventListener('click',function() { chrome.permissions.request({ origins: ['<all_urls>'] }, (granted) => { if(!granted) { browser.permissions.request({ origins: ['<all_urls>'] }); } }); }); } });
Fonctionne aujourd’hui avec Firefox 119. Transparent pour browser moins regardants, type Chromium/Chrome.

Cheers

robots.txt

Historiquement, un fichier texte posé à la racine d’un serveur Web, nommé robots.txt, est une pseudo norme supposée déclarer le comportement toléré de la part des agents logiciels le visitant.

Grand amateur de scraping, je connais cette norme mais elle ne m’est d’utilité que pour refuser à mes intermédiaires certaines taches. Au fond je ne les respecte pas. Je suis même surpris que cette idée perdure. A vrai dire, je n’ai jamais participé à un site sur lequel ce serait une préoccupation.

L’idée est de lister les URLs autorisées/interdites. Le format de ce fichier fait même en sorte qu’il soit possible de décrire des politiques différentes robot part robot (agent par agent).

Imaginons un site public (administration d’Etat). Accepterions nous ouvertement qu’il procède à des distinctions agent par agent ? Discriminations non acceptables. Notons que j’ai vu un paquet de sites répondant à de tels critère mettre en place des restrictions type captcha sur des fichiers type robots.txt ou même des flux RSS !

Derrière chaque robot/agent il y a une personne/structure. Cela en ferait un sous-citoyen ? On ne scrape pas pour assouvir un désir malsain d’accrétion. On le fait globalement pour des traitements postérieurs que l’on aurait autrement fait sur des jeux de données, sous réserve qu’ils soient d’accès intelligibles et techniquement raisonnables. Surtout sur des sites étatiques.

Je fais ce focus sur des sites publics car ils sont plus loin de ces parties du web où la monétisation par la publicité s’impose (?!?), et car ils sont redevables aux citoyens dont ils relèvent.

Ce n’est pas un plaidoyer contre les distinctions droïds/humains, ni browser/agents. La distinction logiciels/agents est de plus en plus complexe. Un proxy vaut il un script à fin d’accessibilité, un curl pour archivage ?

Un dernier mot sur la tendance actuelle qui est de passer de jeux de données à des API publiques. Je n’ai pas de religion sur ce point mais au final j’aime que les cohabitent et que cela n’exclue pas le scraping.

Resistance is futile.