Je suis tombé hier sur le post suivant :

http://www.phoboslab.org/log/2010/05/9-years-of-sleep

J'ai trouvé l'idée surpuissante, malheureusement, d'une part il n'a pas rendu public son code, et d'autre part, de toute façon, il opère sur des logs mIRC, moi même utilisant irssi.

C'est pourquoi je me suis mis en tête de réaliser un programme ayant pour but de générer un graph similaire, à partir de mes sept ans de logs.
Et ça donne ça :

Mon irssi étant lancé en permanence, plutôt que de regarder les ouvertures/fermetures de session, je tente de deviner les moments où je suis actif sur IRC (donc où j'écris), avec un idle time de deux heures.

Ayant plus de 500Mo de logs, j'ai écris le programme en C, avec la possibilité de lancer des jobs simultanément, ce qui au final s'est révélé peut-être overkill, puisque sur ma machine cela s'exécute en moins de dix secondes.

Ne trouvant rien de satisfaisant pour faire des graphes comme celui-ci, je dessine moi-même l'image avec Imlib2 (qui a une documentation et une API bien moisie, au passage).

Ainsi, contrairement à mon con mais néanmoins frère cité au début, je mets à disposition les sources, que vous pourrez trouver sur le dépôt git :

$ git clone git://git.symlink.me/pub/romain/irssleep.git

Lire README pour savoir comment compiler et exécuter.

À titre d'information, pour ma part je lance la commande suivante :

$ ./irssleep -j 5\
             -n romain\
             -e 1/5/2003,1/8/2006,School\
             -e 1/2/2005,Black-hole\
             -e "10/12/2006,Irssi at home"\
             -e 1/10/2006,31/6/2008,Bordeaux\
             -e 10/7/2008/,27/08/2009,INL\
             -e 15/12/2008,Katin\
             -e 1/12/2009,1/1/2011,Proformatique\
             irclogs/**/*

Le web, c'est le mal. Et pourtant, on est contraint de vivre avec lui au quotidien, puisqu'il semble que le Cloud Computing est la voie de l'avenir.

Mes amis, allons nous rester les bras ballants, à devoir supporter l'utilisation de navigateurs tous plus lourds les uns que les autres, ne s'intégrant pas dans notre environnement de bureau ? Mais pire encore, qui nous font perdre notre liberté. La liberté de choisir les applications que l'on souhaite, le traitement de nos données par des logiciels tiers, la liberté de bénéficier de l'ergonomie qui nous arrange ?

Heureusement, ces contraintes sont peut-être bientôt révolues. Je tiens en effet à vous présenter weboob.

Projet complémentaire à Minbif, qui permet d'utiliser son client IRC favori pour accéder aux réseaux de messagerie instantanée, qui sort ce lundi 5 avril en version 1.0.2, et au sujet duquel une conférence se déroulera aux RMLL 2010, weboob (WEB Out Of Browsers) se veut un espoir pour tous les révoltés qui ne supportent plus d'être à la merci des ”webmaster”.

Weboob est un projet qui a pour but de réunir un nombre important de modules maintenus pour divers sites web, offrant une interface logique avec eux. Chaque module implémente des capabilities, décrivant les services offerts.

À partir de là, des applications utilisateurs sont réalisées, reposant sur des modules implémentant telle ou telle capability, et permettant une interaction riche avec les sites web.

La particularité est que la couche d'abstraction offerte par weboob permet aux applications de ne pas se soucier des modules qui sont chargés. L'utilisateur rempli une première fois une configuration en sélectionnant les sites web qu'il souhaite voir utilisé, et avec quelle configuration. Puis après, quelque soit l'application utilisée, il n'aura plus à se soucier des sites qui sont derrière les opérations qu'il effectue.

Afin de mieux montrer le potentiel de weboob, voici quelques cas d'utilisation concrets :

Monboob

Cette application est en fait un démon. Il se repose sur les modules qui implémentent les capabilities ICapMessages et dérivés. Pour le moment seul le module DLFP (linuxfr.org) est implémenté, mais pourront voir le jour non seulement des modules pour Slashdot, Reddit, ou autres sites de news, mais également des moteurs de forum.

L'idée est d'une part d'envoyer par mail non seulement les articles, mais aussi les commentaires associés. Et d'autre part, lorsqu'on répond à ce mail avec son client préféré, de poster cette réponse.

Voici ce que ça donne :

Increase de sa productivity : maximum.

travel

Cette application en console utilise les modules implémentant ICapTravel et dérivés. Les sites supportés pour le moment sont CanalTP (pour les horaires de TGV/Corail/TER), et transilien.fr (pour les horaires de transilien, RER, bus, sur Paris).

On peut faire une recherche sur les gares :

$ travel stations defense
.--------------------------------.---------------------------------------------.
| ID                             | Name                                        |
+--------------------------------+---------------------------------------------+
| LDU                            | LA DEFENSE GARE SNCF                        |
| GAW                            | LA DEFENSE RER A                            |
| OCE87382218                    | gare de La Défense (92800)                  |
+--------------------------------'---------------------------------------------+
|   3 stations listed                                                          |
'------------------------------------------------------------------------------'

Et à partir de là, récupérer les horaires d'une gare donnée :

$ travel departures GAW
.-----.-----------.-------.-----------------------.-------.--------------------.
| ID  | Type      | Time  | Arrival               | Late  | Info               |
+-----+-----------+-------+-----------------------+-------+--------------------+
|   0 | QTIE      | 09:30 | MARNE LA VALLEE CHESSY|       | Voie 1             |
|   1 | UBOS      | 09:32 | CERGY LE HAUT         |       | Voie 2             |
|   2 | OKEY      | 09:33 | TORCY MARNE LA VALLEE |       | Voie 1             |
|   3 | TEDY      | 09:37 | POISSY                |       | Voie 2             |
|   4 | QTIE      | 09:40 | MARNE LA VALLEE CHESSY|       | Voie 1             |
|   5 | UBOS      | 09:41 | CERGY LE HAUT         |       | Voie 2             |
+-----'-----------'-------'-----------------------'-------'--------------------+
|   6 departures listed                                                        |
'------------------------------------------------------------------------------'

On peut constater que l'intégration entre les deux backends est faite de façon plus ou moins transparente. En effet, ainsi que l'on voit dans la liste des gares, les identifiants courts sont issus de transilien.fr, et les identifiants longs de CanalTP. Ainsi, pour récupérer les horaires de TGV, on préfèrera utiliser un ID long. Une amélioration au niveau de la présentation est à faire.

Il est à noter qu'un frontend similaire graphique est en préparation pour Nokia N900.

Un autre aspect de cette application serait de permettre la réservation de billets de TGV en ligne, en se reposant sur le site web dont la notoriété n'est malheureusement plus à faire, voyage-sncf.

boobank

Application toujours en console, changeant les modules implémentant la capability ICapBank, et permet de récupérer des informations de site bancaire. L'avantage de weboob est que si vous possédez des comptes dans plusieurs banques, vous pourrez afficher vos comptes de manière unifiée.

Pour le moment, seul le module bnporc, issus du projet éponyme que j'avais implémenté il y a un an de cela, est implémenté.

On peut ainsi récupérer la liste de ses comptes :

$ boobank list
               ID   Account                    Balance        Coming
+-----------------+---------------------+--------------+-------------+
  1255000XXXXXXXX   Compte de chèques          -314.13      -1110.36
  1255000XXXXXXXX   Livret Jeune                 74.17          0.00

Et également obtenir un détail des opérations à venir :

$ boobank coming 1255000XXXXXXXX
      Date   Label                                                     Amount
+----------+----------------------------------------------------+-------------+
  20100503   FACTURE CARTE DU 310310 SNC HAUDRECHY 92 PUTEA        -28.70
  20100503   FACTURE CARTE DU 310310 LA DIVA 92 PUTEAUX CAR        -30.50
  20100503   FACTURE CARTE DU 310310 TAVERNE OLYMPIA 75 PAR        -26.80
  20100503   FACTURE CARTE DU 260310 SNC HAUDRECHY 92 PUTEA        -27.50

On peut imaginer réaliser des graphes à partir de ces données, les stocker au fur et à mesure pour voir l'évolution des comptes, et même pourquoi pas imaginer un démon qui mettrait à jour régulièrement et enverrait des alertes en cas de mouvements inhabituels.

Conclusion

On se rend compte que la séparation entre les backends (les modules accédant aux sites web) et les frontends (les applications faisant appel à ces modules par l'intermédiaire de weboob), et la couche d'abstraction que représente weboob entre les deux, permet de concentrer les efforts, d'une part sur la simple boobisation des sites web, de par les outils que fournis weboob, et d'autre part sur le traitement de ces données. Ainsi, un même set de backends peut être utilisé par des applications différentes, graphiques ou non.

Il n'y a pour l'instant que quelques modules, et des applications certes fonctionnelles mais assez pauvres en traitement des données. Mais il y a là une formidable opportunité d'améliorer considérablement cela et de permettre de retirer de plus en plus le web pour les besoins quotidiens.

Minbif est déjà une passerelle IRC vers réseaux de messageries instantanées stable et largement utilisable.

Néanmoins, afin de mieux satisfaire les attentes des utilisateurs, une réunion Roadmap 2010 va être organisée, afin de parler des objectifs de cette nouvelle année, les futures fonctionnalités que vous souhaiteriez voir dans Minbif, comment innover, mais aussi comment gagner en popularité, quel type de marketing on pourrait faire autour de Minbif, etc.

Minbif vivant grâce à sa communauté, tout le monde peut se joindre à nous pour cet évènement :

Où:    #minbif-roadmap sur Freenode.
Quand: on Thursday 4th March 2010
De:    21:00 CET
À:     23:00 CET
De:    01:00 CET
À:     03:00 CET

Vous pourrez nous aider à rendre Minbif meilleur !

Ainsi que vous le savez si vous êtes in et que vous suivez l'actualité du moment, Facebook a récemment mis à disposition un serveur XMPP afin de dialoguer avec vos contacts par le biais de votre client Jabber préféré.

Minbif n'échappe pas à la règle, puisque le plugin Jabber de libpurple est parfaitement fonctionnel (mieux que chez les autres).

Cependant, ainsi que le fait remarquer pankkake dans une news du projet Minbif, l'encryption est désactivée des serveurs de Facebook. Ainsi, si vous souhaitez utiliser votre compte Facebook avec Minbif, vous devez paramétrer ce dernier correctement :

/map add jabber USERNAME@chat.facebook.com PASSWORD &fb -!require_tls

Il est à noter que vous allez devoir renommer tous vos contacts tant bien que mal, puisque Facebook n'a pas pris la peine de leur attribuer une adresse jabber correcte, et que vous verrez apparaître dans votre Buddy List des identifiants tout à fait disgracieux. Mais quand on est inscrit sur Facebook, on n'est plus à ça près.

MAJ: Quelqu'un sur #minbif a écrit un script pour irssi qui automatise le renommage. Vous le trouverez dans le dépôt git public de Minbif.

Il y a quelques semaines, j'ai eu le plaisir d'apprendre que Minbif était présent dans le GNU/Linux Magasine France Hors Série n°46, au sein d'un article intitulé “Toutes vos messageries instantanées dans votre client IRC : Irssi et Minbif”.

Ni une ni deux, je décide d'aller acheter ce numéro. Malheureusement pour moi, ce jour là était un dimanche. J'ai donc tenté de trouver un marchand de journaux ouvert. Ce fut une épreuve difficile, qui m'obligea à parcourir à pieds du Kremlin Bicêtre à Tolbiac, puis tout Châtelet, sans succès. Je suis alors allé aux Quatre Temps à la Défense, où j'ai découvert que le dimanche, la quasi totalité des magasins étaient ouverts, tous plus utiles les uns que les autres (marchands de montres, de bijoux, de fringues, etc.), sauf — évidement — le marchand de journaux qui était fermé.

Je dû donc attendre le lendemain pour trouver en kiosque ce magasine, qui coûte tout le même la modique somme de 6,50€, et je peux dire que je regrette d'avoir dépensé autant d'énergie pour le trouver.

En effet, cet article se voulait être une sorte de tutoriel destiné à expliquer comment installer et configurer Minbif. Pourquoi pas. Le problème tout d'abord est qu'il rentre dans le sujet sans même expliquer vraiment les concepts et la philosophie de Minbif. Il ne parle pas non plus de BitlBee, de l'historique, etc. Je trouve ça déjà dommage, parce que si c'est juste une sorte de “Quick Start”, le site de Minbif regorge déjà d'une documentation relativement dense et complète.

Ensuite, ce qui est franchement regrettable, c'est qu'il donne information que de fonctionnalités de base (ajouter un compte, discuter avec ses contacts) ou mineures et évidentes (mettez vous absent), sans parler des véritables atouts de Minbif (gestion des transferts de fichiers, de la webcam, etc.).

Enfin, l'auteur a eu l'air de trouver utile d'écrire une section sur comment “Automatiser les connexions”. Outre le fait que je la trouve spécialement longue pour décrire un aspect de configuration pas très utile, la solution qu'il a apporté pour résoudre ce faux problème, est particulièrement crade (rajouter un autosendcmd = "/connect localhost 6667 passwd"; sur l'ircnet Debian).

Pour conclure, je dirais que j'ai non seulement été déçu par cet article, mais aussi par la totalité de ce Hors Série. Je trouve que la majeur partie des articles n'apportent rien de nouveau sur des sujets qui ont été traités à maintes reprises, même au sein de GLMF.
Ceci s'explique peut-être par le fait d'avoir choisi comme auteur principal pour ce Hors Série un individu qui semble aussi peu destiné à la voie rédactionnelle qu'à celle du développement.

La communication est une nécessité dans notre société moderne, dont personne ne peut se passer, sous peine de se voir coupé du monde et d'être réduit à l'état d'ermite. La webcam joue un rôle important dans ce besoin d'échanges par Internet, permettant d'atteindre les interactions les plus folles.

Mais qu'en est-il pour le geek qui reste cantonné à son bon vieux terminal, se restreignant à IRC, ou tout au plus profitant d'outils dépassés tels que BitlBee pour accéder aux messageries instantanées, sans avoir même la possibilité d'échanger de fichiers, contraint de se passer de toute autre forme d'échanges que celui du texte ? N'a-t-il pas le droit lui aussi de bénéficier des cam hots après avoir récupéré une proie facile et dépravée sur messagerie instantanée depuis le site de rencontre Adopte un mec ?

Heureusement pour lui, les laboratoires Symlink Me apportent la solution !

MinBif, cette passerelle IRC libre vers plus d'une quinzaine de réseaux de messageries instantanées, déjà évoquée ici, et qui est parue la semaine dernière en version 1.0beta, propose maintenant, outre le support des transferts de fichiers dans les deux sens, la CACAcam.

Cette fonctionnalité permet de réceptionner, sur les réseaux de messageries instantanées supportés*, le flux de la webcam de son correspondant, et de l'afficher en ASCII Art dans son client IRC favori.

Comment cela marche-t-il ? Une fois accepté la proposition de session webcam, vous vous verrez proposé par le serveur un DCC CHAT. Celui-ci établi, vous recevrez les frames dans la fenêtre correspondante. Associé à un plugin irssi, vous verrez, dans la fenêtre de discussion de votre contact, une zone sur le coin supérieur droit contenant l'affichage de la vidéo.

Un exemple parlant davantage, voici, cachée derrière cette capture d'écran, une vidéo montrant le système en œuvre :

Vidéo sous format OGV

MinBif 1.0beta2 devrait paraître très rapidement afin de proposer cette évolution majeure. Retrouvez ici les informations complémentaires sur la CACAcam.

* Dans la limite des réseaux de messageries instantanées dont libpurple supporte le flux vidéo.

Transferts de fichiers

Fonctionnalité tant attendue des grands mais aussi des petits, c'est le transfert de fichiers.

Absente de BitlBee, réclamée de tous, primordiale dans les rapports sociaux sur messagerie instantanée, MinBif l'a faite !

Le fonctionnement est simple. En réception, lorsque vous acceptez de réceptionner le fichier, le téléchargement débute entre IM->MinBif en background. Dans le même temps, MinBif vous propose un DCC, et le transfert MinBif->IRC User se fait en parallèle.

Pour l'envoie, ce serait pareil, sauf que ce serait exactement le contraire. L'utilisateur enverrait le fichier par DCC à MinBif, qui lui lancerait le transfert vers IM.

Pour le moment, seule la partie réception est implémentée, et la partie d'envoi devrait être faite sous peu.

Webcam

Aujourd'hui est parue libpurple 2.6. Dans le ChangeLog apparaît un point vraiment très intéressant :

libpurple support maintenant la voix et la vidéo !

C'est une très bonne nouvelle pour MinBif, car ce sera l'occasion d'implémenter la CACAcam.

Une autre idée plus user friendly et usefull m'est venue ce matin, ce serait d'ouvrir un flux DCC CHAT entre MinBif et l'utilisateur, dans lequel on ferait transiter les frames de la vidéo, et d'avoir un script irssi qui l'affiche dans une fenêtre. Et si irssi est lancé sur un serveur, encore rajouter une couche pour que les données arrivent jusqu'à votre machine :)

Ça, j'aime ! Le commit de Matthew Barnes, un employé Redhat, sur Evolution, m'a bien fait rire :

2009-04-12  Matthew Barnes  <mbarnes@redhat.com>

       ** Remove a bunch of juvenile comments.  Source code should
          look professional, even if some developers are not.

La première chose que je constate, c'est que je ne suis pas le seul à avoir du mal avec la glib, lorsque l'on voit des structures comme _glib_sux_donkeys, et des fonctions comme g_lib_sux_htor, g_lib_sux_htand, ou des commentaires qui veulent tout dire comme /* fucking glib... */. Je dois avouer que la fonction courier_imap_is_a_piece_of_shit est assez sympa aussi, tout comme ce commentaire qui finalement veut tout dire :

/* FIXME: please god, when will the hurting stop? Thus function is so
   fucking broken it's not even funny. */

Je préfère donc avoir recours à un MUA sérieux dont les développeurs ont davantage de respect pour le code que pour leurs utilisateurs :

rom1@nasiguv ~/mutt-1.5.17 $ grep -i fuck *
rom1@nasiguv ~/mutt-1.5.17 $ grep -i shit *
rom1@nasiguv ~/mutt-1.5.17 $ grep -i crap * -A 1
init.c:/* initial string that starts completion. No telling how much crap
init.c- * the user has typed so far. Allocate LONG_STRING just to be sure! */
rom1@nasiguv ~/mutt-1.5.17 $

Ceux qui maintenant savent comment sortir son python pour draguer seront peut-être intéressé d'apprendre que j'ai réitéré l'expérience avec le site de la BNP Paribas.

En effet, las d'avoir à passer par Firefox pour aller sur un site lent et mal codé afin de savoir si je peux encore me permettre de sortir me bourrer la gueule, j'ai repris l'idée que j'avais eu pour AuM, et ai profité de mon arrêt maladie d'aujourd'hui pour écrire un petit programme dont le but est d'avoir une commande à lancer pour récupérer dans son terminal l'état de ses comptes :

$ ./bnporc.py -l 30141xxxxx list
Password:
  Compte                       Solde       À venir
+---------------------+--------------+-------------+
  Compte de chèques         xxx65.12       -160.18
  Livret Jeune              xxx71.86          0.00
  Prêt personnel            xxx46.39          0.00

Les 'x' sont placés à postériori dans l'unique but de maintenir ma vie privée.

Identification graphique

La particularité de ce site, c'est que pour s'identifier, il est nécessaire d'entrer son identifiant dans un champ texte, mais l'insertion de son mot de passe se fait graphiquement :

L'image est générée pour positionner les chiffres à des emplacements aléatoires. Lorsque l'utilisateur clique sur une partie de l'image, le navigateur va rajouter dans un champ caché la position de la case cochée. C'est le serveur qui a stocké l'équivalence et qui va être en mesure de vérifier la validité.

Ainsi que l'on peut le voir, la grille est assez triviale à analyser. BNPorc va donc se contenter de parcourir l'image avec des sauts hardcodés et vérifiera la couleur du pixel en haut à gauche de chaque case pour tout d'abord savoir si la case contient ou pas un chiffre (puisque les chiffres ont un fond gris). Il ajoute alors le contenu de la case dans un buffer, hash le tout et compare avec les valeurs enregistrées pour retrouver le chiffre auquel la case correspond.
Il est alors aisé, à partir du mot de passe numérique entrée au clavier par l'utilisateur de BNPorc, de retrouver les identifiants des cases à transférer au serveur.

Code HTML pourri

Une autre difficulté que j'ai rencontré, c'est la présence de code de merde. On trouve par exemple ceci :

<SCRIPT language=javascript>
if (navigator.appName != "Microsoft Internet Explorer") {
    document.write('<INPUT size="10" '); }
else {
    document.write('<INPUT size="10" ');
}
</SCRIPT>
maxlength="10" value="" name="ch1" type="text"&gt;

Allez savoir l'intérêt d'une telle manipulation, le problème que ça m'a posé c'est que, du coup, mechanize ne trouvait pas cette entrée là. Heureusement, après avoir cherché dans les tréfonds de la lib, ainsi que de ClientForm, il a été possible de rajouter à la main le champ.

BNP's Original Reporter Client

Ce petit outil est donc pour le moment limité au listing des comptes avec leur solde, mais il sera aisé de rajouter diverses informations, comme la liste de toutes les opérations à venir (notamment en ce qui concerne les achats effectués par carte bancaire).

Je pense qu'un tel outil apporte vraiment quelque chose, par exemple, on pourrait faire un indicateur dans la statusbar afin d'avoir le montant du compte, faire des stats sur ses achats (voir avec des regexp où part l'argent), rajouter un système d'alertes, etc.
L'inconvénient, par contre, c'est que je n'ai plus d'excuses pour faire attention à ne pas être à découvert.

Le code source peut être récupéré par git :

$ git clone git://git.symlink.me/pub/romain/bnporc.git

Une information intéressante, que je n'ai pas vu beaucoup relevée sur Internet, m'a été dévoilée par le Canard Enchainé de cette semaine.

On peut lire ici ou là que la CNIL s'est « réveillée »¹ après le vote de la loi dite HADŒPI à l'assemblée puis au sénat, pour s'indigner de certains points et s'affirmer résolument contre.
Or, ce qui n'est que rarement dit, c'est que malgré la position de la CNIL, son président, Alex Türk, qui accumule le poste de sénateur, a voté en faveur du texte le 13 mai.

On en tire les conclusions que l'on veut…

Notes :
1. pour être exact, due à une fuite, le gouvernement ayant bâillonné la CNIL.