Galatee is my Java library for visualizing image collection, and Jmagine is my other Java library for displaying images with annotated polygons using the SVG specification and Apache Batik.
Using this two libraries it's easy to code a quick browser for a specific image collection with a specific annotation file format and annotation model.
In the case of PascalVOC, since the challenge of 2007 the annotation files are XML files, so with the help of an XSD grammar related to the XML files and using JAXB it's easy to retrieve all the data contained in the annotation files that we want. Considering this, using the Galatee and Jmagine libraries, browse and visualize the PascalVOC data need less than 300 lines of codes!
Obviously the browser takes much time for starting (the time for JAXB to parse all the annotation files that are XML files), but using a serialization of the inputs needed by the Galatee library, this time is needed only at the first launch of the program.
The archive of the project: PascalVOC-0.2-2010.07.01.tar.gz (18.9 MB, it's heavy but the archive includes the Galatee, Jmagine, Apache Batik, Lucene and JAI libraries).
The archive contains java code and classes, a shell script PascalVOC.sh for GNU/Linux and a batch file PascalVOC.bat for MS-Windows.
NOTE: How to make the XML binding generated by JAXB serializable?
add xmlns:jaxb="http://java.sun.com/xml/ns/jaxb" jaxb:version="2.0" to the namespaces declaration of the XSD schema element
TinEye, de la société Canadienne Idée Inc., est un moteur de recherche inversée d'image, i.e. l'interface de requêtage est de type QBE, Query By Example (i.e. la requête est une image exemple), la page de résultats retournée par TinEye est une liste d'URL, i.e. des pointeurs sur des images qui sont des near duplicates de l'image donnée en requête.
Les points important sont:
c'est une recherche de "near duplicate"
c'est à l'échelle du web!! 1,121,525,514 images indexées d'après la faq du site (à la date de rédaction de ce billet 2009.10.02).
Petit exemple pris sur le vif: dans un tutoriel du workshop Learning to Rank 2008 de SIGIR'08, l'auteur du tutoriel utilise l'image suivante: .
J'aime cette illustration de l'explosion de la quantité d'information disponible, j'étais curieux et je voulais connaitre l'origine de l'image: TinEye a indexé 2 sites sur lesquels se trouve une proche réplique de cette image, cependant le site présumé auteur de la publication originale de l'image n'est pas retourné, c'était http://astech.library.cornell.edu/ast/phys/additional/Physical-Review-Comes-Home.cfm (retrouvé via Google Image et la requête "information explosion").
La légende associée à cette photographie (retrouvée sur ce dernier site) est donc finalement la suivante:
Evidence of the information explosion, the yearly bound volmes of the Physical Review and Physical Review Letters from 1898, 1908, 1918.... to 1978. The earliest volumes (on the left) form an amiable several-inch stack, while the most recent ones (on the right) form a tower of paper that threatens to topple on Val Fitch, standing behind it, in the Princeton physics and mathematics library. The 1988 stack was left out of the photograph because it would have been much too high. (Source: Physics Today 42(12): 53, 1989. Credit: Robert P. Matthews.)
En sus de l'indexation d'image, le travail de TinEye est le crawling du web, qui est une tâche non moins ardue.
Le site à l'origine de la publication de l'image n'est pas retourné par TinEye pour l'instant, et c'est là une question de crawling du web, mais le nombre d'image indexée par TinEye est déjà très impressionnant, et il a tout de même indexé 2 proches répliques de l'image donnée en requête!
NOTES
On peut se poser la question: qu'est qu'une image near duplicate d'une image requête pour TinEye?
Un exemple parlant est celui-ci: (photographie prise par moi-même cet été à Los Angeles): http://njames.trevize.net/docs-repo/public/losangeles2.jpg.
Je vais présenter mes travaux sur l'annotation d'image basée sense-tagged-keywords, Towards Semantic Image Annotation With Keyword Disambiguation Using Semantic And Visual Knowledge, dans le workshop CIAM le 13 juillet, lors de la conférence IJCAI 2009.
Avec les paquets beamer-3.07.1 et pgf-1.10 dans les dépôts Ubuntu Hardy Heron, il semble qu'il y ait un problème avec pgf car il est impossible de retrouver une image: par exemple pour un \pgfdeclareimage[height=1.cm]{logoMAS}{img/logoMAS.eps}, j'ai:
File "img/logoMAS.eps" not found
Il semble que cela soit dû à la version 1.10 de pgf, trop ancienne et incompatible avec d'autres packages Latex ou Beamer (voir ce billet sur http://texblog.net).
Pour résoudre ce problème le paquet Debian Sid pour pgf-2.0 est installable sur Hardy Heron, mais le mieux est de réinstaller le paquet Beamer (Beamer-3.07.2) de Debian Sid.
Le Turing Award 2009 a été décerné le 10 mars, et c'est Barbara Liskov, spécialiste de la programmation par objets, elle a déjà réçu la médaille Von Neumann en 2004 pour "ses contributions fondamentales aux langages de programmation, à la méthodologie de la programmation et aux systèmes distribués", et elle est aussi la première femme a obtenir un doctorat aux États-Unis (Berkeley) en 1968.
C'est rigolo, son advisor était John McCarthy, monsieur IA et LISP, d'ailleurs sa thèse est "A program to play chess end games".
Sinon, rien à voir, mais suite aux divers incidents de ces dernières semaines avec Google (Google Search, GMail, Google Docs etc.), Google propose maintenant un tableau de bord informant de l'état de ses services, Apps Status Dashboard.
Le site de partage de photographies et de vidéos en ligne Flickr est une mine inépuisable de ressources pour la construction de jeux de données réels en modélisation et recherche d'images.
J'ai fais beaucoup de biblio dans ma thèse, et plutôt que d'ajouter un lien web, un DOI, ou autre dans mes BIBTEX, je sauvegarde tous les PDF dans un répertoire en local. Ce qui me permet d'utiliser Beagle pour fouiller dans ma biblio pour retrouver un truc que j'ai lu.
Mais, le client Beagle par défaut sous GNOME quoique super bien fait, commence à me faire râler un brin:
pourquoi diable n'affiche t-il pas une liste verticale déroulante (avec tous les résultats, plutôt que le machin page par page existant).
surtout: pourquoi n'affiche t-il pas les chemins d'accès aux fichiers dans la liste, il faut cliquer sur un résultat pour voir sa localisation... >_<
pourquoi ne plus afficher le nom du fichier mais afficher à la place le champ title des metadata quand elles sont disponibles (XMP), dans le cas des articles scientifiques, la méta title n'est jamais remplie, c'est presque toujours "title" ou "article", d'où: afficher tout simplement le nom du fichier, metadata ou pas, ce ne serait pas superflu.
Desktop search beagle interface
Et sinon, c'est dommage la Web service interface de Beagle est maintenant désactivée...
La Photographie Annotation Task de ImageCLEF'09 utilise le dataset MIRFlickr, 25.000 images en provenance de Flickr, avec leurs Flickr tags associés et une annotation par topics.
Pour cette dernière annotation, par topics, faite manuellement par les créateurs de MIRFlickr, les 25k images ne sont pas toutes annotées, mais 24581 images sont annotées.
Dans le jeu de donnée, quelques images ne sont pas lisibles par certaines bibliothèques de traitement d'image, un défaut dans le header des fichiers peut être, ce ne peut pas être un champ EXIF (ou la valeur d'un champ) non supporté par la bibliothèque car d'après le website du dataset, les images ne contiennent plus leurs données EXIF...
Pour les bibliothèques Java qui utilisent ImageIO par exemple:
java.lang.IllegalArgumentException: bandOffsets.length is wrong!
at javax.imageio.ImageTypeSpecifier$Interleaved.<init>(ImageTypeSpecifier.java:269)
at javax.imageio.ImageTypeSpecifier.createInterleaved(ImageTypeSpecifier.java:382)
at com.sun.imageio.plugins.jpeg.JPEGImageReader.getImageTypes(JPEGImageReader.java:745)
at com.sun.imageio.plugins.jpeg.JPEGImageReader.readInternal(JPEGImageReader.java:938)
at com.sun.imageio.plugins.jpeg.JPEGImageReader.read(JPEGImageReader.java:915)
at javax.imageio.ImageIO.read(ImageIO.java:1422)
at javax.imageio.ImageIO.read(ImageIO.java:1282)
at net.trevize.ImageUtils.loadImage(ImageUtils.java:40)
at net.trevize.ImageUtils.getImageSize(ImageUtils.java:199)
at net.trevize.cbiaproto.dataformer.IIDFHandler.addImageData(IIDFHandler.java:556)
at net.trevize.cbiaproto.dataformer.IIDFHandler.processFilesList(IIDFHandler.java:509)
at net.trevize.cbiaproto.dataformer.Dataformer.createDataset(Dataformer.java:95)
at net.trevize.cbiaproto.dataformer.Dataformer.main(Dataformer.java:270)
La liste des fichiers qui posent problèmes.
Une solution (façon barbarian), que j'ai utilisé, lister tous les fichiers incriminés, les convertir au format BMP avec ImageMagick puis les reconvertir en JPG, cela règle les problèmes de headers défectueux. Je n'ai aucune idée sur l'origine du problème...
De plus, certaines images ne sont pas codées avec l'espace de couleur RGB, et LIRE par exemple ne supporte que du RGB. (si vous faites des tests avec LIREDemo, il suffit d'aller dans liredemo.ParalleIndexer, et attraper les Exception dans la méthode run()).
Depuis quelques jours je n'utilise plus la GoogleToolbar pour Firefox, elle est bien pratique mais un peu encombrante.
Au sujet de son côté pratique, je l'utilisais uniquement pour la traduction à la volée du mot sous le pointeur de la souris.
D'ailleurs un truc que je trouvais bien dommage est que cela ne fonctionne pas lors de la lecture d'un PDF sous Firefox (avec le plugin Acrobat installé), ce qui arrive assez souvent quand on est thésard...
Mais voilà, plus de GoogleToolbar sur ma machine.
Pourquoi? parce que quand elle est installée, votre historique de navigateur est recopié (par la GoogleToolbar) dans votre historique Web Google, en plus structuré et contenant moult informations de navigation et ce n'est pas forcément un bien, ne serait-ce que pour des questions de sécurité de ses données personnelles... C'est ainsi que dans mon Google Web History, il y a des éléments "Browser Results", qui correspondent à une navigation sur un site dont j'ai entré l'URL directement, à la main, ou bien par l'usage un bookmark. Le Feedback n'est plus au niveau du site de recherche Google, mais au niveau du navigateur!
Le but de cet outil est-il la modélisation de l'utilisateur pour des recherches personnalisées basées sur son historique, ou est-ce encore un historique à compulser pour y retrouver une information.
Et utiliser toutes les interactions pour la modélisation utilisateur est-ce vraiment un bien? Est-ce que Google sait reconnaître un GoogleFight, comment reconnaître une recherche Web issue d'un besoin d'information ou une recherche de pure curiosité, serendipité, au petit bonheur la chansonnette?
Si on pouvait spécifier à la GoogleToolbar quelles sont les informations de navigations à stocker ou pas dans le Google Web History, ce ne serait pas un mal je trouve...
En fait, tout cela est indiqué sur la page d'accueil du service Google Web History.
Bref, tout cela pour parler d'autre chose: les outils de translation automatique, la GoogleToolbar peut traduire à la volée le mot courant sous le pointeur souris, c'est le seul plugin pour Firefox que je connaisse qui propose de faire cela.
Question: pourquoi ne pas proposer quelque chose du genre au niveau du desktop? il est possible, je suppose, d'utiliser le clipboard pour récupérer le mot courant sous le pointeur souris s'il a été sélectionné (ce ne serait pas vraiment une translation "à la volée", mais on s'en approche), et afficher une étiquette près du pointeur contenant une traduction. Il faudrait pour cela une API évènementielle pour le clipboard.
Quelques pointeurs pour ça sous GNU/Linux:
Après Phototourism de l'université de Washington, financé et phagocyté par Microsoft en Photosynth (qui ne fonctionne pas sur les systèmes GNU/Linux soit dit en passant, bouh...), c'est Adobe qui présente un truc vachement fun... (voir cet article de ReadWriteWeb).
J'investigue sur LabelMe, en ce moment sur les annotations faites manuellement et disponible sous la forme de fichiers XML générés par la toolbox MATLAB du projet.
Ainsi je traite les documents XML, et un outil très pratique est http://www.hitsw.com/xml_utilites/ pour retrouver une grammaire XSD à partir d'une instance, c'est très pratique.
Cela m'a permis d'obtenir une grammaire des annotations LabelMe, d'où la génération d'un XML-Binding et un (un)marshalling en Java.
Dans le cadre de mes travaux de thèse, je construis des graphes à l'aide de la bibliothèque Java Jung (la 1.7 cependant, pas la 2.x qui inclus les generics et encore en beta), et qui utilise Colt pour les opérations sur les matrices.
Pour les formats de stockage des graphes, il existe de nombreux standards:
dot graphviz
GML, Graph Modelling Language, non XML
GML-XML
GraphML
Jung ne permet de sérialiser les graphes que dans le format GraphML, donc pas de Graphviz dot, c'est assez embêtant car les applications de visualisation de graphe prennent en entrée du Graphviz dot ou du GML, et assez rarement du GraphML.
C'est un point de vue personnel, mais le GraphML est vraiment un format de stockage pour les graphes au sens type de donnée abstrait, comparé à Graphviz dot ou GML qui attaquent aussi directement le rendu du graphe. De plus, les détracteurs du GraphML peuvent dire que c'est du XML donc verbeux et coûteux en parsing mais GML n'est pas moins verbeux...
Cependant, il est intéressant de convertir du GraphML en Graphviz dot, par exemple pour illustrer un article car il existe de nombreuses macros latex pour importer du Graphviz dot.
Pour la conversion de standard, par exemple convertir de GraphML vers Graphviz dot
avec graph-easy, un script perl, cependant j'ai un problème avec graph-easy, il semble qu'il n'aime pas les GraphML en input.
Il imprime sur la sortie d'erreur mon fichier GraphML suivi de:
not recognized by Graph::Easy::Parser::Graphviz at /usr/local/bin/graph-easy line 87
En précisant le format d'entrée, ça ne fonctionne pas mieux:
nicolas@trantor:~/Desktop$ graph-easy --from graphml graph.xml graph.dot
Unknown input format 'graphml' at /usr/local/bin/graph-easy line 332.
graph-tool: Très long à compiler, comme indiqué sur la page d'accueil du projet.
Si un prefix est précisé dans le configure, il faut modifier le script python graph-tool,
car il ne trouve pas la library, alors ajouter dans le script:
il existe un plugin Eclipse pour écrire des Graphviz dot, Graphviz Eclipse Plugin. Cependant la présence de ce plugin fait que les icônes de certains types d'images, dans l'arborescence d'un projet, sont remplacées par l'icône "fichier texte" (notamment les jpg et png)... un bug ?
TeXlipse est un plugin Latex pour Eclipse.
Parmi les options cachées, du genre de celles que l'on cherche désespérément avant de tomber dessus dans un bout de doc, il y a le line wrappingesc+q, qui ne fonctionne cependant que sur le paragraphe courant.
Ainsi il est intéressant d'utiliser le plugin Eclipse Word Wrap.
Notes: Dans la version 1.2.2, l'inclusion de citation dans une caption est considérée comme une erreur dans Eclipse: une icône d'erreur apparaît sur le nom du fichier .tex incriminé et dans l'éditeur. La compilation latex ne retourne aucuns problèmes, et le document est correct, c'est juste pas géré dans TeXlipse.
Amazon propose dans ses pages de présentation de ses services, un exemple d'infrastructure basée sur ses Web Services, un processus (un business process) d'adaptation de contenu multimédia.
Pour mémoire, les services d'Amazon concernés seraient:
Amazon SQS, Simple Queue Service: proprose une infrastructure de messagerie, style MOM, avec une API simplissime, nombre de queues/account illimitées, nombre de messages/queues illimités, message texte de 1B à 8KB en HTTP Query et de 1B à 256KB en SOAP ou REST, formatage du texte indépendant, les messages sont retenus dans les queues pour 4 jours;
Amazon S3, Simple Storage Service: stockage de données, de 1B à 5GB, interface SOAP et REST, le transport par défaut est HTTP (BitTorrent supporté);
Amazon SimpleDB: stockage de données structurées, et système de requêtage. Stocker, traiter et requêter des ensembles de données dans le cloud;
For example, here is how a video transcoding website uses Amazon EC2, Amazon SQS, Amazon S3, and Amazon SimpleDB together. End users submit videos to be transcoded to the website. The videos are stored in Amazon S3, and a message ("the request message") is placed in an Amazon SQS queue ("the incoming queue") with a pointer to the video and to the target video format in the message. The transcoding engine, running on a set of Amazon EC2 instances, reads the request message from the incoming queue, retrieves the video from Amazon S3 using the pointer, and transcodes the video into the target format. The converted video is put back into Amazon S3 and another message ("the response message") is placed in another Amazon SQS queue ("the outgoing queue") with a pointer to the converted video. At the same time, metadata about the video (e.g., format, date created and length) can be indexed into Amazon SimpleDB for easy querying. During this whole workflow, a dedicated Amazon EC2 instance can constantly monitor the incoming queue and, based on the number of messages in the incoming queue, is able to dynamically adjust the number of transcoding Amazon EC2 instances to meet customers' response time requirements.
Jannach, Leopold (2007)
UMA, Universal Multimedia Access, article de Pereire, Burnett, 2003.
DIA, Digital Item Adaptation, article de Vetro, Timmerer, 2005.
the MPEG-21 DIA framework.
MPEG-7, Martinez (2002), (c'est monsieur MPEG-7 lui...)
This paper bring out an extension to the MPEG-21 DIA (the part 7 of the MPEG-21) => avec un mécanisme qui apporte interopérabilité entre les third-party tools.
Adaptation:
1- user's constraint: terminal capabilities, network bandwith, content preferences => MPEG-21 DIA
2- information about the requested source, actual encoding format for instance, in ordre to determine which sort of adaptation it is required or possible => MPEG-7
Un problème est qu'actuellement MPEG-21 ne dit pas comment le serveur d'adaptation multimédia détermine et effectue les transformation, cette tâche est laissé au tool vendor.
Pour cela, on a besoin des mécanisme suivant:
1- une représentation pour la description des capacité d'un outil arbitraire (the semantic of performing an adaptation operation, such that automatic construction of adaptation chains become possible).
2- invoke the tools in a standardized form once the adaptation sequence is determine.
3- intégrer ce mécanisme dans MPEG-21.
State Space Planning problem, Bratko (2000), it's a general problem-solving approach (an AI-planning approach).
A planning problem comprises a set of world-altering actions, which are provided by the system.
1. Each action are annotated with a set of preconditions that have to hold when the action should be applied
2. a list of effects when applying the action
3. a list of inputs and outputs (parameters) of the action when it is embeded in a action sequence
PDDL, Planning Domain Description Language, Fox, Lang (2003)
OWL, Harrock & al. (2003)
OWL-S, Martin & al. (2004)
Semantic Web Services, McIlraith, (2001): the main idea of that initiative is to semantically annotate the services that are available on the web with the goal that they can be automatically searched annd accessed by agents.
(=>spécification web services de XEDIX, fédération de bases, UDDI).
The rule langage SWRL (w3c recommandation) Semantic Web Rule Language, Harrocks, Pattek-Schneider (2004)
SWRL est inclus dans OWL-S, c'est la partie contrainte (precondition), par contre OWL-S n'impose rien sur le moteur d'inférence utiliser pour évaluer les contraintes.
However, it would be possible to re-write the parts of the standard in terms of an owl ontology, hunter (2001).
moteur de recherche CORESE, INRIA-ACACIA, et serveur web sémantique SEWESE (gérer les échanges et orchestrer les applications). CORESE est un moteur RDF basé sur les CG, il utilise SPARQL, un langage de requête RDF.
Les descriptions OWL-s apportent 3 types de connaissances à propos des services:
1. profile: what the service require from the user
2. process: how the service work?
3. grounding: how can access the service on the technical level (mapping avec WSDL)
WSDL = description de "messaging-capable collection of communication endpoints".
La spécification actuelle de WSDL décrits les bindings pour SOAP, HTTP GET/POST, MIME
WSDL apporte l'information low-level nécessaire à l'implémentation.
message -> abstract description of the data being exchanged
port type -> abstract collection of operation
binding -> port type + message + protocole
port -> network + address + binding
Service == a collection of related endpoints
The next important step towards bringing more intelligence to the Web can be seen in the development of "Semantic Web Service, McIlraith et al., 2001".
The main idea of that initiative is to semantically annonate the services that are available on the Web with the goal that they can be automatically searched and accessed by agents. In addition, software agents shall also be enabled to execute more complex tasks by combining the different services in an intelligente manner. One example for such an application from the domain of "travel planning" can be found in McIllraith et al. (2001), where an intelligent agent makes a complex travel arrangement on behalf of the user by exploiting several web services like online hotel reservations of flight bookings.
Today, a major obstacle to the successfull implementation of Semantic WS in many domains lies exactly in the problem of etablishing a shared ontology (even for well-understood applications domains like e-Commerce environments, many competing and partially incomptatible pseudo-standards can be found on the market). However, in the application domain of multimedia adaptation services, such a shared ontology is implicitly established by the existing MPEG standards.
Building distributed multimedia systems with the goal of performing server-side resource adaptation is a research are with a quite long tradition. The main effort in that area for a long time were spent with the problem of coping with the hard real-time constraints when delivering continuous data. These challenges are in many cases mainly tackled with the development of lowlevel stream adaptation algorithms. Only few projects are known that try to exploit the extended metadata annotation available with the MPEG standards.
ViTooKi, Video ToolKit project, [Schojer et al., 2003], [Boeszoermeny et al., 2003]
http://vitooki.sourceforge.net
Il existe le MPEG-7 VariationSet Decription Scheme qui apporte des indices sur quand appliquer une adaptation et quel algorithme utiliser.
Ontologies in multimedia and semantic web technology:
- Addis & al. (2003), SCULPTEUR: Multimedia retrieval for Museums
- Kompatsiaris & al. (2004), Multimedia content indexing and retrieval using an ontology object
- Mezaris & al. (2004), Region-based image retrieval using an object ontology and relevance-feedback
- Qu & al. (2004), OREL: An Ontololy-based rights expression language
