Tous les projets du Lab

Snapari

Un jeu de cartes qui se joue dehors.

Plateformes
iOS · Android
Année
2026
Statut
Disponible
Technologies
SwiftUI · Kotlin · Postgres · TypeScript · Python

Snapari est un jeu de cartes qui se joue dehors. Vous photographiez un animal et, si le serveur accepte la photo, vous recevez une carte avec un numéro de série que personne d'autre n'a. Le jeu est disponible sur iPhone et Android.

L'essentiel du travail se passe dans les quelques secondes qui suivent l'envoi d'une photo. Le serveur doit décider s'il y a un animal vivant dessus, de quelle espèce il s'agit et à quel point elle est rare. Voici nos notes sur chacune de ces étapes, avec les chiffres de notre jeu de test début novembre 2026.

A Legendary Red Fox card revealed after a captureA card's detail viewThe map of where each card was caughtThe collector ranking

Reconnaître l'animal

Les joueurs photographient de tout : des chats sur le canapé, des araignées dans un coin, des gibbons au fond d'un enclos, des peluches, des étangs vides. L'animal est souvent petit, flou ou à moitié caché, et la lumière est rarement bonne.

Nous avons commencé avec un modèle vision-langage généraliste seul. Il lit bien une scène et donne les noms que les gens utilisent vraiment, jusqu'à la race d'un chien. Sur les espèces moins courantes, il devine, et il a l'air sûr de lui quand il devine. Un crabe est devenu un oursin, une pie un quiscale.

Les modèles biologiques entraînés sur tout l'arbre du vivant ont le profil inverse. Ils connaissent beaucoup plus d'espèces, mais ne distinguent pas un animal vivant d'une image d'animal, ne connaissent pas les races, et dispersent leurs scores, si bien que la bonne réponse est souvent peu affirmée.

La version en production utilise les deux, la partie spécialisée tournant sur notre propre matériel. Chaque modèle compense les faiblesses de l'autre, et la photo n'est acceptée que si leurs réponses sont assez cohérentes.

  1. 1

    Photo

    Prise et recadrée sur le téléphone.

  2. 2

    Espèces candidates

    Un modèle biologique propose les animaux possibles.

  3. 3

    Vérification et nom

    Un modèle généraliste décide s'il s'agit d'un vrai animal vivant, et le nomme en tenant compte de ces candidats.

  4. 4

    Carte ou remboursement

    Une carte quand la réponse est solide. Sinon, la photo est refusée et le joueur récupère son lancer.

Testé sur 155 photos annotées à la main : 116 animaux vivants (108 dont l'espèce est connue), 17 écrans, jouets, statues et images imprimées, et 22 sans animal vivant. Un seul passage par configuration, donc un écart d'une ou deux photos n'est pas significatif.
ConfigurationCartes justesMauvaise espèceFaux arrêtésTemps médian
Les deux modèles (en production)88/1089/9715/174,7 s
Modèle généraliste seul82/10818/10014/173,1 s
Modèle biologique seul50/10858/1080/171,4 s

Combinés, les noms d'espèce faux sont divisés par deux, au prix de quelques photos refusées en plus.

Nous avons aussi constaté que le modèle généraliste n'est pas stable sur les photos difficiles. Lors d'un premier test, il a donné des réponses différentes pour la même photo d'un essai à l'autre, en se disant chaque fois sûr à 85 ou 90 %. La confiance d'un modèle ne peut pas être le seul critère pour créer une carte.

Les photos d'écran

La façon la plus simple de tricher est de photographier un lion sur un ordinateur portable. Les modèles en arrêtent la plupart, mais nous voulions un autre type de vérification, qui ne dépende pas du jugement d'un modèle.

Quand un appareil photographie un écran, la grille de pixels de l'écran et celle du capteur interfèrent et laissent un moiré dans l'image. Il est souvent invisible à l'œil, mais il apparaît nettement dans le spectre de Fourier 2-D. Une photo normale a un spectre lisse qui décroît à peu près en 1/f². Une photo d'écran y ajoute des pics nets et isolés. Ils sont souvent plus forts dans les canaux de couleur que dans la luminosité, parce que les sous-pixels rouges, verts et bleus d'un écran sont disposés en bandes.

Photo d'une scène réelle
Photo d'un écran, avec les pics du moiré

La difficulté, ce sont les vraies photos. La fourrure, les plumes, les feuilles, les grillages et le traitement d'image du téléphone produisent leurs propres pics, et l'essentiel du travail consiste à les distinguer d'un écran. Nous l'ajustons sur les mêmes photos annotées que la reconnaissance.

Décider de ce qui est rare

Un jeu de collection a besoin de rareté, et pour les animaux, il n'existe aucune liste où la consulter. Les estimations de population ne couvrent qu'une partie des espèces, et leur principale source n'est pas utilisable commercialement. Les observations publiques n'aident pas beaucoup non plus, car elles reflètent surtout le nombre de personnes qui observent. GBIF compte plus de 520 000 observations ouvertes de renard roux rien qu'en Suisse, dont beaucoup proviennent de pièges photographiques.

Nous utilisons finalement trois mesures distinctes.

Rareté parmi les joueurs

Le niveau d'une espèce, de Répandue à Mythique, dépend du nombre de joueurs différents qui l'ont attrapée. Attraper cinquante fois le même chat, ou faire passer une carte d'un compte à l'autre, ne la rend ni plus rare ni plus commune.

Sauvage ou zoo

Chaque espèce a une fiche construite à partir de données ouvertes (GBIF, Wikidata, PhyloPic). Les observations par pays nous disent si un animal vit à l'état sauvage là où il a été photographié. Il faut d'abord nettoyer ces données, car des photos de zoo s'y glissent : fin octobre, GBIF comptait 11 observations de lion aux États-Unis, dont une venant de la fosse aux lions du zoo de Pittsburgh.

Chaque carte n'existe qu'une fois

L'unicité est garantie par la base de données elle-même. Lors de tests de charge en parallèle, nous n'avons vu aucun numéro de série en double.

Parlons de votre projet

Envie d'explorer ce que l'IA peut apporter à votre organisation ? Réservez un appel gratuit de 30 minutes, sans engagement, juste une conversation.

Gratuit · Sans engagement · Appel vidéo

ou