Lorsqu’une société souhaite externaliser son annotation de données, elle veut s’assurer que l’annotation sera réalisée avec un haut niveau de qualité et à un prix compétitif. Si le besoin d’annotation est récurrent, il est avantageux de rechercher un partenaire sur la durée.
L’importance du POC
Parce que l’annotation de données n’est pas toujours facile et rapide (cf article de blog sur le sujet), il est crucial de prendre le temps nécessaire au début du projet pour identifier toutes les potentielles difficultés qu’elles soient d’ordre technique, fonctionnel ou organisationnel.
C’est pour cela que nous conseillons à nos clients la mise en place préalable d’un POC (“Proof of Concept”). Ce POC permet, sur un jeu de données restreint mais réaliste, d’expérimenter et de soulever toutes les questions ou problèmes potentiels inhérents au projet d’annotation.
Le POC est différent d’un test gratuit de 15 heures (le Free test), plus adapté aux projets d’annotation simples.
Quand utiliser un POC ?
On distingue deux dimensions : la complexité du projet et la récurrence des projets au sein de la société. Voici un tableau des offres adaptées selon le contexte :
| Plus simple | Plus complexe | |
| Un projet | Free test | POC |
| Plusieurs projets | Free test ou POC | POC |
Le POC permet essentiellement de :
- Valider le choix de l’outil d’annotation. ✅
- Identifier les potentiels problèmes liés aux performances (ex. : lourdeur des images ou des vidéos) et identifier les solutions. 🚀
- Valider la méthode d’annotation la mieux adaptée aux objectifs du projet, mettre en place le processus d’annotation dans l’outil (interface, partage des rôles, review) et hors outil (gestion du projet globale). ⚙️
- Identifier et clarifier les ambiguïtés au niveau des instructions, mettre à jour des instructions basées sur les réponses apportées. 📝
Il permet aussi de valider le mode de communication le plus efficace, les indicateurs de réussite du projet, et de convaincre en interne de l’utilité de ce type de projet pour les algorithmes de machine learning.
Le déroulement du POC
Le POC se déroule avec une équipe d’annotateurs réduite mais représentative. Il contient la mise en place du projet sur l’outil d’annotation, l’annotation, la review, et le customer care (communication rapprochée avec le client, gestion des fichiers de Q/R et de progression).
Le principe du “start slow”
Le POC se base sur le principe du “start slow”, souvent négligé mais essentiel. À la sortie du POC, un plan projet précis est défini : taille de l’équipe, compétences requises, objectifs de vitesse et de qualité, interlocuteurs clients, fréquence des points projets, etc. Le projet peut alors se dérouler en mode “production”.
Les risques évités par le POC
Certaines sociétés sont réticentes à effectuer un POC payant. Pourtant, l’estimation du temps d’annotation sur un projet complexe est difficile, et sans POC, les risques sont nombreux :
- Payer trop cher en raison de marges de sécurité trop importantes prises par les sociétés d’annotations. 💸
- Sélectionner un mauvais partenaire incapable de réaliser le projet. 🙅♂️
- S’exposer à la réévaluation du prix suite à des tests approfondis. 📈
Conclusion
En conclusion, le temps passé sur le POC est un gain de temps final pour le projet, augmente la qualité globale de l’annotation et maximise les chances de succès.
