Si vous souffrez d'une condition physique qui vous empêche d'utiliser la souris de votre PC, comment faites-vous pour consulter vos e-mails ? Et si vous êtes un médecin effectuant un triage et que vous devez partager un PC avec d'autres médecins sans échanger de germes ? C'est la question que le professeur Dean Mohamedally a posé à ses collègues et étudiants du département d'informatique de l'UCL (University College de Londres) au début de la pandémie de COVID-19 en 2020.

Avec l'aide d'Intel et d'autres partenaires, ses étudiants ont développé ce qui allait devenir UCL MotionInput, qui en est aujourd'hui à sa troisième génération. Cette suite d'applications révolutionnaires permet d'utiliser son PC sans toucher physiquement un clavier, une souris ou une manette. Au lieu de cela, l'utilisateur peut se servir de commandes vocales, d'expressions faciales ou de gestes physiques capturés par sa webcam. Grâce à ses innombrables applications dans les domaines de la santé, de l'éducation, de l'industrie et des jeux, le système MotionInput de l'UCL nous montre à quoi pourrait ressembler l'avenir de l'expérience utilisateur (UX).
 

Tout commença dans une salle de classe

Bien qu'offrant des possibilités infinies, le système MotionInput de l'UCL a été créé en réponse à la pandémie mondiale de COVID-19. Il a été conçu pour permettre à tous les étudiants d'accéder à l'apprentissage à distance et pour aider le National Health Service (NHS) du Royaume-Uni à trier rapidement les patients, grâce à la conception des exigences de la chercheuse en IHM clinique Sheena Visram et du médecin généraliste du NHS, le Dr. Atia Rafiq.

Les étudiantes en informatique Sinead Tattan et Carmen Meinson ont contribué à faire de MotionInput 3.0 une réalité. Elles ont participé au projet lorsque le professeur Dean a partagé ses idées avec ses étudiants dans le cadre de plusieurs cours, tant au niveau du premier cycle que de la maîtrise. Ce sont les progrès réalisés par les étudiants en combinant les principales technologies d'IA, dont Intel® OpenVino™, avec MotionInput de l'UCL qui ont rendu le professeur Dean confiant dans le fait que ses étudiants pourraient trouver un moyen d'aider les patients à utiliser leurs PC sans avoir besoin de leurs mains.

Sinead se souvient que le professeur Dean a demandé à ses étudiants de créer un outil qui ferait vraiment la différence dans la vie des patients, une application qui pourrait donner aux personnes souffrant de troubles de la motricité fine des possibilités que les personnes physiquement aptes considèrent comme acquises. Pour le construire, Sinead a dirigé des équipes d'étudiants qui ont fini par combiner plusieurs technologies de machine learning, de vision par ordinateur, de traitement automatique du langage naturel et de traitement logiciel, grâce aux conceptions d'architecture logicielle de Carmen optimisées par Intel.

Ce ne fut pas une mince affaire. Différentes équipes se sont chargées de fonctionnalités spécifiques, comme la première navigation faciale hybride au monde avec commandes vocales fédérées en simultanée sur l'appareil, tandis que Sinead a joué un rôle clé en tant qu'architecte de l'équipe, en veillant à ce que ces fonctionnalités puissent être combinées et accessibles en tant que fonctionnalités logicielles spécifiques ou en tant que suite unique de programmes faciles à utiliser.

Les mentors d'Intel Royaume-Uni, Costas Stylianou et Phillippa Chick, étaient impatients de voir les étudiants se lancer dans de nouveaux projets. Des fonctionnalités telles que le pincement en l'air pour le « multipoint sans contact » et la « navigation par le nez » pour naviguer en ligne en pointant son nez sur certaines parties de l'écran ont été optimisées et conçues pour une utilisation radicalement différente des PC et des ordinateurs portables de tous les jours.

Avantages sociétaux

Le système MotionInput de l'UCL pourrait avoir de grands avantages sociétaux car il est économique, facile à utiliser et rend l'informatique sans contact largement disponible. Avec seulement une machine équipée de la technologie Intel et d'une webcam, le système MotionInput de l'UCL pourrait permettre d'augmenter massivement les avantages en matière de santé pour la population. Il pourrait également être utilisé dans les maisons de repos où les personnes âgées, qui avaient auparavant du mal à saisir des objets avec leurs mains, pourraient jouer à des jeux comme les échecs en ligne avec leurs amis ou leur famille. Il pourrait également être utilisé pour faire des achats en ligne, trouver de l'aide, communiquer et faire de l'exercice. Et beaucoup de personnes actuellement dans l'incapacité d'utiliser un PC disposeraient soudainement d'une interface pour y remédier. Que ce soit dans le domaine de l'éducation, de la sécurité informatique dans les hôpitaux, de l'exercice physique ou du divertissement, l'informatique sans contact offre des applications infinies.
 

Le futur

UCL MotionInput 3 est une solution entièrement personnalisable avec des modèles combinés de machine learning et de vision par ordinateur qui s'adaptent aux besoins et aux capacités des utilisateurs. Elle permet d'élargir l'accès à l'informatique sans contact aux applications publiques, de recherche, industrielles et commerciales.

Dans le même temps, l'équipe MotionInput de l'UCL continue de chercher des moyens de mettre son logiciel à la disposition d'un plus grand nombre de personnes. Les grandes entreprises technologiques l'ont remarqué. Le professeur Dean, ses collègues universitaires, cliniciens et surtout ses étudiants, accueillent favorablement toute collaboration susceptible d'aider davantage de personnes grâce à l'informatique.

Ils invitent tout un chacun à rejoindre leur communauté, à formuler des demandes, à tester leurs incroyables produits gratuits et leurs futurs produits commerciaux, et bien sûr à faire part de leurs commentaires. L'humanité en bénéficiera.