Makedonski naučnici s Fakulteta za elektrotehniku i informacione tehnologije iz Skoplja stvorili su pametne naočare koje mogu detektovati raspoloženje kod ljudi. Ovaj inovativni bežični uređaj koristi optičke senzore, a univerzitetski profesor i inovator dr. Hristijan Gjoreski objasnio je za Bloomberg Adriju kako funkcionišu i na koji način se dobijaju podaci.
"Izrazi lica nastaju kontrakcijom mišića lica. Naočare OCOsense, opremljene vlasničkim senzorima za OCO™ optomiografiju (OMG), mjere male promjene u aktivaciji mišića uzimanjem uzoraka do 6.000 puta u sekundi. Ova inovativna tehnologija omogućava naočarima da detektuju suptilne izraze lica, pokrete vilice i emocionalne reakcije u realnom vremenu", otkriva on.
Objašnjava da se tehnologija OCOsense sastoji od niza optičkih - OCO™ senzora, IMU senzora s devet osa, senzora koji mjeri atmosferski pritisak i mikrofona. Optički senzori su ugrađeni u okvir kako bi pokrivali ključne mišićne grupe povezane s promjenom ponašanja.
Podaci sa senzora mogu se prenijeti preko Bluetootha do mobilnog uređaja. Naočare sadrže dvije LIPO baterije od 220 mAh, koje mogu napajati sistem do 16 sati u zavisnosti od toga koliko je korisnik aktivan. Dizajnirane su pomoću statistički generisanih modela glava i optimizovane za udobnost i stabilnost dok se nose, čime se ograničavaju artefakti pri kretanju. Optički senzori su postavljeni da detektuju aktivaciju ključnih mišića povezanih s pokretima lica - na obrazima, između obrva, iznad obrva i iznad sljepoočnica.
"Podaci senzora obrađuju se algoritmima vještačke inteligencije i pomoću aplikacije za pametne telefone i cloud infrastrukture nude sveobuhvatnu platformu za analizu raspoloženja i ponašanja korisnika. Na ovaj način sistem nudi dubinsku analizu i razumijevanje izraza lica, aktivnosti i ponašanja, transformišući način na koji istraživači, tvorci sadržaja i ljekari angažuju i tumače ljudske emocije i reakcije van laboratorije", kaže profesor.
Upotreba u svakodnevnom životu
Gjoreski kaže da je njihova tehnologija, poznata kao OCOsense, prva platforma na svijetu sposobna da prepoznaje izraze lica, ljudske aktivnosti i ponašanje. Ovaj alat bi mogao korisnicima omogućiti daljinsko praćenje kućnih tretmana i medicinskih terapija, posebno za osobe sa stanjima kao što su depresija, Parkinsonova bolest, paraliza lica i slične bolesti. On sugeriše da su se naočare pokazale praktičnim i za praćenje različitih ponašanja povezanih sa svakodnevnim aktivnostima, kao što su socijalna interakcija i ishrana.
Povod za stvaranje ovog jedinstvenog proizvoda dao je plastični hirurg dr. Charles Nduka, osnivač kompanije "Emtek Labs" sa sjedištem u Engleskoj, u kojoj Gjoreski kasnije postaje izvršni direktor.
Za svoje preglede i operacije pacijenata s paralizom facijalnog nerva, dr. Nduka koristio je senzore za lice, konkretno elektromiografiju (EMG) za mjerenje nervnih impulsa facijalnih mišića. Neki pacijenti su bili zaintrigirani ovom tehnologijom, pa su pitali da li mogu koristiti slična mjerenja i trenirati lice kod kuće. Svjestan da se radi o specijalizovanoj medicinskoj opremi koja mnogo košta i koja se može koristiti samo u kliničkim uslovima, dobio je ideju da stvori pametne maske ili pametne naočare koje će moći da se koriste svakodnevno, ali i koje će biti pristupačnije s finansijskog aspekta.
Gjoreski i njegov tim prvo su razvili pametnu masku emteqPRO, a potom 2021. godine i prvi prototip pametnih naočara - OCOsense, koje mogu beskontaktno da mjere izraze lica korisnika koji ih nosi pomoću optičkih senzora. Ove godine su predstavili i poboljšanu verziju OCOsense V2.
Za svoj izum prije dvije godine osvojili su prvu nagradu na prestižnoj međunarodnoj naučnoj konferenciji UbiComp i ISWC u Velikoj Britaniji. Priznanje su dobili za najbolju demonstraciju inovativne tehnologije, za prvu verziju svojih pametnih naočara. Prije nepunih mjesec dana dobili su još dva priznanja, ovaj put na konferenciji Intelligent Environments u Ljubljani - prvu nagradu za najbolji naučni rad i prvu nagradu za najbolju prezentaciju za drugu verziju OCOsense naočara.
Još uvijek nema definisane cijene za ovaj revolucionarni proizvod koji ima potencijal da se efektivno komercijalizuje i kroz mjesečni plan pretplate. Trenutno su naočare dostupne prvenstveno za istraživačke svrhe. Iz kompanije naglašavaju da je svaki par naočara ručno izrađen, što dodatno utiče na konačnu cijenu koja, u zavisnosti od zahtjeva klijenta, lako može dostići i 10.000 evra. Zato uređaj trenutno ostaje dostupan prvenstveno za istraživačke svrhe. Ipak, iz kompanije prepoznaju obećavajuće tržište za korišćenje ovih naočara za praćenje navika u ishrani.
"Osim što prepoznaju izraze lica, naočare mogu pratiti aktivnosti žvakanja (jedenja). Najnovija verzija uključuje i kameru okrenutu ka dolje koja može fotografisati obroke. Kada se kombinuje s moćnim velikim jezičkim modelima, ova funkcija može pružiti tačne informacije o obroku, kao što su nutritivni sadržaj i veličina porcija. Osim toga, naočare mogu procijeniti aktivnosti i potrošene kalorije i na taj način ponuditi sveobuhvatno rješenje za optimalan balans", kaže Gjoreski.
S međunarodnim nagradama do britanskih investitora
Gjoreski sa svojim bratom dr. Martinom Gjoreskim u Sjevernoj Makedoniji 2019. osniva startup za vještačku inteligenciju (AIDEA Lab). Njihov cilj je da iskoriste svoju naučnu i istraživačku ekspertizu kako bi inovirali u ovoj oblasti, a brojnim naučnim publikacijama i pet pobjeda na međunarodnim takmičenjima u mašinskom učenju za podatke sa senzora, stiču značajnu prednost u odnosu na konkurenciju i ogroman potencijal za razvoj. Sastavni dio njihovog tima od samih početaka su i Ivana Kiprijanovska i Simon Stankoski, magistri iz oblasti vještačke inteligencije.
Njihov potencijal prepoznaju iz "Emtek Labs" i 2020. godine "AIDEA Lab" postaje dio kompanije. Gjoreski prvo vodi odjeljenje za vještačku inteligenciju, a danas je izvršni direktor za tehnologiju i predvodi tim od petnaestak ljudi u Skoplju. Ostatak inženjerskog i proizvodnog tima kompanije je sa sjedištem u Brajtonu. Kao glavni izvršni direktor, 2023. godine im se pridružuje Stin Strand, bivši prvi čovjek hardverskog odjeljenja Snap Inc.
Iz kompanije kažu da polovinu ukupnih investicija obezbjeđuju putem grantova, a ostatak su sredstva od privatnih investitora u Engleskoj.