Mind-Controlled Application, Bachelor Thesis

In my Bachelor thesis we tried to classify emotions from EEG signal captured by Emotiv EPOC device. Firstly we analyzed the methods for classification of the emotions and used them on existing dataset. Then, we conducted experiment, in which participants were watching music videos and we used EPOC to capture EEG signal. We tried to classify seven emotions and compare accuracy of our method with existing tool, namely Noldus FaceReader which is able to detect emotions from face expressions.

Keďže ide o bakalársky projekt, asi by som mal začať tým ako som sa dostal k tomuto zadaniu. Ponuka tém bola široká a väčšina z nich ma neoslovila. Zrazu mi však udrel do očí názov – Aplikácia ovládaná mysľou. Zadanie témy bolo síce napísane všeobecne, nič konkrétne, ale hneď som vedel, že toto je cesta. Úlohou bolo analyzovať možnosti EEG zariadenia Emotiv EPOC  a jeho schopnosť rozpoznávať odozvy na rôzne stimuly. Napriek tomu, že sa na tému hlásilo viacero záujemcov, podarilo sa mi ju získať. Bol som nadšený. V hlave mi hýrilo množstvo nápadov, o ktorých som ešte nevedel ako veľmi sú alebo nie sú reálne. S vedúcim som sa dohodol, že si cez leto naštudujem informácie o strojovom učení, ktoré budem pravdepodobne využívať.

Semester sa začal. Prišiel čas prvého stretnutia. Na ňom som zistil, že všetky moje nápady, akokoľvek zneli úžasne (aspoň v mojej hlave), neboli zamerané na výskum alebo to EEG zariadenie pravdepodobne nie je dosť presné na ich realizáciu. Tak som sa teda s vedúcim práce dohodol, že sa poobzerám po niečom reálnejšom a nenápadne sa ma snažil postrčiť k UX testovaniu. Tak som hľadal, hľadal a zistil som, že veľa sa diskutuje o detekcii emócii z EEG signálu.

Existuje veľa rôznych spôsobov, avšak len málo z nich bolo otestovaných spolu so zariadením, ktoré máme na škole. Tak som sa pustil do analýzy, snažil som sa z každého článku zúžitkovať to najlepšie a skonštruovať pomocou toho vlastnú metódu na určovanie emócií z EEG signálu. Cez zdroje zdrojov som sa dostal k rôznym článkom minulého storočia a neraz som sa pristihol čítajúc knihu určenú pre psychológov nemajúc nič spoločné s informatikou.

Keď som pozliepal metódu, potreboval som dáta na jej otestovanie. Konkrétne som hľadal EEG dáta s rovnakého/podobného EEG zariadenia označkované konkrétnymi emóciami.Takéto dátové sady sa neváľajú len tak hocikde, ale po dlhšom hľadaní som získal prístup k dátovej sade z jednej anglickej univerzity. Dáta boli z experimentu, kde účastníkom premietali hudobné videá a tí následne vypĺňali dotazníky o tom, ako sa pri tom cítili. Neboli tam konkrétne emócie, ale bolo to lepšie ako nič. Navyše celá dátová sada aj experiment boli podrobne zdokumentované. Aj vďaka tomu sme sa rozhodli v druhej časti bakalárskeho projektu tento experiment zreplikovať. Navyše sme nahrávali tváre účastníkov, aby sme mohli porovnať našu metódu s nástrojom Noldus FaceReader, ktorý určuje emócie z výrazu tváre.

Pri experimente nenastali žiadne veľké problémy ani nečakané situácie. Avšak problematickým sa ukázalo prvotné nastavenie EEG zariadenia a udržanie kvalitného signálu zo všetkých elektród. Inak povedané, čím dlhšie vlasy účastník mal, tým to bolo horšie. Keďže sme pri experimente používali tri rôzne nástroje na zaznamenávanie dát, mali sme veľa dátových súborov, ktoré bolo potrebné zosynchronizovať. Po spracovaní a analýze EEG dát sme na ne aplikovali našu metódu a pokúsili sme sa klasifikovať týchto sedem emócií – radosť, strach, hnev, znechutenie, prekvapenie, smútok a neutrálnu emóciu. Nakoniec sme vytvorili aplikáciu, v ktorej sme aplikovali našu metódu.

Práca na bakalárskom projekte nebola vždy zábava, občas to bolo frustrujúce a veľa krát som mal pocit, že som sa dostal do slepej uličky. Bola to však dobrá skúsenosť a naučil som sa veľa nových vecí, za čo vďačím najmä môjmu vedúcemu práce, Ing. Róbertovi Mórovi.

 

Tomáš Matlovič