Jak s dostatečným předstihem identifikovat stav mimořádného kognitivního přetížení pilotů a předejít rizikové situaci nebo rozsáhlým škodám? Lze k tomu využít kromě senzorů monitorujících životní funkce také lidskou řeč? Tak by se dal nejobecněji definovat cíl výzkumného projektu EMPAT, který vedou odborníci z Fakulty informačních technologií VUT. Jejich partnerem je špičkový globální hráč obranného a leteckého sektoru Lockheed Martin. Na projektu se dále podílejí psychologové z Filozofické fakulty Masarykovy univerzity, specialista na biomedicínu z Fakulty elektrotechniky a komunikačních technologií VUT a testovací letci a odborníci z Fakulty strojního inženýrství VUT.
Projekt EMPAT byl zahájen v lednu letošního roku. V první fázi je jeho hlavním cílem shromáždit data získaná při testování na simulátorech a doplněná o první zpětnou vazbu od pilotů. Další fáze už počítá s použitím navrženého mobilního nositelného systému pro sběr dat přímo během letu.
Řeč jako nečekaný zlatý důl?
Snaha určit, zda se pilot během mise nedostal do situace krajního kognitivního vypětí, je staršího data. Dnes už existují určitá řešení, která dokážou vrátit letoun zpět například v situaci, kdy pilot omdlí. Podobná opatření mohou zachránit životy i cenné stroje. „Vše je o bezpečnosti. Piloti, kteří se ocitli ve stavu výrazného přetížení, pro něj často používají spojení ‚dostat se za letadlo‘ – v této situaci řeší věci, které se staly před chvílí, nikoliv to, co je tady a teď. A následky v armádním letectví mohou být obrovské. Nejcennější je lidské zdraví, ale drahé jsou i samotné stroje, výcvik a tak dále,“ popisuje výchozí problém jeden z hlavních tvůrců projektu Jan Pešán. Mise armádních letců jsou mimořádně komplexní a náročné a krizové situace s kognitivní zátěží nelze vyloučit. Řešením, k němuž by měl výzkum napomoci, je systém, který obsluhu upozorní, že s pilotem není něco v pořádku.
Úkolem výzkumníků z FIT VUT je zaměřit se na data získaná z mluveného projevu a korelovat je s řadou dalších dat z různých senzorů. „Kromě toho, že se díváme na řeč, sbíráme spoustu dalších modalit: biosignály jako srdeční frekvence, stav zorniček, s pomocí senzorů jsme schopni neinvazivně sledovat i aktivitu frontálních mozkových laloků,“ upozorňuje doktor Oldřich Plchot. Vše je integrováno do mobilního systému pro sběr dat, který si pilot obleče.
Řeč je hlavním objektem zájmu výzkumníků, data z dalších zdrojů slouží pro ověření a potvrzení závěrů. Lidská řeč je vděčný zdroj informací, který je vždy k dispozici, například díky mikrofonu v náhlavní soupravě. Výzvou je obecně omezený počet pilotů, tedy i limitovaný zdroj strukturovaných dat, jak upozorňuje Jan Pešán: „Základní dataset, který v současnosti vzniká, tvoří informace od dvaceti šesti pilotů. K dispozici máme vždy čtyři simulační sezení pro každého pilota, přičemž se průběžně mění letové scénáře a roste složitost modelovaných situací – v průběhu sezení se takříkajíc utahují šrouby.“ V řeči odborníci sledují např. spektrální charakteristiky, kadenci promluvy, stabilitu hlasu, plevelná slova, změny bohatosti promluvy i vlastní význam (smysluplnost) sdělení.
Mimořádný projekt v českém kontextu
Jak se vědci z FIT VUT k prestižnímu armádnímu výzkumu dostali? „Trošku jsem k tomu přispěl já,“ přiznává Pešán. „Před několika lety jsme se ve velmi omezeném rozsahu pokusili o podobný výzkum s využitím fakultního simulátoru. Jedním z výstupů byl dataset, na němž byla založena má disertace. Tím jsme prošlápli cestu sbírání dat. A teď postup používáme ve velkém měřítku a v leteckém kontextu.“
Výzkum je součástí industriální spolupráce. Společnost Lockheed Martin využije data, protokoly a postupy strojového učení pro vlastní výzkum. „Je to špičkový výzkum už v tom, že se věnujeme něčemu zcela novému, pro co ve světě neexistují data. To ale současně znamená, že velká porce času a spousta sil padne na sběr dat. Až potom následuje vlastní jádro projektu, tedy identifikace kognitivní zátěže z řeči. Tato fáze přijde ve druhém či třetím roce,“ popisuje předpokládaný průběh projektu EMPAT Oldřich Plchot. Jeho kolega Pešán pak přímo hovoří o bílé vráně v kontextu českého výzkumu: rozsahem, zapojením vícero fakult a současně intenzivní spoluprací se společností Lockheed Martin.
Text a foto: Vysoké učení technické v Brně /r
