Neurovedci učia počítače čítať slová priamo z mozgu ľudí.
Kelly Servick, autorka Science, tento týždeň informovala o troch dokumentoch uverejnených na serveri bioRxiv pre predtlačový papier, v ktorom tri rôzne tímy vedcov preukázali, že dokážu dekódovať reč zo záznamov o odpálení neurónov. V každej štúdii zaznamenali elektródy umiestnené priamo na mozgu nervovú aktivitu, zatiaľ čo pacienti s chirurgickým zákrokom na mozgu počúvali reč alebo nahlas čítali slová. Potom sa vedci pokúsili zistiť, čo pacienti počujú alebo hovoria. V každom prípade vedci dokázali previesť elektrickú aktivitu mozgu na aspoň trochu zrozumiteľné zvukové súbory.
Prvý príspevok, uverejnený v BioRxive 10. októbra 2018, opisuje experiment, v ktorom vedci hrali nahrávky reči pacientom s epilepsiou, ktorí boli uprostred mozgovej chirurgie. (Neurónové záznamy zaznamenané v experimente sa musia interpretovať veľmi podrobne. A táto úroveň podrobnosti je k dispozícii iba v zriedkavých prípadoch, keď je mozog vystavený vzduchu a elektródy sa naň kladú priamo, napríklad pri operácii mozgu). .)
Keď pacienti počúvali zvukové súbory, vedci zaznamenali strieľanie neurónov v častiach mozgu pacientov, ktoré spracúvajú zvuk. Vedci vyskúšali množstvo rôznych metód na premenu údajov o neuronálnom vypaľovaní na reč a zistili, že „hlboké učenie“, pri ktorom sa počítač pokúša vyriešiť problém viac či menej bez dozoru, fungovalo najlepšie. Keď hrali výsledky prostredníctvom vokodéra, ktorý syntetizuje ľudské hlasy, pre skupinu 11 poslucháčov boli títo ľudia schopní správne interpretovať slová 75 percent času.
Zvuk z tohto experimentu si môžete vypočuť tu.
Druhý dokument, zverejnený 27. novembra 2018, sa spoliehal na nervové záznamy od ľudí podstupujúcich chirurgický zákrok, aby sa odstránili nádory mozgu. Keď pacienti nahlas čítali jednotlivo slabiky, vedci zaznamenali zvuky vychádzajúce z úst účastníkov aj neuróny, ktoré vystrelili v oblastiach mozgu produkujúcich reč. Namiesto tréningu počítačov hlboko na každého pacienta títo vedci učili umelú neurónovú sieť na konverziu neurónových záznamov na audio, čo ukazuje, že výsledky boli prinajmenšom rozumne zrozumiteľné a podobné záznamom uskutočneným mikrofónmi. (Zvuk z tohto experimentu je tu, ale musí sa stiahnuť ako súbor zip.)
Tretí príspevok, zverejnený 9. augusta 2018, sa spoliehal na zaznamenanie časti mozgu, ktorá prevádza konkrétne slová, ktoré sa človek rozhodne hovoriť do svalových pohybov. Zatiaľ čo online nie je k dispozícii žiadny záznam z tohto experimentu, vedci uviedli, že boli schopní zrekonštruovať celé vety (zaznamenané aj počas chirurgického zákroku na mozgu u pacientov s epilepsiou) a že ľudia, ktorí počúvali tieto vety, ich dokázali správne interpretovať pri viacerých výberoch. test (z 10 možností) 83 percent času. Metóda tohto experimentu sa spoliehala skôr na identifikáciu vzorcov zapojených do vytvárania jednotlivých slabík, ako na celé slová.
Cieľom všetkých týchto experimentov je jedného dňa umožniť ľuďom, ktorí stratili schopnosť hovoriť (kvôli amyotropnej laterálnej skleróze alebo podobným podmienkam), hovoriť prostredníctvom rozhrania počítač-mozog. Veda pre túto aplikáciu však ešte neexistuje.
Interpretácia nervových vzorcov človeka, ktorý si len predstaví reč, je zložitejšia ako interpretácia vzorcov, ktoré niekto počúva alebo vytvára reč. (Autori druhej práce však uviedli, že interpretácia mozgovej aktivity niekoho, kto si predstavuje reč, môže byť možná.)
Je tiež dôležité mať na pamäti, že ide o malé štúdie. Prvý dokument sa opieral o údaje získané iba od piatich pacientov, zatiaľ čo druhý sa zaoberal šiestimi pacientmi a tretí iba traja. A žiadna z nervových nahrávok netrvala dlhšie ako hodinu.
Veda sa stále pohybuje vpred a zariadenia na umelú reč napojenú priamo na mozog sa v určitom okamihu po ceste javia ako skutočná možnosť.
