Komerční prezentace
Registrace uživatele

Přihlašte se k odběru informací, novinek, získejte přístup do diskuzního fóra.

Vesmír č. 7
Vesmír č. 7
Toto číslo vychází
13. 7. 2017
Novinky
Zdarma jedno celé číslo Vesmíru v pdf.
• Letní dvojčíslo Vesmíru

Neuronové sítě přirozené a umělé

Publikováno: Vesmír 95, 276, 2016/5

Informační systémy vyšších živočichů jsou schopny zpracovávat, uchovávat a využívat velmi široké, v průběhu času dynamicky proměnlivé spektrum informací. Pokud by to nedokázaly, neobstál by živočich v životním boji ani jako jedinec, ani jako druh. Tyto schopnosti zajišťuje síť vzájemně propojených vzrušivých buněk – neuronů.

Věděli jste ale, že neurony se mohou vyskytovat nejenom v soustavách živých tvorů? A že se s nimi dokonce setkáváme každý den? Takové neurony jsou matematickými modely neuronů přirozených, jejichž první návrh přinesli v roce 1943 W. S. McCulloch se svým studentem W. Pittsem. Ty nám teď pomáhají vyhledat na googlu ty nejrelevantnější výsledky, na facebooku rozpoznávat obličeje či v mailových schránkách identifikovat spam.

Jak živé, tak umělé neurony fungují na stejných principech – každý může být v jednom ze dvou stavů aktivity. Tyto jejich stavy závisejí na stavech aktivity neuronů s ním propojených (popř. na vnějších stimulech, jde-li o vstupní neuron) a jsou určeny silou spojení mezi nimi. Síla spojení mezi dvěma neurony se průběžně mění, a to v závislosti na jejich předchozí aktivitě. Tato změna probíhá podstatně pomaleji než vlastní aktivita neuronů.

Každý si asi vzpomene, jak takový živočišný neuron vypadá: má dva druhy výběžků – axon, kterým signály vysílá, a dendrity, jejichž prostřednictvím signály přijímá od tisíců jiných neuronů (obr. 1). Signály v živém neuronu představuje změna elektrického potenciálu. Sečte-li se v krátkém čase množství dostatečně kladných signálů z jiných neuronů, aby změna přesáhla prahovou hodnotu (danou vlastnostmi iontových kanálů v membráně), je po axonu vyslán tzv. akční potenciál (rychle se šířící změna elektrického potenciálu), který nakonec dospěje až k synapsím na jeho konci. Tam dojde k vylití připraveného neurotransmiteru ven do synaptické štěrbiny, kde je zachycen receptory na dendritické synapsi dalšího neuronu. To v něm způsobí změnu elektrického potenciálu dle typu transmiteru – buď kladnou (excitace), nebo zápornou (inhibice). A je-li překročen práh, vzniká tak další akční potenciál. Přenos informace v biologické síti je tedy (většinou) dvojí, elektrochemické povahy. V neuronu probíhá přenos přes elektrický potenciál, mezineuronová komunikace probíhá chemicky za použití specifických transmiterů.

Zpracování signálu v umělém neuronu (obr. 1) je jednoduchou matematickou operací: do jeho těla přicházejí vstupy jako reálná čísla a každý je vynásoben jemu příslušnou synaptickou vahou (také reálné číslo). Hodnota vnitřního potenciálu po dosažení prahové hodnoty (sumací vstupů) dává výstup neuronu, který představuje akční potenciál. Nárůst výstupní hodnoty je určen aktivační (přenosovou) funkcí. Nejjednodušším typem je tzv. ostrá nelinearita (binární 1/0). Odpověď přirozených neuronů (akční potenciál) je však spojitá, silně nelineární, a proto se častěji využívá nelineárních aktivačních funkcí, tzv. saturačních, nejčastěji funkce sigmoidální. Tato funkce transformuje součet vstupů do intervalu < 0, 1 >, což má zároveň imitovat frekvenci akčních potenciálů.

Umělá neuronová síť se skládá z neuronů, které jsou vzájemně propojené tak, že výstup jednoho neuronu je vstupem více neuronů, podobně jako konce axonu biologického neuronu jsou synapsemi spojeny s dendrity více jiných neuronů. Počet neuronů a jejich vzájemné propojení určuje architekturu sítě. Z hlediska využití se rozlišují vstupní, pracovní (skryté) a výstupní neurony. Zjednodušeně lze říci, že v biologické analogii vstupní neurony odpovídají receptorům, výstupní efektorům a propojené pracovní neurony mezi nimi vytvářejí příslušný výpočetní systém.

Nejjednodušší a nejpoužívanější formou umělé sítě je síť vícevrstvá s dopřednými vazbami, kde jsou všechny neurony jedné vrstvy propojeny se všemi neurony vrstvy následující (obr. 2). Neexistují však žádné spoje mezi vzdálenějšími vrstvami nebo mezi neurony v rámci jedné vrstvy. Byť je tato architektura základní a existují složitější, žádná se ani zdaleka nepřibližuje komplexnosti mozku. Je však namístě zmínit, že vrstevnaté uspořádání je v mozku „evoluční novinkou“. Kůra savců, která odpovídá za nejvyšší nervovou činnost a vykonává nejsložitější výpočetní procesy, je horizontálně uspořádána do šesti vrstev a její neurony jsou sdružovány do vertikálních sloupců považovaných za samostatné výpočetní jednotky.

Schopnost ukládat, uchovávat a vybavovat informace je základní vlastností každého mozku. Vznik paměťové stopy v sítích živočichů začíná zvýšenou aktivitou mezi neurony. Pokud přetrvává či je opakována, spouští se procesy vedoucí ke zvýšení počtu synapsí, receptorů, množství výlevu mediátoru atd. To vše přispívá k zesílení komunikační cesty těchto neuronů. Docházet může i k remodelaci sítě nebo rašení nových vláken. Umělé sítě se učí změnami svých parametrů.

Mohou to být přenosové funkce, prahy, ve složitějších případech i změna počtu výkonných prvků a architektury, většinou se však uskutečňuje analogickou modifikací hodnot synaptických vah. Synapse jsou tedy v obou případech zásadními nositeli informace.

Cílem učení je nalézt takovou konfiguraci vah, která by realizovala požadovanou funkci. Existují různé učicí algoritmy pro různé modely sítí. V závislosti na charakteru sítě se může učit buď „s učitelem“, nebo bez něj. Při učení s učitelem je síti předkládána trénovací množina s množinou požadovaných výstupů, které se musí naučit. Nejrozšířenějším učicím algoritmem je metoda zpětného šíření chyby (backpropagation), kde se chyba počítá z rozdílu mezi skutečným a požadovaným výstupem a pak se zpětně předává vnitřním neuronům, přičemž se násobí váhou spoje. Tato metoda má ovšem zásadní nedostatky a zároveň neodpovídá biologické skutečnosti – akční potenciál se šíří pouze jedním směrem (nicméně některé principy synaptické plasticity probíhají i retrográdním šířením informace). V případě živočichů si můžeme za trénovací množiny dosadit prvky přirozeného prostředí a za učitele interakci s nimi.

Využitelnost umělých sítí spočívá především v jejich schopnosti generalizace. Síť představuje spojité zobrazení vstupů do spojitého zobrazení výstupů. Pokud je mezi příklady v trénovací množině a požadovanými výstupy nějaká závislost, síť ji objeví. Zadá-li se jí pak vstupní hodnota, která se nenacházela mezi příklady, na nichž byla trénována, dá i přesto rozumný výstup. Součástí generalizace je i schopnost predikce budoucnosti, což je v případě živočicha vlastnost značně zvyšující jeho úspěšnost. V umělých sítích se používá pro predikci např. cen akcií, počasí atd.

Vývoj umělých sítí probíhá zvyšováním počtu vrstev a hledáním vhodných algoritmů, které by je dokázaly „zaučit“. Modelů v průběhu let vzniklo několik. Od perceptronu – modelu jediného neuronu přes neokognitron, který byl schopen rozpoznávat psaný text, kresceptron rozpoznávající 3D objekty až po dnes nejčastěji používaný, nejperspektivnější a nejvýkonnější model tzv. hlubokého učení (deep learning), který vyřešil dlouho přetrvávající problém metody zpětného šíření chyby. Je ve velké míře rozvíjen společnostmi jako Google, Microsoft nebo Facebook. Současný vývoj se zaměřuje především na rozpoznávání řeči a obrazu.

Metoda deep learningu spočívá v přednastavení sítě na základě vstupů, dříve než jsou požadovány výstupy. Vstupní data přicházející do vstupní vrstvy totiž obsahují šum a nadbytečné informace. Smyslem první skryté vrstvy je odstranit nežádoucí šum a ve vstupních datech rozpoznat podstatné rysy. Další vrstva potom kombinuje výstupy předchozí vrstvy do rysů „vyšší úrovně“ a tak to pokračuje až k nejvyšší skryté vrstvě. Jakmile jsou „předtrénovány“ všechny nižší vrstvy, přidá se výstupní vrstva a na doučení se použije klasický algoritmus zpětného šíření chyby.

V tomto modelu můžeme opět vidět podobnost mezi kůrou mozku, jejíž vrstvy fungují jako hierarchicky uspořádané filtry, které v každé vrstvě zachycují jistou část informací a poupravené je posílají do vyšších vrstev. Analogii lze spatřit i na úrovni vývoje mozku, která nás odlišuje od ostatních primátů. Lidský mozek zůstává značně plastický až do pozdně poporodního období, zatímco mozek jiných primátů je víceméně maturován již při narození. Náš mozek je tak formován brzkou interakcí s vnějším světem, což nám umožňuje přizpůsobovat se rychle se měnícímu prostředí.

Na závěr je třeba říct, že současný model neuronových sítí je nesmírně užitečný, ale ignoruje zásadní časové a prostorové vlastnosti neuronů, komplexní dynamiku generovanou celou škálou iontových kanálů a spoustu dalších aspektů. Dalším problémem je nalezení způsobu, jak modelovat a reprezentovat kauzální vztahy mezi podněty, resp. jak by měl systém integrovat abstraktní poznatky a vjemy okolí do logických závěrů. Z těchto stále zásadních překážek je jasné, že cesta za prvním umělým mozkem bude ještě nesmírně spletitá.

Literatura

Vladimír Mysliveček a kol.: Základy neurověd. 2. přepracované vydání, Triton, Praha 2009.

Jiří Šíma, Roman Neruda: Teoretické otázky neuronových sítí. Matfyzpress, Praha 1996.

Mirko Novák a kolektiv: Umělé neuronové sítě. Teorie a aplikace. C. H. Beck, Praha 1998.

Yoshua Bengio: Learning Deep Architectures for AI. now publisher Inc, Hanover 2009.

Juyang Weng: Natural and Artificial Intelligence: Introduction to Computational Brain-Mind. BMI Press, 2012.

Timothy Busbice: Extendind the C. elegans Connectome to Robotics. InterIntelligence Research, 2014.

http://www.openworm.org/science.html.

http://connectomeengine.com.

https://youtu.be/YWQnzylhgHc.

Poznámky

1) Emergence (z lat. e-mergere, vynořovat se, vyvstávat) znamená spontánní vznik makroskopických jevů a struktur složitých systémů, které nelze odvodit z vlastností jejich elementárních složek.

Neurobotika – Modelování konektomu Caenorhabditis elegans

Neurobotika je konstruktivním přístupem ke zkoumání přirozených neuronových sítí vytvářením jejich umělých modelů. Příkladem může být softwarový model nervové soustavy hlístice C. elegans, který nedávno vytvořil inženýr Timothy Busbice. Model simuluje funkci 302 neuronů propojených stejně jako v živé hlístici. Tělo hlístice představuje robot (stavebnice LEGO MINDSTORMS, obr. 3), senzorické vjemy jsou přijímány pomocí senzorů, přenášeny do senzorických neuronů, informace jsou zpracovány sítí a předány do motorických neuronů, které aktivují motory. Tento umělý rámec tedy umožňuje simulaci funkce nervové soustavy od senzorických vstupů po svalové výstupy.

Robot odpovídá na základní stimuly stejně jako živá hlístice: zvuková stimulace, představující stimulaci potravní, vyvolá pohyb ve směru zvuku. Po naražení na překážku robot změní směr a po stimulaci dotykových čidel se pohybuje směrem od podnětu. V reálném čase to lze zhlédnout na odkazu: https://youtu.be/YWQnzylhgHc.

Výjimečnost tohoto modelu spočívá ve způsobu, jakým zpracovává informace. Odpovědi nejsou řízeny naprogramovanými algoritmy, ale jsou vlastností konektomového systému – informace je paralelně distribuována po celé síti. To je zásadní rozdíl vůči dosavadní koncepci umělé inteligence. Byť je model nedokonalý a napodobuje činnost pouhých 302 neuronů, ukazuje, že samotná neuronová síť může vést k pozorovanému chování, a snad si i lze představit, ruku v ruce s vývojem moderních technologií, že bude časem možné odpovědět na otázku, zda je mysl emergentní1) vlastností jejího biologického substrátu, či je-li v ní obsaženo „něco víc“.

Soubory

článek ve formátu pdf: V201605_276-278.pdf (485 kB)

Diskuse

Žádné příspěvky