C. E. Shannon – průkopník informačního věku

Čas od času vznikne v některé vědecké komunitě zvláště plodné klima – sejde se skupina lidí, kteří mají nové nápady a dovedou je rozvíjet, vyrojí se spousta nových teorií a často se stará disciplína buď zásadním způsobem rekonstruuje, nebo nahradí teorií novou.

Líhní nových myšlenek byly pro kvantovou a jadernou fyziku v dvacátých letech 20. století univerzity v Göttingenu a v Cambridži. V letech čtyřicátých se podobným zdrojem nových myšlenek stala jiná Cambridge (na druhém břehu Atlantiku) a také předměstí Bostonu, kde jsou Harvardova univerzita a Massachusettská technika (MIT). Právě zde byly zkonstruovány první analogové a číslicové počítače, vznikla tu regulační technika opírající se o solidní matematické základy, byl zde vybudován pojem informace, zrodila se tu kybernetika. Vynikající matematikové, např. John von Neumann nebo Norbert Wiener, zde spolupracovali s řadou vynikajících inženýrů, jako byli Howard Aiken, Vannevar Bush, Robert Phillips, Claude Elwood Shannon a také Antonín Svoboda (Vesmír 78, 632, 1999/11). Spolupráce byla do značné míry stimulována válečnými událostmi, nicméně díky ní byly zahájeny procesy vedoucí k vzniku informační společnosti.

Jména jako John von Neumann či Norbert Wiener jsou známa široké veřejnosti, C. E. Shannon je znám spíše jen odborníkům v kybernetice či informatice. Je to především tím, že psal úsporně, v duchu matematického formalizmu. Své myšlenky, často dost revoluční, se nijak nesnažil popularizovat, a přesto jakmile se v zmíněných disciplínách začneme zabývat jakýmkoliv problémem, nelze na jeho dílo nenarazit. Vděčíme mu – mimo jiné – za exaktní definici stěžejního pojmu současnosti: pojmu informace.

Magna charta informačního věku

Shannon sám se již od r. 1939 zabýval otázkami jak co nejlépe využít komunikační kanály (telefon, telegraf, televizi apod.). Cítil, že musí existovat nějaké matematické vztahy mezi dobou přenosu, šířkou frekvenčního pásma, šumem a množstvím přenesené informace. Postupně tyto vztahy objevoval a na naléhání svých spolupracovníků je r. 1948 publikoval společně s matematikem Warrenem Weaverem v článku „A mathematical theory of communication“. Někteří historikové vědy tuto práci nazývají „Magna charta informačního věku“. Ukazuje se v ní, že k exaktnímu zkoumání informace je potřeba abstrahovat od její sémantické stránky a omezit se na stránku syntaktickou, která je statistickými prostředky snadněji popsatelná. Informace spočívá v odstranění neurčitosti. Při vyjádření míry odstraněné neurčitosti dospěl Shannon k formálně stejnému vztahu, který koncem 19. století odvodil Ludwig Boltzmann pro entropii. Není známo, zda si toho Shannon nebyl vědom (měl však v teoretické fyzice velmi dobré vzdělání), anebo se spíš chtěl vyhnout zbytečným diskusím, nicméně v pracovní verzi tohoto článku používal termín „funkce neurčitosti“.

Profesor M. Tribus vzpomíná, jak se jednou zúčastnil diskuse mezi Shannonem a von Neumannem. Von Neumann tehdy Shannonovi řekl: „Pokud jde o tu vaši funkci neurčitosti, doporučoval bych vám nazývat ji entropie. Jednak se ve statistické fyzice definuje stejným způsobem, jednak nikdo pořádně ne­ví, co to vlastně je. Kdoví, jestli ta vaše entropie a entropie termodynamická nejsou jedno a totéž.“ U člověka tak kompetentního lze jen obdivovat skromnost (von Neumann během svého působení v Göttingenu publikoval zásadní práci o entropii v kvantové mechanice) i slova v jistém smyslu prorocká. Shannon si vzal Neumannovo doporučení k srdci, použil termín entropie a vyvolal tím mnohaletou diskusi, zda jde o podobnost formální, či faktickou.

Tato diskuse byla velmi plodná a vedla k zjištění, že zdánlivě nehmotná informace je pevně vázána na fyzikální svět hmoty a energie a že každý přenos či záznam informace vyžaduje disipaci jisté energie, a tedy vzrůst termodynamické entropie.

Tato diskuse zdaleka není uzavřena a stále se objevují nové aspekty. Zejména v tom, že dnes známe řadu alternativních měr neurčitosti, které nejsou založeny na pravděpodobnostním přístupu. Konstituuje se zobecněná teorie informace, která zahrnuje dosud známé míry neurčitosti, jež může přinést zcela neočekávané výsledky. Richard Feynman ve svých přednáškách z fyziky říká, že v historii fyziky existují jen dva případy, kdy inženýr výrazně obohatil fyzikální teorii, shodou okolností v disciplínách, které na sebe navazují. Byli to Sadi Carnot v termodynamice a C. E. Shannon v teorii informace.

Shannonův článek založil vlastně novou disciplínu na pomezí matematiky a sdělovací techniky – teorii informace. Bez ní bychom neměli internet, stěží bychom dokázali přenášet obrázky ze sond pohybujících se na hranicích sluneční soustavy, ukládat data na elektronická média, používat mobilní telefony a řadu dalších věcí. Teorie informace se uplatňuje od tepelných strojů až po matematickou lingvistiku. Málokdo z dnešních mladých počítačových nadšenců, pro které je termín „bit“ naprostou samozřejmostí, tuší, že toto zkratkové slovo (vytvořené z binary digit – dvojková číslice) pochází z uvedeného Shannonova článku.

Strojové učení a využití wienerovské filtrace

Shannon byl jedním z prvních, kteří se zabývali strojovým učením. Navrhl počítačový program, jímž byla řízena mechanická myš „Theseus“. Pohybovala se v bludišti a na základě pokusů a omylů se učila tak dlouho, až nalezla z bludiště optimální cestu ven. Shannon je také autorem jednoho z prvních programů na hraní šachu. Myšlenky teorie informace aplikované na kryptografii přinesly zásadní zlom jak v šifrování, tak v dešifrování dokumentů.

Významným základním teoretickým výsledkem prací na protileteckých zaměřovačích, které se prováděly na MIT během války, a rozhodující prací pro vznik kybernetiky byla Wienerova teorie filtrace a predikce časových řad. Wiener ukázal, že minulé pohyby letadla do jisté míry omezují jeho pohyby budoucí, a že tedy z historie pohybu letadla je možno poměrně úspěšně předpovídat polohu budoucí. Po válce se ukázalo, že lze úspěšně překovat meče v pluhy a wienerovská filtrace se dá použít v mnoha praktických aplikacích. Původní Wienerova kniha měla žlutou obálku a pro její velmi obtížnou matematiku jí pracovníci aplikační sféry říkali „žluté nebezpečí“. (Úloha filtrace a predikce formulovaná v časové oblasti vyžadovala velmi obtížné řešení Wienerovy-Hopfovy diferenciální rovnice.) Shannon a H. W. Bode nalezli ve frekvenční oblasti řešení, které je mnohem jednodušší, přístupné každému inženýrovi. To umožnilo rozšířit využití wienerovské filtrace do mnoha oborů – od odhadů vývoje akcií až po hledání epileptických ohnisek v pacientově mozku.

Cimrmanovské vynálezy

Vědci Shannonova formátu zpravidla nedokážou opustit svůj obor a pracují do vysokého věku. C. E. Shannon ale aktivní činnosti zanechal r. 1961, když byl na vrcholu svých tvůrčích sil. Podle svých slov hodlal „užívat života“, což spočívalo v tom, že se intenzivně věnoval hudbě a také se zabýval vynalézáním věcí, které nesměly být příliš užitečné. Doma měl několik klavírů a řadu jiných nástrojů.

K tomu se váže historka z Shannonovy návštěvy Sovětského svazu: Za ruské překlady svých prací obdržel značnou částku, ale podle sovětských předpisů nebylo možno peníze vyvézt a v SSSR zas nebylo za co je utratit. Shannon to vyřešil nákupem osmi hudebních nástrojů – od basy až po balalajku – a jeho rodina byla při návratu považována za cestující orchestr.

Shannonovy „vynálezy“, jimiž se bavil na odpočinku, by jistě ocenil i Jára Cimrman. Jako nadšený žonglér a jezdec na jednokolce (na které občas dojížděl z domova do laboratoře) zkonstruoval například dvousedadlovou jednokolku. Jiným příkladem byl kalkulátor, který prováděl aritmetické operace pomocí římských číslic. Zkonstruoval také velmi promyšlený robot, který dokázal žonglovat s několika míčky. Osud mu na toto užívání života vyměřil ještě více než třicet let. Během nich mohl sledovat, jak výsledky jeho raných prací postupně mění svět.