Science Café > Praha > Jan Romportl: Obavy ze superinteligence jsou namístě

Jan Romportl: Obavy ze superinteligence jsou namístě

Ing. Mgr. Jan Romportl, Ph.D. je Chief Data Scientist v O2 Czech Republic. Do roku 2015 působil na Západočeské univerzitě v Plzni, kde vedl oddělení Interakce člověka a stroje ve Výzkumném centru nových technologií, věnoval se aplikovanému výzkumu umělé inteligence na Katedře kybernetiky Fakulty aplikovaných věd a vyučoval filozofii umělé inteligence na Fakultě filozofické. Od roku 2015 buduje v O2 analytický tým intenzivně zaměřený na využívání a rozvoj pokročilého strojového učení v oblasti telekomunikačních dat. Kromě nedávného půlročního výletu do tech-startupového prostředí coby Chief Science Officer v AI Startup Incubatoru se nyní věnuje i výzkumu bezpečnosti umělé inteligence. Dále výzkumně spolupracuje s Centrem teoretických studií Univerzity Karlovy, s Národním ústavem duševního zdraví a s českým spolkem hnutí Effective Altruism. Organizuje také AI Safety Meetup v Praze.

Věnuje se společnost rizikům vývoje a používání umělé inteligence (artificial intelligence, dále AI) dostatečně a včas?

Ve společnosti se sice o rizicích AI mluví hojně, ale domnívám se, že velmi špatným způsobem a ve špatném kontextu. Laická veřejnost totiž rizika AI ztotožňuje s Terminátorem, tedy s jakousi Freudovskou projekcí do archetypu hrůzyplného obživlého monstra v podobě nápadně připomínající lidského kostlivce. Strach z Terminátora je tedy ve skutečnosti odvěkým strachem z oživlého neživého, tedy stejný jako strach z duchů a zombíků. S racionálním hodnocením rizik AI nemá nic společného – dokonce je přímo zatemňuje a zbytečně mystifikuje.

Druhým extrémem je pak významná část komunity AI výzkumníků a inženýrů, kteří naopak rizika AI bagatelizují, nevnímají či prostě odmítají vidět. To je naopak klasická hypertrofovaná hybris v moderním podání. Naštěstí se tato část komunity postupně zmenšuje a bezpečnost AI se stává konečně věcným tématem. Ale jde to pomalu.

V mnohých schopnostech již umělá inteligence předčí člověka. Jsou reálné obavy, že získá i emoční stránku a bude chtít třeba zničit sebe nebo nás?

Úplně bych oddělil téma emoční stránky od tématu snahy zničit nás jako lidstvo. Skutečná obecná umělá inteligence (AGI), tedy až vznikne, možná emoční stránku bude mít, možná nikoli. A možná to nebudeme schopni nikdy rozhodnout. Rozhodně bych otázku nestavěl tak, že je potřeba se emoční stránky u AGI obávat. AGI klidně může mít emoční stránku a nebude nás chtít zničit, nebo emoční stránku mít nemusí a přesto nás bude chtít zničit. Nebo jakákoli ze čtyř možných kombinací.

Já osobně bych byl pro tu první variantu, ale nebudu se zlobit ani v případě, že AGI emoce mít nebude a zároveň nás nebude chtít zničit. Každopádně obavy, že nás AGI (či spíše z ní postupně vzniklá superinteligence) bude chtít zničit (nebo alespoň udělat s námi něco, co my sami nechceme… nemusí to být hned zničení), jsou velmi namístě, avšak nikoli proto, že by AGI byla zlá (a to zlo okoukala od nás), ale proto, že se snaží dosáhnout nějakého obecného cíle, který jsme jí my sami zadali a u kterého se bohužel příliš pozdě ukázalo, že k jeho dosažení vede z hlediska AGI nejkratší cesta taková, na níž překážíme my či naše hodnoty a vidění světa.

Je možné dát neživé věci svědomí nebo pud sebezáchovy?

Pokud AGI vznikne, tak už u ní nebude možno hovořit jako o neživé věci. Anorganické možná ano, ale nikoli neživé. Život je vlastnost procesů a systémového uspořádání věcí, nikoli substrátu, z nichž tyto věci jsou. Ale jak je to vlastně i u živých systémů (třeba člověk, pes, žížala, bakterie) s jejich vědomím a svědomím (k existenci toho druhého rovnou předpokládám existenci toho prvého)? Mají je?

Ono totiž vědomí má dvě velmi fantastické vlastnosti: 1) Jediný, o kom jsem spolehlivě schopný prohlásit, že má vědomí, jsem já sám; o nikom jiném (ani o člověku, ani o zvířeti) toto tak spolehlivě prohlásit nemůžu. 2) To, že mám vědomí, je pak navíc to jediné, co jsem zcela spolehlivě schopen o sobě prohlásit; vše ostatní mohou být jen smyslové klamy; jediná moje absolutní jistota je, že mám vědomí. Takže jak je to s jinými lidmi? Lidi se prostě evolučně naučili jeden o druhém předpokládat, že ten druhý má vědomí. Proč? Protože to je velmi efektivní pro kooperaci a pro přežití. Ty evolučně-historické populace, jejichž členové měli problém toto jeden o druhém automaticky předpokládat, se pod evolučním tlakem už dneška nedočkaly.

Dovolím si zde připomenout i krutě nepříjemnou pravdu: ještě před dvěma sty lety se naši vlastní předci dohadovali, jestli otroci zavlečení do Evropy a Ameriky z Afriky vůbec mají vědomí a cítí bolest. Ta doba už naštěstí dosti pominula, ale dost možná něco podobného nás čeká s AGI. Budeme se setkávat s bezprecedentní jinakostí a bude jen na nás, jestli dokážeme této jinakosti vědomí přisoudit a podle toho s ní pak i jednat. Úplně s jistotou se to nedozvíme nikdy, ale pokud AGI bude svojí vnitřní komplexitou velmi podobná vnitřní komplexitě člověka a zároveň se bude navenek chovat, jako kdyby vědomí měla, tak by podle mě mělo platit “in dubio pro reo” – tedy AGI vědomí skutečně má, a proto se k ní tak chovejme.

A ještě k pudu sebezáchovy: tam je situace jiná, ten vůbec nesouvisí s vědomím. Pud sebezáchovy si AGI bezpochyby vybuduje jako jeden ze svých instrumentálních cílů – tedy cílů, které jí pomohou na cestě za jejím hlavním cílem (ať ten bude jakýkoli). AGI se totiž velmi brzy dovtípí, že hlavního cíle se jí bude velmi špatně dosahovat, pokud její existence skončí. Musí tedy svojí existenci zachovat.

Lze AGI něčím motivovat a nějak trestat?

Motivační systém musí AGI mít nedílně integrovaný do svého algoritmu. Podobně jako u člověka je jeho motivačním systémem saturace dopaminu v mozku, pro AGI to bude například to, jak se jí daří pokročit v řešení optimalizace nějaké velmi složité matematické funkce. Ta funkce má nějak souviset s hlavním cílem, kterého se snaží AGI dosáhnout (např. kolika lidem již pomohla, nebo kolik již vyrobila kancelářských svorek, to je jedno…).

Pokud člověka potrestám tím, že ho zavřu do vězení, je to útok na jeho dopaminový systém. Pokud AGI potrestám tím, že ji odstřihnu od přístupu k informacím (třeba odpojím od internetu), je to útok na její schopnost dále řešit danou funkci. Obojí je trestem. Avšak tuším, že za otázkou se ve skutečnosti skrýval dotaz na vědomé prožívání toho trestu ze strany AGI. Bude s tímto trestem, tedy útokem na svou schopnost optimalizovat cílovou funkci, mít spojena nějaká qualia, kvalitativní prožitky? Možná ano, možná ne, ale toho se týká spíše má odpověď na předchozí položenou otázku o vědomí a svědomí.

Lišíme se my sami od předobrazu kompletně vybavené “superinteligence”? Co si myslíte o představách, že i my jsme jen chemickými reakcemi, nebo jednotlivými komunikujícími buňkami jako samostatnými mikroskopickými počítači?

Superinteligence bude velmi jiná, než jsme my. AGI bude v některých aspektech stejná, v některých jiná. A my samotní? My skutečně jsme “jen” neuvěřitelně složitými spletenci biochemických a bioinformačních procesů. Ale to “jen” je v uvozovkách proto, že bychom to naopak měli vnímat jako nesmírnou krásu. Krásu, nadšení a údiv z toho, že fyzikální zákony jsou nastaveny tak, že umožní takto neuvěřitelně komplexní organizaci neživé hmoty do celků, které jsou nejen živé, ale mají i vědomí a dokážou obdivovat komplexitu svoji i komplexitu vesmíru.

Pokud chceme poznat, čím skutečně jsme, neměli bychom v člověku hledat žádnou mystiku. Oceňovat a vážit si té křehké ale zároveň pevné komplexnosti a krásy, to ano, ale snažit se hledat nějaký tajemný élan vital či nadpřirozeno, to nikoli. Samozřejmě člověk to mystično klidně může svobodně hledat proto, aby se mu lépe žilo v těžkém světě, ale nepovede to k poznání, čím skutečně jsme a jaký je náš opravdový potenciál. Pokud člověk nějakou transcendenci přesto chce hledat (vřele to doporučuji, sám to tak mám), pak ať se nezaměřuje na lidskou inteligenci, myšlení či vědomí. To skutečně transcedentní není. To je “jen” biologický stroj na zpracování informací. Ať se zaměří spíše na Vesmír. Jak vznikl ten? Jak vznikl prostor a čas? Proč jsou kvantové jevy? Je nekonečně paralelních vesmírů? Tam je skutečných transcendentních otázek až až.

Jan RomportlRozhovor připravila Dominika Jettmarová.

 

Janem Romportlem se na přednášce blíže podíváme na vývoj života a přechod k tzv. Life 3.0. Jsou takové změny nevyhnutelné? A jaká rizika přináší? Druhým hostem bude Ondřej Bajgar, který vysvětlí, jak neuronové sítě fungují a odpoví na otázky, kde jsou jejich silné stránky, kde mají zatím lidé před stroji výrazný náskok, nebo s jakými problémy se kolem nich musíme potýkat. Těšíme se na vás v kavárně Potrvá (Srbská 2, Praha 6) v úterý 9. října od 19 hodin. Přidejte se k události na Facebooku a pozvěte i své přátele!

Dominika Jettmarová

Fandíte Science Café?

 

Jsme na sociálních sítích