- info@sec4good.cz
- V Olšinách 2300/75, 100 00 Praha 10
Včera se na ČVUT v Praze konala přednáška na téma AI bezpečnosti a demokracie. Přednášejícím nebyl nikdo jiný než Bruce Schneier. Celou přednášku pojal jako prezentaci svých myšlenek a velmi pragmaticky hovořil o stavu věcí – bez zaujetí pro AI, nebo proti ní.
Začal tím, jak měl možnost vyzkoušet si Claude Fable. Model byl sice výkonný, ale podle něj je dobré zmínit, že Anthropic má skvělý marketing, kterým všechny přesvědčil, o kolik je jejich model lepší než ty konkurenční. Přitom jsou si všechny modely velmi podobné a výsledek často záleží jen na harnessu (systémových instrukcích) a na samotném promptu.
AI je v tomto ohledu jako takový džin. Úkoly v lidském světě jsou často nedostatečně specifikované a AI nemá dostatek zkušeností a kontextu, aby je řešila stejně jako my. To pak může vést k vážným bezpečnostním problémům – zvláště pokud je AI napojená na fyzické systémy (jako jsou autonomní auta) nebo komunikuje s lidmi, kteří se systém snaží zmanipulovat. Jediný způsob, jakým se dnes pokoušíme zajistit bezpečnost, je pomocí již zmíněných harnessů – tedy instrukcí, které jsou k modelu posílány společně s těmi našimi.
Celou situaci pak Bruce přirovnal k placeným telefonním automatům v 60. letech. Tehdy řídicí instrukce i samotný hovor procházely stejným kanálem, díky čemuž mohli hackeři po přehrání specifického tónu volat zdarma. U AI jde dnes také vše jedním kanálem a potýkáme se se stejným problémem.
V závěru přednáška zamířila k politice a dotazům z publika. Bruce vnímá, že v mnoha případech nebudou potřeba obří modely, protože běžným lidem budou stačit ty menší pro vyřešení problému. Zmínil také, že dalším krokem by měl být vznik veřejných, eticky trénovaných modelů, jako to udělali například ve Švýcarsku. Nastínil i budoucnost Evropy v tomto technologickém závodě a vysvětlil, proč podporuje regulace. Ty podle něj nejsou nutně špatné a neomezují pokrok. Pokud jsou zavedeny správně, mají pokrok naopak urychlit, protože definují jasná pravidla pro to, co od technologií očekáváme a chceme.
Publikum se s Brucem nakonec rozloučilo hlasitým potleskem a on s námi s poznámkou, že Praha je sice krásná, ale počasí za moc nestojí.
