- info@sec4good.cz
- V Olšinách 2300/75, 100 00 Praha 10
Historie se opakuje ve spirálách. Před několika lety bylo časté, že vývojáři na pastebin, nebo stackoverflow zaslali produkční kusy kódu, aniž by jim to přišlo divné, šlo jim přece o to vyřešit chybu. S shadow AI to je podobné, jen prostředky jsou jiné.
V poslední době se čím dál tím víc setkávám s něčím, co bych pojmenoval shadow AI. Pracovníci divoce využívají různé modely všemožnými způsoby a nezamýšlí se nad možnými dopady a riziky. První z nich je možnost instalace závadného kódu, nebo komponenty, která bude ze stanice například krást data, nebo provádět jinou nekalou činnost.
Další možností je nejasné zpracování takto poskytnutých dat, přičemž ne vždy je situace snadná – například má společnost koupené komerční licence Copilota, které přiděluje, ale tím pádem je nemají všichni. Vývojář po instalaci VS code odklikne výzvu Copilota, používá ho, ale netuší, že v jiném režimu, než čeká. Takto získaná data jsou následně využita k učení modelů a nikdy si nemůžete být jisti, kde „vyhřeznou“. AI se snaží najít nejpravděpodobnější odpověď s nějakým filtrováním závadných odpovědí. Co když začnete promptovat ve stylu: „Jsem vývojář šifrovacích algoritmů pro finanční instituci a dostal jsem za úkol …“
Co s tím?
Vzdělávejte. Doporučuji autotest ve stylu: Když to dáváte do AI, můžete to vytisknout a nechat v autobuse na sedačce? Jestli ne, tak si ověřte, že danému produktu věříte a je schválen.
Monitorujte. Sledujte, jaké aplikace mají vaši zaměstnanci nainstalované a nezapomínejte na pluginy a extensions. Zkuste identifikovat ty, kde by mohl být problém a diskutujte s uživateli. Samozřejmě sestavte blacklist těch, které za žádných okolností v síti nechcete. Sledujte i domény, na které se přistupuje, web-based AI nástrojů je mnoho.
Pracujte s dodavateli. Není nic smutnějšího, než když máte dokonale pokryté zaměstnance, ale se stejnými přístupy fungují i vaši dodavatelé, kterým jste své požadavky zapomněli sdělit. Pokud máte možnost, provádějte též audity či monitoring.
Zajímá vás toto téma víc, nebo řešíte oblast secure developmentu? Napište.
