Článek
Svět firemních procesů a každodenní práce na počítači je plný opakujících se úkolů, které vyžadují interakci s různými aplikacemi. Často se jedná o starší „legacy“ systémy, specifický desktopový software, nebo webové portály bez moderních API, přes které by bylo možné úkoly snadno automatizovat. Zatímco AI copiloti se stávají našimi chytrými asistenty pro generování textů, shrnování informací nebo psaní kódu, jejich schopnost skutečně „konat“ v těchto těžko přístupných aplikacích byla dosud omezená.
Microsoft se nyní snaží tuto mezeru zaplnit a propojit sílu konverzační umělé inteligence s možností interakce přímo s uživatelským rozhraním aplikací. Oznamuje novou, převratnou schopnost v rámci nástroje Microsoft Copilot Studio.
Microsoft Copilot Studio: Váš nástroj pro tvorbu AI asistentů
Pro ty, kdo nejsou zcela v obraze, Microsoft Copilot Studio je výkonný nástroj, který umožňuje firmám i jednotlivcům (včetně „citizen developers“, tedy uživatelů bez hlubokých programovacích znalostí) vytvářet si vlastní Copiloty a chatboty na míru. Tyto copiloti mohou být integrováni do různých platforem a pomáhat s celou řadou úkolů – od zodpovídání dotazů zákazníků po pomoc zaměstnancům s interními procesy. Doposud však jejich „akční“ schopnosti závisely primárně na předpřipravených konektorech k jiným cloudovým službám (jako je Microsoft 365, Dynamics 365, Salesforce atd.) nebo na volání specifických API.
Výzva „nestandardních“ aplikací
Problém nastal ve chvíli, kdy firemní proces zahrnoval krok v aplikaci, která žádné API nemá, nebo je její konektivita omezená. Jak by mohl Copilot například:
- Získat data z interního databázového programu vytvořeného před 20 lety?
- Zkopírovat informace z e-mailu a vložit je do formuláře v konkrétní desktopové aplikaci?
- Projít několik kroků na firemním intranetu, který funguje jen v určitém prohlížeči?
Tyto úkoly musel stále provádět uživatel ručně, klikáním, psaním a kopírováním. Copilot mohl nanejvýš poskytnout informace nebo instrukce, ale nemohl úkol sám dokončit.
Řešení: „Používání počítače“ poháněné UI Automation
A přesně zde přichází klíčová novinka: Microsoft do Copilot Studia přidává schopnost nazvanou „Computer Use“ (v překladu „Používání počítače“), která je poháněna technologií UI Automation. UI Automation, kterou známe například z Power Automate Desktop, je forma Robotic Process Automation (RPA). Umožňuje softwaru interagovat přímo s uživatelským rozhraním aplikací – simulovat klikání myší, psaní na klávesnici, čtení textu z obrazovky, procházení menu a další akce, přesně jako by je prováděl člověk.
Jak Copilota naučíte „používat počítač“? Jednoduše ukázkou!
Integrace UI Automation do Copilot Studia je navržena tak, aby byla intuitivní. Uživatelé nyní mohou nahrát sekvenci akcí, které provádějí na svém počítači v konkrétní aplikaci nebo na webu. Tato nahrávka se převede na takzvaný UI flow (tok uživatelského rozhraní).
Tento vytvořený UI flow se následně stane akcí, kterou lze přidat do libovolného „tématu“ (topiku) v rámci Copilota v Copilot Studiu. Když pak uživatel v konverzaci s Copilotem spustí toto téma (například „Prosím, zaktualizuj mi data v aplikaci XY podle tohoto e-mailu“), Copilot může automaticky spustit nahraný UI flow na uživatelově počítači. Copilot doslova „převezme kontrolu“ na obrazovce, provede nahrané kroky (otevře aplikaci, přihlásí se, zkopíruje data z e-mailu, vloží je do formuláře, uloží) a po dokončení se vrátí do konverzace s uživatelem.
Přemostění konverzační AI a RPA
Tato nová funkce představuje významné přemostění světa konverzační umělé inteligence a automatizace procesů. Spojuje schopnost Copilota rozumět přirozené řeči a kontextu s možností skutečně provádět úkony v reálném softwarovém prostředí, a to i v aplikacích, které byly dosud mimo dosah AI automatizace.
Klíčové výhody funkce „Používání počítače“
Integrace UI Automation do Copilot Studia přináší řadu zásadních výhod pro firmy a jejich zaměstnance:
- Automatizace kompletních procesů „od začátku do konce“: Poprvé mohou Copiloti automatizovat složité firemní procesy, které zahrnují kroky v desktopových, legacy nebo jinak těžko integrovatelných aplikacích.
- Rozšíření akčních schopností Copilota: Copiloti už nejsou jen „mluvící hlavy“ poskytující informace; stávají se aktivními účastníky pracovních toků, schopnými provádět úkoly přímo na počítači uživatele.
- Zvýšení produktivity: Automatizace opakujících se manuálních úloh, které vyžadují interakci s UI, uvolňuje čas zaměstnancům pro hodnotnější práci.
- Zjednodušení integrace: Umožňuje automatizovat procesy v aplikacích bez potřeby drahého a časově náročného vývoje vlastních API nebo konektorů.
- Posílení „citizen developers“: Schopnost „naučit“ Copilota nový úkol jednoduchým nahráním kroků zpřístupňuje pokročilou automatizaci širšímu okruhu uživatelů ve firmě.
Příklady použití v praxi
Možnosti využití jsou široké. Copilot s touto schopností by mohl například:
- Na požádání získat prodejní report z interního ERP systému, který je dostupný jen přes desktopovou aplikaci, a shrnout ho do konverzace.
- Automaticky zadat nového zákazníka do CRM systému, který nemá API, vyplněním formuláře na obrazovce.
- Zpracovat faktury, které přijdou e-mailem – stáhnout přílohu, otevřít ji v konkrétním programu, zkopírovat data a vložit je do účetního systému pomocí UI Automation.
- Automaticky generovat a stahovat sestavy z webového portálu, který vyžaduje specifické kroky v prohlížeči.
Dostupnost
Funkce „Computer Use“ poháněná UI Automation je v současné době zaváděna ve fázi veřejného preview pro uživatele Microsoft Copilot Studio. To znamená, že zájemci si ji již mohou začít testovat a zkoumat její možnosti.
Závěr: Copilot se stává ještě praktičtějším asistentem
Integrace schopnosti „Používání počítače“ do Microsoft Copilot Studio představuje významný skok vpřed. Copiloti se stávají mnohem více než jen konverzačními rozhraními; získávají schopnost skutečně interagovat s digitálním světem na našich desktopech, propojují svět AI s reálnými, často rutinními pracovními úkoly. Tato nová funkce otevírá dveře k mnohem širší a hlubší automatizaci firemních procesů a dělá z Copilota ještě praktičtějšího a silnějšího pomocníka v našem každodenním digitálním životě. Budoucnost, kde AI asistenti bezproblémově spolupracují s veškerým naším softwarem, se právě stala reálnější.
