Jak měřit, jestli AI v e-shopu opravdu šetří čas nebo vydělává peníze

AI projekt v e-shopu, AI marketing ani automatizace správy e-shopu by neměly začínat větou: „Musíme něco dělat s AI.“ To je slabé zadání. Lepší začátek je: Kde chceme ušetřit čas, zlepšit kvalitu nebo zvýšit výkon?

Teprve potom dává smysl řešit nástroj, prompt, integraci nebo AI asistenta.

Měření je u AI důležité ze dvou důvodů. Zaprvé rychle ukáže, jestli projekt opravdu pomáhá. Zadruhé chrání e-shop před situací, kdy se investuje čas a peníze do něčeho, co vypadá moderně, ale reálně nepřináší výsledek.

Nejdřív určete typ přínosu

AI může přinést různé typy hodnoty. Není dobré je házet do jednoho pytle.

Nejčastější přínosy:

1. časová úspora,
2. vyšší konzistence obsahu,
3. rychlejší překlady,
4. lepší produktová data,
5. rychlejší zákaznická podpora,
6. méně opakovaných dotazů,
7. lepší zákaznická zkušenost,
8. více obsahu pro kategorie, poradnu nebo kampaně.

Každý z těchto přínosů se měří jinak. Pokud si e-shop neřekne, co přesně chce zlepšit, bude AI hodnotit jen podle dojmu.

Časová úspora: nejjednodušší první metrika

Nejlépe se začíná u času. Například:

1. kolik minut trvá vytvořit produktový popis ručně,
2. kolik minut trvá po AI návrhu,
3. kolik času zabere kontrola,
4. kolik výstupů se musí vrátit k přepracování,
5. kolik produktů nebo dotazů zvládne tým za den.

Důležité je počítat celý proces. Pokud AI napíše text za 20 sekund, ale člověk ho 8 minut opravuje, úspora nemusí být tak velká, jak vypadá.

Dobrá metrika není „AI vytvořila 500 textů“. Dobrá metrika je: kolik kvalitních textů prošlo kontrolou a kolik času to ušetřilo proti původnímu procesu.

Kvalita výstupů: bez toho se měření rozpadne

U AI nestačí měřit objem. Musí se měřit kvalita.

U produktových popisů sledujte:

1. pravdivost,
2. srozumitelnost,
3. konzistenci tónu,
4. práci s parametry,
5. výskyt neověřených tvrzení,
6. potřebu ručních oprav.

U zákaznické podpory sledujte:

1. správnost odpovědi,
2. míru předání člověku,
3. opakované dotazy,
4. spokojenost zákazníka,
5. jazykovou kvalitu,
6. chyby způsobené chybějícím know-how.

Tady je dobré mít kontrolní vzorek. Ne všechno se musí kontrolovat navždy ručně, ale na začátku je kontrola nezbytná.

Pozor na analýzu čísel

Tady je potřeba být přísný. LLM (large language model, česky velký jazykový model) není automaticky dobrý datový analytik. Umí dobře formulovat hypotézy, shrnout podklady nebo navrhnout otázky. Ale když mu dáte tabulku a chcete definitivní závěr, může se mýlit.

Problém je v tom, že AI může vytvořit přesvědčivý komentář i k datům, kterým nerozumí. Může přehlédnout sezonu, marži, změnu měření, skladovou dostupnost nebo špatně interpretovat atribuci.

Proto by AI u čísel měla pomáhat takto:

1. navrhnout, na co se podívat,
2. shrnout již ověřené výstupy,
3. připravit otázky pro analytika nebo marketéra,
4. vysvětlit metriky méně technickému člověku,
5. porovnat komentář s předem připravenou metodikou.

Neměla by bez kontroly rozhodovat o rozpočtech, cenách nebo strategii online marketingu.

Měřte i chybovost

AI projekt může šetřit čas a zároveň vyrábět chyby. Proto je potřeba měřit i negativní metriky:

1. počet faktických chyb,
2. počet neověřených tvrzení,
3. počet zákaznických eskalací,
4. počet oprav po publikaci,
5. počet odpovědí, které musel převzít člověk,
6. počet textů vrácených k přepracování.

To není byrokracie. Je to způsob, jak poznat, jestli AI opravdu pomáhá, nebo jen přesouvá práci z tvorby do oprav.

Jednoduchý měřicí rámec

Pro první AI projekt bych použil jednoduchou tabulku:

1. proces před AI,
2. proces s AI,
3. čas před,
4. čas po,
5. počet výstupů,
6. chybovost,
7. počet ručních oprav,
8. dopad na zákazníka,
9. rozhodnutí: škálovat, upravit, zastavit.

Tento rámec stačí pro první měsíc. Není potřeba budovat složitý reporting dřív, než víte, že projekt dává smysl.

Co je dobrý výsledek

Dobrý AI projekt nemusí hned zvýšit obrat. To je u některých procesů příliš vzdálená metrika.

Dobrý výsledek může být:

1. o 40 % rychlejší příprava překladů,
2. méně dotazů na stejný problém,
3. rychlejší zaškolení podpory,
4. konzistentnější produktové texty,
5. rychlejší publikace nových kategorií,
6. lepší podklady pro marketing.

Čísla si každý e-shop musí změřit na svých procesech. Ale princip je stejný: AI má být hodnocená podle výsledku, ne podle toho, jak moderně zní.

Kam pokračovat

Pokud s AI teprve začínáte, přečtěte si AI pro e-shop: co má smysl automatizovat jako první. Celkový rámec najdete v článku AI pro e-shop: kde dává smysl a kde zatím ne.

Zdroje

• Google Search Central: Creating helpful, reliable, people-first content
• NIST: Artificial Intelligence Risk Management Framework

Chcete měřit AI podle výsledků, ne pocitu?

Pomůžeme vybrat AI projekty, nastavit metriky a oddělit skutečný přínos od drahé hračky.