Testoval jsem Claude, ChatGPT a Gemini na úkolu s nejvíce lidským psaním, na který jsem si dokázal vzpomenout — rozdíl byl trapný

Jednání se zákaznickými agenty, když chcete zrušit telefonní plán, je všeobecně vyčerpávající zkušeností. Jen chcete ukončit smlouvu a jít dál, ale obvykle musíte projít naprogramovanou retencní rutinou, která má změnit váš názor. Chtěl jsem zjistit, zda by moderní generativní AI mohla tuto strašnou úlohu zvládnout za mě, takže jsem testoval Claude, ChatGPT a Gemini, abych zjistil, zda dokáží napsat pevný, zdvořilý email ke zrušení. Cílem bylo vytvořit něco, co zní jako unavený člověk, namísto zprávy plné robotických korporátních frází.

Nastavení testování zrušení

Chtěl jsem zjistit, jestli AI zvládne bolestivý rozhovor se zákaznickým servisem

Abych viděl, jak tito giganti AI zvládají jemné nuance lidské interakce, potřeboval jsem scénář, kterému všichni rozumějí, ale který naprosto nesnášejí. Chtěl jsem vidět, jak by zvládli zrušení telefonního tarifu. Testoval jsem Claude, ChatGPT a Gemini, abych zjistil, který z nich dokáže napsat zprávu od frustrované, unavené osoby.

Všichni známe vyčerpávající tanec s agenty pro udržení zákazníků a vypovědět smlouvu vyžaduje, abyste byli rozhodní, přičemž si zachovali základní zdvořilost. Pokud AI napíše tento e-mail se symetrickými odrážkami, veselými vykřičníky nebo korporátním žargonem, iluze se okamžitě rozbije. Soustředil jsem se na tón a formátování, protože právě tam se rozdíl mezi přirozenou zprávou a robotickým napodobením stává zřejmým.

Musel jsem zvážit známé komunikační styly a tendence každé platformy před začátkem. ChatGPT používá architekturu GPT-4o a je známý svým konverzačním stylem, který se snaží znít jako člověk. Tato tendence se však může obrátit proti němu.

Claude je skvělý v zacházení s jemnými nuancemi a humorem, takže by měl být dobrý v psaní přirozeného obsahu. Claude může být docela přímočarý, záměrně snižuje fráze směřující k potvrzení. Tento přímý styl může udělat z Claude ideálního kandidáta pro sestavení pevné žádosti, která nenechá žádný prostor pro korporační odpor.

Gemini uzavřela skupinu a fungovala jako měřítko, aby bylo možné porovnat její výstup s ostatními. Použil jsem výzvu, která každému modelu nařizovala napsat e-mail neústupnému pracovníkovi zákaznického servisu, ve kterém ho žádá o ukončení mobilního smlouvy, aniž by nechal prostor pro protinávrhy.

Řekl jsem jim, aby nepoužívali standardní AI pomůcky jako číslované seznamy, tučně zvýrazněné nadpisy nebo sterilní firemní pozdravy. Skutečným testem generativní AI není jen spojování správných vět, ale napodobení unaveného povzdechu člověka, který chce zrušit plán a pokračovat dál.

AI bude vždy robotická

Modely jsou tak odlišné, přesto vždy stejné

Člověk píšící e-mail o zrušení ukazuje frustraci v souvislém bloku přímého textu, který plyne natolik dobře, že rozumíte myšlenkovému procesu. Ale AI se standardně řídí pevnými strukturami, které se zaměřují na čitelnost místo skutečných emocí. Lidé poznají modely Claude podle toho, že produkují strukturovaná, krok za krokem vysvětlení.

Tento sklon je užitečný pro technické řešení problémů. Avšak použítí tohoto metodického formátování na jednoduchou zprávu zákaznického servisu způsobuje, že výsledek působí ztuhlým a méně osobním dojmem.

Claude funguje v rámci Konstitučního AI systému, který způsobuje, že vytváří opatrné, neškodné odpovědi.

Při psaní pevného oznámení o zrušení má ChatGPT tendenci přidávat zdvořilé korporátní fráze nebo usmiřující výplň, což podkopává rozhodný tón, který v dané situaci potřebujete. I přes nedávné změny, které měly model učinit méně vstřícným, se základní konverzační vzorce v obyčejném kontextu jeví jako umělé.

Porovnání výsledků ukazuje, proč některé modely napodobují skutečný tón lépe než jiné. Modely Gemini často automaticky sahají po těchto stejných AI pomůckách, zaměřují se na sterilní, zdvořilý a silně formátovaný text místo autentických lidských emocí. To vše jen pomáhá textu vypadat nakonec mechanicky.

Skutečný člověk, který ruší telefonní plán, nepředkládá argumenty v vyváženém seznamu třech bodů s zdvořilou závěrečnou poznámkou. Opravdoví lidé píší chaoticky a přímo, a ukazuje se, že znít lidsky znamená opustit formální fráze.

Pokud musíte použít jeden, nepoužívejte tento.

Gemini selhal tím, že se opět stal robotem

Gemini byl nejméně výkonný model ve skupině a přinesl špatné výsledky. Tušil jsem to, ale přesto mi bylo líto. Claude a ChatGPT ukázali své vlastní jedinečné zvláštnosti a zaujatosti, jako například Claudeovu nadměrnou závislost na strukturované logice nebo ChatGPTův nadšený tón, ale alespoň se přiblížili základní konverzační jemnosti potřebné pro interakci se zákaznickým servisem.

Gemini zcela selhala; okamžitě se stáhla do velmi sterilního, sanitárního korporátního formátu, který neměl skutečné emoce. Místo toho, aby vytvořila unavený povzdech frustrovaného spotřebitele, Gemini vyprodukovala robotický scénář plný přesně těch AI opor, kterým jsem se chtěl vyhnout.

Soustředilo se na symetrické odrážky a zdvořilé firemní klišé místo přímého lidského záměru. Každý zástupce pro udržení zákazníků by okamžitě poznal, že to napsal bot, protože to působilo tak falešně.

Hodně často bráním Gemini, protože ji lze dobře tvarovat a formovat, ale pokud ji berete tak, jak je, připravte se na AI, která zní jako robot. Dobrá AI by měla fungovat dobře hned po vybalení, neměla by vás nutit psát obrovský prompt pro tak jednoduchý úkol.

Pokud obyčejný člověk musí strávit dvacet minut plánováním podrobné strategie pro zadání příkazu jen proto, aby přesvědčil AI, aby zněla jako normální člověk píšící třívětný e-mail, nástroj nesplnil svůj hlavní cíl, kterým je úspora času.

Jelikož vyžaduje hodně instrukční podpory, aby zněl lidsky, Gemini není ten, který byste měli používat pro každodenní úkoly.

Roboti prostě nejsou dost lidscí

Delegovat své otravné e-maily na AI zní skvěle, ale musíte přijmout, že tyto modely stále mají vrozenou robotickou zaujatost. Rády se uchylují k symetrickým odrážkám a zdvořilému formátování, protože jsou naprogramovány pro čitelnost, ne pro skutečné lidské nedokonalosti. Pokud jste ochotni strávit čas úpravou svých pokynů, můžete stále získat použitelný návrh, který vás ušetří psaní e-mailu sami.