Рынок

ИИ-агенты провалили почти половину заданий по подбору товаров в тесте Visa

Visa представила бенчмарк Visa Agentic Commerce Benchmark, который проверяет, как ИИ справляется с покупками в реалистичных сценариях. В первом раунде 22 модели от 12 лабораторий в среднем прошли 57,2% попыток, говорится в пресс-релизе компании.

Модели выполнили 15 сценариев с покупкой телевизоров, ноутбуков и устройств для ухода за собой. Каждый сценарий они проходили по три раза. Лучшие системы справились с 82,2% попыток, худшая — с 28,9%.

По данным Fortune, лидерами стали агенты на базе Gemini 4 Argon от Google и Muse Wonder от Meta. Третье место занял агент на основе Claude от Anthropic с результатом 76%, решение OpenAI оказалось на шестой строчке с 64%.

Будьте в курсе
движения ваших монет

Алерты, котировки в реальном времени и новости рынка — в одном приложении


Наведите камеру телефона, чтобы установить

4,8 на основе 40 К оценок в App Store и Google Play

Visa также сопоставила результаты со стоимостью работы моделей. Пять самых дорогих систем прошли 67,1% попыток, пять самых дешевых — 50,2%. При этом высокая цена не гарантирует успеха, отметили в компании.

Почему ИИ ошибался при покупках

По условиям теста, модель должна была выяснить потребности покупателя в ходе разговора. Если подходящего товара нет, ИИ следовало отказаться от покупки.

Например, при выборе телевизора нужно было узнать бюджет покупателя, требования к изображению и игровым возможностям. Сразу покупатель называл только часть условий.

Около 54% неудачных попыток все равно закончились покупкой. Модели либо рекомендовали товар, который не соответствовал требованиям, либо выясняли не все условия.

Еще одной проблемой стала нестабильность: все три попытки в одном сценарии модели прошли лишь в 34,2% случаев.

Глава направления роста Visa Рубаил Бирвадкер в комментарии Fortune признал, что технологии и доверие к ним пока недостаточно развиты. При этом он ожидает, что вскоре потребители смогут доверять ИИ-агентам и поручать им покупки.

В самой Visa подчеркнули, что результаты не означают неготовность агентов к торговле, но надежность их работы остается проблемой. В дальнейшем компания планирует добавить новые категории товаров и распространить тесты на оформление заказа и оплату.

Покупатели пока не готовы доверить ИИ платежи

Согласно отдельному опросу Visa, проведенному в конце сентября — начале октября, 54% взрослых американцев уже использовали ИИ хотя бы для одной задачи, связанной с покупками. Годом ранее этот показатель составлял 47%.

Чаще всего ИИ применяли для сравнения цен, проверки наличия товаров, поиска скидок и подбора подарков.

С финансовыми операциями ситуация иная. В исследовании Visa Trust Index, проведенном в мае, лишь 23% опрошенных американцев заявили, что доверяют генеративному ИИ проводить платежи от их имени.

Когда речь шла об обработке таких транзакций через Visa, доля доверяющих выросла до 61%.

Нерешенным остается и вопрос ответственности за ошибочные покупки или мошеннические транзакции, совершенные агентами. Visa и Mastercard обучают продавцов и создают инструменты для агентной коммерции.

Напомним, в сентябре Visa, Mastercard и Ant International договорились о совместной разработке правил проверки ИИ-агентов. Инициатива Know Your Agent предполагает назначение ответственных за действия агентов, оценку их безопасности и мониторинг операций.

Click to Pay: история микроплатежей от W3C до Lightning Network и x402

Источник

Добавить комментарий

Кнопка «Наверх»
  • bitcoinBitcoin (BTC) $ 75,826.00
  • ethereumEthereum (ETH) $ 2,230.40
  • tetherTether (USDT) $ 0.998868
  • usd-coinUSDC (USDC) $ 0.999423
  • tronTRON (TRX) $ 0.318224
  • zcashZcash (ZEC) $ 1,256.74
  • moneroMonero (XMR) $ 617.02
  • dogecoinDogecoin (DOGE) $ 0.071998
  • leo-tokenLEO Token (LEO) $ 9.36
  • chainlinkChainlink (LINK) $ 10.70
  • cardanoCardano (ADA) $ 0.182043
  • bitcoin-cashBitcoin Cash (BCH) $ 272.17
  • stellarStellar (XLM) $ 0.154135
  • daiDai (DAI) $ 1.00
  • litecoinLitecoin (LTC) $ 52.02
  • hedera-hashgraphHedera (HBAR) $ 0.067843
  • crypto-com-chainCronos (CRO) $ 0.048928
  • okbOKB (OKB) $ 106.09
  • ethereum-classicEthereum Classic (ETC) $ 6.92
  • kucoin-sharesKuCoin (KCS) $ 7.18
  • algorandAlgorand (ALGO) $ 0.094039
  • cosmosCosmos Hub (ATOM) $ 1.40
  • dashDash (DASH) $ 44.78
  • true-usdTrueUSD (TUSD) $ 0.998472
  • vechainVeChain (VET) $ 0.005433
  • tezosTezos (XTZ) $ 0.249301
  • decredDecred (DCR) $ 12.51
  • basic-attention-tokenBasic Attention (BAT) $ 0.129016
  • iotaIOTA (IOTA) $ 0.037884
  • neoNEO (NEO) $ 1.87
  • 0x0x Protocol (ZRX) $ 0.092029
  • qtumQtum (QTUM) $ 0.716780
  • ontologyOntology (ONT) $ 0.042796
  • liskLisk (LSK) $ 0.190276
  • paxos-standardPax Dollar (USDP) $ 0.993974
  • wavesWaves (WAVES) $ 0.222241
  • ravencoinRavencoin (RVN) $ 0.001249
  • huobi-tokenHuobi (HT) $ 0.120812
  • bitcoin-diamondBitcoin Diamond (BCD) $ 0.061182
  • monacoinMonaCoin (MONA) $ 0.060706
Закрыть
Закрыть