Стать полезнее для пользователя и не разориться: бизнес нашел применение генеративному ИИ

Директор по продукту, руководитель направления по развитию ИИ и Support продуктов АО "Райффайзенбанк" Илья Щиров на форуме DataDay 4 июля описал три сценария применения генеративного искусственного интеллекта (ИИ), которые эффективны с коммерческой точки зрения: во-первых, это генерация датасетов с помощью генеративных моделей для чат-ботов. Для этого, по словам Ильи Щирова, можно использовать open source. Риски будут минимальными, и инструмент легко монетизируется.

"Второе применение - это интеграция больших языковых моделей (large language model, LLM) в CRM-системы. Это нужно, чтобы саммаризировать не отдельные элементы в текст, а весь путь клиента. CRM обеспечивает омниканальность, там отображены все точки касания клиента с сервисом. Но специалисту еще требуется время, чтобы считать информацию и понять. Омниканальность есть, а толку нет. Генеративная модель должна быстро дать описание пути клиента. Будет огромный прорыв, и мы над этим работаем, когда генеративной модели удастся изложить вкратце путь клиента и помочь оператору. Это сложная задача, но не столь затратная. Основная проблема лежит в данных", - отметил Илья Щиров.

Третий кейс, по его словам, - применение генеративных моделей в базах знаний, которые есть почти во всех крупных банках и помогают специалистам в отделе поддержки. "Здесь модель может выдавать не просто перечень поисковой выдачи из базы знаний, а конкретный ответ. Это должен быть вспомогательный инструмент для тех специалистов, кто работает с людьми", - добавил Илья Щиров.

По его мнению, эти области применения языковых моделей невысокорискованные и легко просчитываемые с точки зрения затрат и получаемой пользы.

Доцент Высшей школы цифровой культуры университета ИТМО Валентин Малых считает, что если в компании нет ИТ-компетенции, то, возможно, не стоит создавать отдел Data Science с нуля.

"Отдел Data Science - это большой проект. Необходимо найти руководителя, который готов этим заняться, а также сотрудников, способных выполнять работу. Это должен быть непрерывный процесс, что довольно сложно. У одного нашего клиента, крупной добывающей компании, есть отдел Data Science, который решает определенные задачи, но он небольшой. В компании работает около 10 тыс. человек, а в отделе Data Science - около 10, и они не могут решить все задачи, необходимые для такой крупной компании, поэтому некоторые компетенции необходимо передать на аутсорсинг", - считает Валентин Малых.

По его словам, бизнес может взять общую модель с рынка и немного ее доработать, чтобы она соответствовала потребностям компании. "Если компания не готова вкладывать серьезные средства, включая оборудование, в течение нескольких лет, чтобы получить продукт, который, вероятно, будет использоваться всего один раз, то лучше отдать задачу специализированным компаниям", - заключил Валентин Малых.

Руководитель лаборатории искусственного интеллекта "Яндекса" Александр Крайнов объяснил, что большие, фундаментальные модели - Chat GPT (от Open AI), LLaMA (от Meta* AI), Mistral AL (от французских разработчиков), Giga Chat (от "Сбера"), Yandex GPT - дорогие с точки зрения создания, они требуют инвестиции $150 тыс. и кадров, которых на рынке почти нет, поэтому это решение для компаний с большим бюджетом и серьезными расчетами.

По словам Александра Крайнова, компаниям в качестве альтернативы следует попробовать различные модели, уже имеющиеся на рынке, в том числе open source, сравнить их и дообучить. По его мнению, с дообучением может справиться команда даже из трех человек - уже имеющихся в штате разработчиков. Важно создать компетенцию внутри компании, чтобы была возможность применять идеи для основного бизнеса, а также суметь справиться с проблемой, когда стороннее коробочное решение не подходит.

"Для дообучения большой модели не требуется железо. Это можно сделать в облаке. Однако не стоит тратить средства на облака для вычислений, если это не является частью основного бизнеса. Лучше обратиться к внешним облачным сервисам. Единственная сложность, с которой можно столкнуться, - это прохождение службы информационной безопасности, которая будет препятствовать передаче данных за пределы компании. Но в целом использование внешних облаков - это удобно и эффективно", - отметил Александр Крайнов.

Экономическая целесообразность от использования генеративного ИИ может не всегда быть очевидной. Но, как сказал Александр Крайнов, это вопрос, получит бизнес конкурентное преимущество в будущем или потеряет его.

"В поиске использование сгенерированного ответа проигрывает поисковой выдаче с точки зрения монетизации. В поисковой выдаче есть условно 50 ссылок, где находится нужная информация, и человек тратит время на поисковом ресурсе, чтобы ее найти - он взаимодействует с сервисом и видит рекламу. А есть поиск "Нейро", который сразу отображает сжатый ответ, и человек проводит минимум времени на ресурсе, что гораздо хуже монетизируется. С одной стороны, это приводит к падению прибыли, бизнес только несет затраты, но не зарабатывает. Но с другой - эту функцию добавят все остальные компании, и выживут только те, кто будет более полезным для пользователя", - заключил Александр Крайнов.

* Meta признана в РФ экстремистской организацией и запрещена.

https://www.comnews.ru/content/234128/2024-07-04/2024-w27/1013/openai-v…