Еще раз о языковых моделях

Прошло больше года с тех пор, как я российскому GPT в течение четырех дней задавал один и тот же вопрос: «Алиса, расскажи о Шалыто», и каждый раз получал разные правдоподобные ответы, содержавшие некоторую порцию неправды (https://vk.com/@1077823-alisa-rasskazhi-o-shalyto). Интересно, что каждый раз я был ученым, но мне всегда было не больше шестидесяти лет, так как, видимо, модель «думала», что ученые России (а, возможно, не только они) более длительное время на свете не живут.

В этом году я провел второй этап этих экспериментов, на этот раз на «настоящем» GPT, который на тот же самый вопрос каждый раз выдавал совсем уж полную муть, что, видимо, связано с тем, что эту модель плохо учили тому, что написано по-русски.

Я задал модели вопроc: «Расскажи о Шалыто» и получил ответ: «Шалыто – это небольшой поселок в России, расположенный в Ставропольском крае. Известен своим живописным природным окружением и традиционным образом жизни местных жителей. В местности часто проводятся культурные мероприятия, где можно узнать о традициях и обычаях региона. Также здесь развиваются сельское хозяйство и животноводство, что важно для экономической стабильности региона».

Очень удивился и попросил больше данных о расположении поселка. Не моргнув глазом, так как у моей модели глаз не было, она ответила: «Шалыто находится в Ставропольском крае, в Светлоградском районе. Географические координаты: примерно 45.1° с. ш. и 41.1° в. д. Ближайшие города: Ставрополь (примерно 50 км на северо-восток) и Михайловск (около 30 км на север)».

Я проверил эту «информацию», сообщив модели о результате проверки, а потом снова спросил ее: «Что ты знаешь о Шалыто?» После этого получил очередную порцию бреда: «Шалыто – это село в Ставропольском крае России. Оно расположено в пределах муниципального образования «Шпаковский район». Население: cело довольно небольшое. Экономика: основное занятие местных жителей – сельское хозяйство».

В Шпаковском районе такого поселка не оказалось, и единственное, что я нашел в этом жанре в сети был «Список бывших населённых пунктов на территории Бельского района Тверской области», в котором указано что там был поселок «Гарь Шалыта» (https://dic.academic.ru/dic.nsf/ruwiki/1635988?ysclid=m3o4f8aszt381490928). Это было явно не то, что я ожидал получить…

На этом мой очередной эксперимент завершился. Желание узнать, что же ещё знает модель обо мне, не покидала меня, и я через несколько дней спросил её: «Расскажи мне о Шалыто». Вот, что она ответила на этот раз: «Шалыто – это традиционное блюдо, которое встречается в некоторых регионах России…». Потом я написал: «Расскажи». Модель очень обрадовалась этому запросу: «Конечно! Давайте подробнее рассмотрим, как приготовить Шалыто и какие существуют варианты начинки». Дальше писать не буду, так как мои папа и мама давно все это сделали без помощи модели.

Мой коллега Владимир Пинаев решил продолжить этот эксперимент, задав «настоящему» GPT вопрос: «Добрый день! Есть ли дети у Анатолия Абрамовича Шалыто?», получил ответ, который меня сильно удивил, так как из него я узнал, что кроме дочери у меня, оказывается, есть ещё и сын: «Я отвечу, как эксперт в области биографий известных личностей с солидным опытом анализа исторических данных. Да, у Анатолия Абрамовича Шалыто двое детей: сын и дочь. Анатолий Абрамович Шалыто, российский учёный и общественный деятель, имеет сына и дочь. Информация о его детях не широко распространена в открытых источниках, однако известно, что он активно участвует в их жизни и поддерживает их во всех начинаниях».

Я ответил Владимиру: «До сих пор я не знал, что у меня есть сын, но если модель погорячилась и сына у меня пока ещё нет, то какие наши годы!» :-).

Исходя из изложенного дам совет разработчикам языковых моделей: несмотря на то, что многие не доверяют «Википедии», она выдает значительно более правдивые ответы практически на любые вопросы, и я бы при создании языковых моделей при ответах на вопросы давал бы высокий приоритет тому, что знает она.

Кстати, на запрос «Say me about Shalyto» модель в переводе дала нормальный ответ: «Похоже, что с термином «Шалыто» может возникнуть некоторая путаница. На момент моего последнего обновления знаний в октябре 2023 года широко признанного упоминания «Шалыто» в литературе, культуре или других контекстах не существует. Вполне возможно, что оно может относиться к конкретному человеку, месту или понятию, которое малоизвестно. Если вы имели в виду «Шалыто» в определенном контексте (например, имя, место или концепция), предоставьте более подробную информацию или поясните, и я сделаю все возможное, чтобы помочь вам!»

Добавив в запрос слово «Anatoly», я, наконец-то, получил в переводе приемлемый (видимо, такой как хотел) ответ: «Анатолий Шалыто – заметная фигура в области информатики, получившая особое признание за свой вклад в разработку программного обеспечения и теорию алгоритмов. Он участвовал в исследованиях, связанных с формальными методами, проверкой программного обеспечения и разработкой языков программирования. Шалыто также работал над образовательными инициативами, помогая продвигать образование в области информатики и разработки программного обеспечения. В его работах часто подчеркивается важность строгих методологий разработки программного обеспечения для обеспечения надежности и правильности. Если вам нужна более конкретная информация о его работе, публикациях или вкладе, дайте мне знать!»

После этого разочарование в языковых моделях отступило на расстояние, на котором ему и положено быть…

Но находилось оно там недолго, так как я решил на компьютере для «настоящего» GPT уточнить мой запрос на русском языке: «Расскажи о Анатолии Шалыто». На это сеть ответила: «Вы уже отправили боту 10 запросов на этой неделе. Чтобы продолжить использование бесплатной версии, подпишитесь на наш канал TrendWatching про новости и тренды из мира IT, технологий, бизнеса или подключить Premium», и … обманула, так как после подписки на указанный канал ничего не изменилось…

Я не люблю сдаваться, а тем более быть обманутым, и в этот момент, видимо не случайно, вспомнил, что «настоящий» GPT на моих компьютере и смартфоне не синхронизированы. Поэтому указанный выше последний вопрос задал GPT на смартфоне. Так как в этот раз никаких ограничений я не нарушил, то получил ответ: «Анатолий Шалыто – это российский учёный и инженер, известный своими исследованиями в области электроники и автоматизации. Он занимался разработкой новых методов управления и обработки данных, а также принял участие в ряде крупных научных проектов. Его научная деятельность включает в себя публикацию множества статей и участие в конференциях, где он поделился своими знаниями и опытом. Важным аспектом его работы является внедрение современных технологий в практику, что способствовало развитию отрасли».

Как говорится в сетевой рекламе: «Учитесь писать промты», что я и делаю, а потом рассказываю об этом вам.

Из изложенного следует, что мне пока не удается окончательно расстаться с разочарованием, но ведь надежда, если это не человек, обычно умирает последней…

19.11.2024.