Приложения

Расскажу о 18 экспериментах по проверке текстов с помощью LLM, для каждого из которых написано приложение, содержащее соответствующий протокол ошибок и неточностей.

Приложения 1 (https://vk.com/@1077823-prilozhenie-1-avtomaticheskaya-proverka-s-pomoschu-bazy-nezn) и 2 (https://vk.com/@1077823-prilozhenie-2-avtomaticheskaya-proverka-s-pomoschu-bazy-nezn) появились в результате просьбы 27.05.2026 г. заместителя декана Татьяны Харченко посмотреть работу бакалаврcкую работу студента X, у которого руководитель уехал в командировку. Я отправил его к «виртуальному Шалыто». Студент использовал две модели.

Приложение 3 (https://vk.com/@1077823-prilozhenie-3-ekspertnyi-razbor-bakalavrskoi-raboty-studenta) появилось в моей коллекции в это же время после проверки бакалаврской работы студента Y доцентом Святославом Штумпфом, который за несколько дней до указанной даты предложил использовать мои советы вместе LLM.

28 мая 2026 г. меня с днем рождения поздравил мой друг профессор Валерий Вяткин из университета Aalto, которому я рассказал о том, что произошло. Валерий, в отличие от других моих знакомых, не стал откладывать проверку моего предложения и совместил в LLM диссертацию своего аспиранта, которую ещё не читал, со ссылкой на мой текст, а после этого попросил написать протокол проверки. Их мгновенное взаимодействие привело к неприятным для текста последствиям, так как LLM выдала многостраничный протокол о несоответствии проверенного текста моим советам. Вяткин удивился, потом хмыкнул и сказал: «А диссертация-то на … английском языке!» После этого удивился и я. Конечно же, в этом протоколе ничего не было сказано про английский язык, так как по этому вопросу моя «база незнаний» не содержала никакой информации, но моих советов хватило для того, чтобы найти другие ошибки по оформлению текста, которые можно считать интернациональными. Это стало ещё одним подтверждением того, почему советы названы универсальными. Этот протокол мы решили не приводить, но протоколы по проверке бакалаврских работ, написанных на английском языке, приведены ниже.

Приложение 4 (https://vk.com/@1077823-proverka-bakalavrskoi-raboty-i-prezentacii-k-nei-s-pomoschu) родилось 16.06.2026 г. на защите бакалаврских работ после выступления студента Ивана Тарасова, которому по презентации было сделано много замечаний. Поэтому я попросил этого студента автоматически проверить свою работу и презентацию с использованием моей «базы незнаний» и агента одной из LLM и рассказать о полученном протоколе после объявления результатов защиты. Этот протокол с переченем ошибок и замечаний, который приведен ниже, содержит восемь (!) страниц, обработанного мной текста. Как мне показалось, протокол произвел большое впечатление на присутствующих студентов и членов комиссии, что подтвердил один из них – генеральный директор компании «Програмсоюз», один из первых выпускников кафедры «Компьютерные технологии» Михаил Холин (https://vk.com/@1077823-proverka-bakalavrskoi-raboty-i-prezentacii-k-nei-s-pomoschu).

Приложения 5 (https://vk.com/@1077823-prilozhenie-5-primenenie-bazy-neznanii-dlya-polucheniya-prot) и 6 (https://vk.com/@1077823-prilozhenie-6-primenenie-bazy-neznanii-dlya-polucheniya-prot появились следующим образом. Наш выпускник Евгений Южаков (https://vk.com/@1077823-ot-kotlasa-do-yandeksa-cherez-zolotye-medali-na-icpc) по моей просьбе проверил свою бакалаврскую работу: Южаков Е.М. «Построение автономного виртуального робота на основе автоматного подхода (CodeRally)», бакалаврская работа, СПбГУ ИТМО, 2003 (https://is.ifmo.ru/download/coderally.pdf). Почему Женя проводил по моей просьбе эксперименты? Я хотел в его лице иметь не просто заинтересанта в компании «Яндекс», а сторонника подхода. По моему мнению, это могло бы произойти только в случае, если бы он сам попробовал использовать этот подход на близком ему примере, и полученный результат удовлетворил бы его. Ведь давно известно, что сколько не говори слово «халва» во рту – слаще не станет. Эксперимент Жене понравился…

Я попросил нашего выпускника Александра Смаля (https://is.ifmo.ru/vis/vinograd/), проверить с помощью предлагаемого подхода одну из работ на английском языке, защищаемых в июне 2026 г. Протоколы, полученные с использованием модели Gemini от компании Google и модели Deep Seek, приведены в приложениях 7 (https://vk.com/@1077823-prilozhenie-7-protokol-poluchennyi-po-bakalavrskoi-rabote-st) и 8 (https://vk.com/@1077823-prilozhenie-8-protokol-poluchennyi-po-bakalavrskoi-rabote-st). После этого Саша написал: «Хорошо подражает Ваш стиль руководства :-)». Потом он продолжил: «Часть замечаний очень меткие. Прочитал вступление к первому протоколу Паше и Ниязу (наши выпускники, чемпионы мира по программированию по версии ICPC Павел Маврин и Нияз Нигматуллин), чем их очень порадовал».

Приложения 9–12 (https://vk.com/@1077823-prilozhenie-9-protokol-ot-20062026-g-proverki-dissertacii-gu, https://vk.com/@1077823-prilozhenie-10-sozdanie-s-pomoschu-modeli-deepseek-protokola, https://vk.com/@1077823-prilozhenie-11-protokol-proverki-dissertacii-v-rezhime-gospo, https://vk.com/@1077823-prilozhenie-11-protokol-proverki-dissertacii-v-rezhime-gospo) появились в результате проверки 20.06.2026 г. двумя моделями, каждая из которых запускалась в двух режимах («раб» и «госпожа»), моим бывшим аспирантом, нашим выпускником Вадимом Гуровым своей кандидатской диссертацию, защищенной в 2009 г.

Приложение 13 (https://vk.com/@1077823-prilozhenie-13-proverka-teksta-chernovika-dissertacii-vv-ter) в некотором смысле оказалось «вишенкой на торте». Вот письмо, которое я получил: «Меня зовут Владислав Терещенко, я являюсь аспирантом второго года обучения по специальности 2.3.4. «Управление в организационных системах». Я был последним на факультетской аттестации аспирантов, прошедшей 19.06.2026 г., на которой сказал, что протоколы сделал и даже показал, что они существуют, но произвести по ним исправления черновика диссертации и презентации не успел. По Вашей просьбе направляю протоколы их проверки с помощью LLM на соответствие «Универсальным советам защищающимся». Я использовал LLM GPT-5.5, доступную по подписке Plus (ее стоимость примерно $30 в месяц). При проверке в режиме «раб» я устанавливал в модель режим, при котором она не имела доступа в Интернет». Посмотрите какой большой и классный протокол получился, что, видимо, также связано и с тем, что Владислав правильно управлял моделью! В этом протоколе по черновику его диссертации было 47 замечаний и советов по их исправлению.

После этого Владислав получил протокол проверке соответствия исходного текста требованиям, предъявляемым к диссертации по техническим наукам, с помощью LLM в режиме «госпожа» (без использования моих советов). Он приведен в приложении 14 (https://vk.com/@1077823-prilozhenie-14-proverka-prezentacii-dissertacii-vv-tereschen). В этом протоколе 97 замечаний и советов по их исправлению. Такое число замечаний изменило мой взгляд на проверку в режиме «госпожа», только как на средство, используемое в основном для поиска грамматических и стилистических ошибок. Этот результат поставил меня на «место»: знания человечества, на которых обучены LLM, позволяют находить в диссертациях не только эти ошибки.

В приложении 15 (https://vk.com/@1077823-prilozhenie-15-sravnitelnyi-analiz-protokolov-iz-prilozhenii) приведено сравнение протоколов из приложений 13 и 14, выполненное LLM под управлением В. Терещенко. Ввиду того, что указанные наборы замечании практически не пересекаются, модель предложила проверку работ проводить в четыре этапа: 1. Сначала в режиме «раб», позволяющем учесть многолетний опыт Шалыто в области защит диссертаций, составить протокол замечаний, и оставить в нем только те замечания, с которыми Вы согласны. 2. Устранить их. 3. Исправленный текст проверить в режиме «госпожа» и составить протокол замечаний, и оставить в нем только те замечания, с которыми Вы согласны. 4. Устранить их.

В приложении 16 (https://vk.com/@1077823-prilozhenie-16-proverka-prezentacii-dissertacii-vv-tereschen) приведен протокол проверки презентации Владислава в режиме «раб», в приложении 17 (https://vk.com/@1077823-prilozhenie-17-proverka-prezentacii-na-sootvetstvie-trebovan) – в режиме «госпожа», а в приложении 18 (https://vk.com/@1077823-prilozhenie-18-sravnitelnyi-analiz-protokolov-k-prezentaciya) приведено их сравнение.

Какие выводы я сделал из анализа полученных протоколов?

1. Несмотря на строгость промптов в части того, чтобы не было самодеятельности моделей, они, если не отключить эту возможность, все-таки что-то добавляет от себя. Это подтверждает необходимость тщательной проверки протоколов. Большинство советов в сгенерированных протоколах по делу. При этом в ряде случаев модель дает полезные советы, улучшающие текст, которые у меня отсутствовали. В некоторых случаях он дает неправильные советы, что обычно связано с недосказанностью в промпте (например, если в нем было сказано, что речь идет об иностранном вузе или о том, какой тип квалификационной работы проверяется).

2. В моих советах рассматривались грамматические особенности только русского языка. Я думал, что советов по этим особенностям для работ на другом языке (английском), не будет, но это оказалось не так. После того, как модель ознакомилась с моими советами в этом вопросе на русском языке, она решила помочь мне, высказав несколько советов относительно правильности использования английского языка в проверяемой работе. Кроме того, модели бывает не нравится, что я в основном делаю замечания по оформлению и представлению работы, и она от себя добавляет замечания по существу, например, указывая на неправильности в коде.

3. Мне казалось, что беллетристику для повышения производительности агентов надо убрать, однако некоторые агенты считают целесообразным часть беллетристики использовать в начале протокола.

4. Работу следует проверять агентами разных компаний и/или различными агентами одной компании, так как генерируемые ими протоколы могут существенно различаться. Протоколы будут отличаться и при нескольких запусках одной модели в одном и том же режиме.

5. Проверку текстов и презентаций следует проводить в четыре указанных выше этапа.

6. У меня получился лучший в мире стартап: польза большая, а инвестиций (кроме моего труда) никаких.

7. В приложении 13 моделью был выбран очень удачный формат для указания замечаний и их исправлений: Недостаток. Где это видно. Почему это замечание. Как поправить. Приоритет.

8. Обратите внимание на отмеченные моделями ошибки в приведенных ниже протоколах. Они типичные. Постарайтесь их не делать в своих работах.

Приложение 1 размещено здесь: https://vk.com/@1077823-prilozhenie-1-avtomaticheskaya-proverka-s-pomoschu-bazy-nezn.