Приложение 13. Проверка текста черновика диссертации В.В. Терещенко по «Универсальным советам защищающегося» (режим «раб»)
Это приложение в некотором смысле оказалось «вишенкой на торте». Вот письмо, которое я получил: «Меня зовут Владислав Терещенко, я являюсь аспирантом 2-го года обучения направления 2.3.4. «Управление в организационных системах». Я был последним на факультетской аттестации аспирантов, прошедшей 19.06.2026 г., на которой сказал, что протоколы сделал и даже показал их, но внести по ним исправления в черновик диссертации и в презентацию не успел. По Вашей просьбе направляю эти протоколы проверки большой языковой моделью на соответствие Вашим «Универсальным советам защищающимся». Я использовал LLM GPT-5.5 сервиса ChatGPT, доступную по подписке Plus (ее стоимость примерно $30 в месяц). При проверке я устанавливал модель в режим, при котором она доступа к интернету не имела – она должна была выполнять только Ваши советы». Посмотрите какие большой и классный протокол получился, что, видимо, также связано и с тем, что Владислав правильно управлял моделью!
Сформировано: 24 июня 2026 г.
1. Файлы, использованные в чате
Приложенный файл: черновик диссертации В.В. Терещенко на тему «Метод координации моделей искусственного интеллекта для поддержки экспертных решений при многопроекционном анализе научно-образовательных документов» в PDF.
Приложенный файл: «Универсальные советы защищающимся» (https://is.ifmo.ru/books/universalnye-sovety-zaschischauschimsya.pdf). Рекомендации А.А. Шалыто для защищающихся использовались как критерии проверки.
Сформированный файл: Замечания к черновику диссертации В.В. Терещенко В.В. по советам Шалыто.
Итоговый DOCX-протокол замечаний по черновику диссертации.
2. Диалог
Сообщение 1
Пользователь: ты профессиональный ученый и разработчик.
Задача – проверить черновик диссертации_Терещенко В.В. на соответствие документу universalnye-sovety-zaschischauschimsya, который содержит рекомендации соискателям ученых степеней.
Напиши полный и подробный список замечаний в формате DOCX, и как их поправить мне в рамках доработки текста в соответствии с требованиями.
Сообщение 2
Системная отметка о файлах: Загружен файл: Черновик диссертации Терещенко В.В.pdf.
Загружен файл: universalnye-sovety-zaschischauschimsya.pdf.
Сообщение 3
Ассистент: я сопоставлю текст черновика диссертации с рекомендациями, выделю замечания по структуре, научной новизне, формулировкам, оформлению и доказательности, затем соберу результат в DOCX с практическими правками.
Сообщение 4
Диалог чата – проверка диссертации Терещенко В.В.
Ассистент: уже вижу несколько крупных несоответствий: в тексте есть сильные положения на защиту, но не хватает развернутого сравнения с аналогами и прототипом по каждому положению, а экспериментальная часть заявлена как задача, но в структуре работы фактически не оформлена отдельной главой.
Сообщение 5
Ассистент: готово. Я подготовил подробный DOCX-протокол замечаний по приложенному тексту черновика диссертации с опорой на рекомендации Шалыто. Ссылка на сформированный файл в чате: Замечания к черновику диссертации Терещенко В.В. по советам Шалыто.docx.
Сообщение 6
Системная отметка о файле: сформирован и прикреплен файл: Замечания к черновику диссертации Терещенко В.В. по советам Шалыто.docx.
Сообщение 7
Пользователь: собери мне весь диалог этого чата в документ формата DOCX.
Сообщение 8
Ассистент: соберу диалог в DOCX: включу исходный запрос, сведения о приложенных файлах, мои промежуточные сообщения, итоговый ответ и текущую просьбу.
3. Краткое содержание результата предыдущей задачи
Пользователь попросил проверить черновик диссертации на соответствие рекомендациям для соискателей ученых степеней. В качестве проверяемого материала использовался файл «Черновик диссертации Терещенко В.В. pdf». В качестве набора требований и рекомендаций использовался файл «https://is.ifmo.ru/books/universalnye-sovety-zaschischauschimsya.pdf». Ассистент подготовил DOCX с подробными замечаниями и рекомендациями по доработке отчета. После этого пользователь попросил собрать весь диалог текущего чата в отдельный DOCX-документ.
Протокол замечаний к тексту черновика диссертации
«Черновик диссертации Терещенко В.В.». Проверка на соответствие рекомендациям из документа «Универсальные советы защищающимся» А. А. Шалыто. Подготовлено как рабочий документ для доработки текста перед передачей научному руководителю, предзащитой или обсуждением в диссертационном совете.
1. Объем проверки и методика
Проверены два приложенных PDF-документа: черновик диссертации В.В. Терещенко и методические рекомендации «Универсальные советы защищающимся». Проверка выполнена по смысловым блокам рекомендаций: научная новизна, положения, выносимые на защиту, связь с аналогами и прототипом, структура глав, выводы, экспериментальная проверка, внедрение, оформление таблиц и формул, язык, аббревиатуры и единообразие.
Ограничение проверки: приложенный файл представлен в PDF, поэтому часть замечаний по стилям Word, полям, автоматическому оглавлению, шрифтам и внутренним полям документа может быть окончательно подтверждена только в исходном DOCX/LaTeX-файле. Все замечания ниже относятся к видимому содержанию и структуре приложенной версии.
2. Краткие выводы
Текст уже содержит сильную научную рамку: введены объект, предмет, цель, задачи, три положения, выносимых на защиту, математическая модель, метод координации и алгоритм. По духу рекомендаций Шалыто наиболее удачно выглядит попытка сформулировать положения через конструкцию «включающая/включающий… отличающаяся тем, что с целью…». Это правильное направление. Главная проблема не в отсутствии идеи, а в недостаточной доведенности диссертационной логики до формы, удобной для защиты. Сейчас работа местами выглядит как хорошо написанное описание подхода и архитектуры, но не всегда как доказательство трех научных результатов относительно конкретных аналогов и прототипов. Самые важные доработки: явно показать SOTA/аналоги/прототип для каждого положения, добавить экспериментальную главу (иметь нецелесообразно, по возможности описания экспериментов рекомендую включить в соответствующие главы, А.Ш.), оформить заключение и выводы по главам, связать заявленные метрики с экспериментальными результатами.
3. Приоритетный план доработки
3.1. Добавить по каждому положению информацию «аналоги – прототип – ограничение – отличие – эффект». Рекомендации требуют показывать не только что сделано, а чем сделанное лучше лучшего существующего решения. Новизна станет проверяемой и защищаемой.
3.2. Добавить отдельную экспериментальную главу или существенно расширенный экспериментальный раздел (см. мой комментарий, приведенный выше, А.Ш.). В задачах заявлено экспериментальное сравнение, но в структуре приложенного текста оно не раскрыто. Станет доказанным сокращение трудоемкости, полнота замечаний и согласованность с экспертами.
3.3. Оформить «Выводы по главе» как ненумерованные разделы с нумерованными выводами. Сейчас выводы оформлены как часть numbered section и написаны прозой. Упростится восприятие результатов и связь с положениями.
3.4. Добавить «Заключение» с ответом на цель, задачи, новизну, практическую значимость, ограничения. В приложенной версии после главы 4 идет список литературы, а заключение отсутствует. При его введении текст будет завершен как диссертация, а не как набор глав.
3.5. Вычистить языковые и оформительские дефекты: числительные, аббревиатуры, списки, таблицы, опечатки. Шалыто рассматривает это как обязательный нормоконтроль перед защитой. Уменьшится число формальных замечаний от читателей и совета.
4. Подробный список замечаний и способов исправления
Структура пунктов, приведенных ниже: Недостаток. Где это видно. Почему это замечание. Как поправить. Приоритет.
4.1. Научная логика, структура и завершенность работы
1. В приложенной версии отсутствует раздел «Заключение». Где это видно: оглавление содержит введение, главы 1-4 и далее список литературы. После подраздела 4.4 сразу следует список литературы. Почему это замечание: по рекомендациям в конце диссертации должно быть именно заключение, а не «итоги» или простое окончание последней главы. Заключение должно содержать цель и задачи, фиксировать научные результаты, практическую значимость, ограничения и направления дальнейшей работы. Как поправить: добавить после главы 4 ненумерованный раздел «Заключение». В нем дать нумерованный список из 6-8 пунктов: 1. Решена такая-то научная задача; 2. Разработана модель; 3. Разработан метод; 4. Разработан алгоритм; 5. Создан программный комплекс; 6. Экспериментально подтверждено сокращение трудоемкости/рост качества; 7. Результаты внедрены/использованы; 8. Ограничения и перспективы. Не пересказывать содержание глав, а формулировать полученные результаты и их отличие от аналогов. Приоритет: высокий.
2. Заявленная экспериментальная задача не раскрыта в структуре диссертации. Где видно: во введении задача 7 сформулирована как «Экспериментальное сравнение разработанного метода…», но в оглавлении нет главы или полноценного раздела, посвященного экспериментам. Почему это замечание: для технической диссертации недостаточно заявить разработку модели, метода и алгоритма. Необходимо показать, что они дают измеримый эффект относительно прототипов и базовых сценариев. Как поправить: Как поправить: добавить главу 5 «Экспериментальное исследование и оценка эффективности» после теоретических глав либо отдельные разделы в конце глав 2-4. Включить датасет документов, baselines, метрики, процедуру экспертной разметки, результаты, статистическую интерпретацию, абляционное исследование и анализ ошибок. Приоритет: высокий.
3. Практическая (программная) часть заявлена, но недостаточно структурно отделена от научных результатов. Где видно: во введении указана реализация программного комплекса и внедрение, а в главе 4 приведены компоненты реализации: пользовательский интерфейс, оркестратор, Kafka, Redis, LLM/VLM-сервисы, RAG-сервис, ChromaDB. Почему это замечание: Шалыто предупреждает о риске превращения диссертации в инженерный отчет. Технологии должны служить доказательству научного результата, а не заменять его. Как поправить: разделить: научную часть в отдельном разделе; программная архитектура и реализация – в разделе/главе «Программная реализация»; экспериментальная проверка – отдельно. Для каждого компонента написать, какую научную функцию он поддерживает: декомпозицию задач, управление контекстом, трассировку доказательств, приемку результата. Приоритет: высокий.
4. Нет явной матрицы соответствия «цель – задачи – положения – главы – публикации –эксперименты». Где видно: связь между задачами, главами и положениями частично подразумевается, но в одном месте не сведена. Почему это замечание: в рекомендациях подчеркивается, что ничего не должно возникать внезапно, а читатель не должен догадываться, где именно решена каждая задача и каким положением она защищается. Как поправить: добавить во введение или перед заключением таблицу: строка – задача исследования; столбцы – глава/раздел, соответствующее положение, выносимое на защиту, публикация/апробация, экспериментальная проверка, программный артефакт. Это резко повысит управляемость чтения. Приоритет: высокий.
5. Цель сформулирована содержательно, но требует измеримых критериев достижения. Где видно: текущая цель говорит о сокращении трудоемкости, заданном уровне полноты выявления замечаний и согласованности итоговой рекомендации с решением эксперта. Почему это замечание: формулировка сильная, но без численных или процедурных критериев она остается декларацией. На защите могут спросить: на сколько сокращена трудоемкость, что такое «заданный уровень», как измерялась согласованность с экспертом. Как поправить: сразу после цели добавить критерии достижения цели: например, время первичного анализа, доля найденных значимых замечаний, F1/precision/recall по замечаниям, Cohen/Fleiss kappa или доля совпадений с экспертным решением, доля замечаний с доказательными фрагментами, стоимость/время обработки. Затем показать эти метрики в экспериментальной главе. Приоритет: высокий.
6. Формулировка противоречия хорошая, но научный пробел нужно связать с конкретными SOTA-ограничениями. Где видно: во введении корректно описано противоречие между трудоемкой ручной проверкой и быстрым, но неуправляемым применением одной модели. Почему это замечание: для защиты важно показать не только практическое противоречие, но и имеющийся научный пробел: какие именно известные методы не позволяют одновременно учитывать проекции, контекст, приемку результатов и доказательную трассировку. Как поправить: после противоречия добавить абзац «Научный пробел состоит в отсутствии формальной модели и метода, которые…». Перечислить три–четыре отсутствующих свойства у аналогов: управляемый выбор контекста, связь замечания с требованием, метрики приемки результата, многокритериальный выбор исполнителя. Приоритет: высокий.
7. Глава 1 в большей степени обзорная, чем прототипно-сравнительная. Где видно: в главе 1 есть классификация подходов и таблицы ограничений, но по каждому положению не выбран конкретный прототип. Почему это замечание: по рекомендациям для каждого защищаемого результата требуется определить аналоги, выбрать наиболее близкий прототип, указать достоинства и недостатки, а затем показать отличие своего решения. Как поправить: перестроить часть главы 1 или добавить в начало глав 2 – 4 подразделы «Аналоги и прототип». Для положения 1 выбрать прототип по document understanding/knowledge graphs. Для положения 2 – RAG/agent orchestration/model routing. Для положения 3 – workflow orchestration/RAG pipelines/multi-agent document review. Указать библиографические ссылки и ограничения каждого прототипа. Приоритет: Высокий.
8. Выводы по главам оформлены не по рекомендуемой логике. Где видно: подразделы 2.4 и 3.4 прямо включают слова «выводы по главе» и являются нумерованными разделами; глава 4 не имеет отдельного блока выводов. Почему это замечание: рекомендации требуют, чтобы главы завершались выводами, а разделы с выводами не нумеровались. Каждый вывод должен фиксировать один полученный результат, а не пересказывать содержание главы сплошным абзацем. Как поправить: в конце каждой главы добавить ненумерованный раздел «Выводы по главе 1», «Выводы по главе 2» и т. д. Внутри – нумерованный список. Подраздел 2.4 оставить как «Критерии качества многопроекционного представления», а выводы вынести после него. Аналогично для подраздела 3.4 и главы 4. Приоритет: Высокий.
9. Глава 4 завершается ограничениями, но не фиксирует научный результат в форме выводов. Где видно: после подраздела 4.4 описаны ограничения реализации и необходимость экспертной проверки, затем идет список литературы. Почему это замечание: последний содержательный блок оставляет у читателя ощущение незавершенности: акцент переносится на ограничения, а не на защищаемый результат. Как поправить: после подраздела 4.4 добавить «Выводы по главе 4» с четырьмя – пятью пунктами: разработан алгоритм; определена последовательность формирования проекций; задана схема запуска зависимых задач; описана агрегация результатов; сформулированы ограничения и способы их учета. Затем уже переходить к экспериментальной главе или заключению. Приоритет: высокий.
10. Не хватает дорожной карты научной школы/предшествующих работ, если работа продолжает линию коллектива. Где видно: во введении упомянуты НИР и Edulytica, но не объяснено место работы среди ранее выполненных исследований и разработок коллектива. Почему это замечание: Шалыто рекомендует показывать место диссертации в дорожной карте научной школы: что уже было сделано, какая нерешенная проблема остается, что решает автор. Как поправить: добавить короткий подраздел или рисунок «Место работы в научной линии/проекте»: предыдущие исследования – имеющийся пробел – результаты данной работы – последующие задачи. Это особенно полезно, если Edulytica или НИР являются основой реализации. Приоритет: высокий.
4.2. Положения, новизна, аналоги и прототип
11. Положения, выносимые на защиту, близки к форме «формулы изобретения», но не доведены до полной её структуры. Где видно: три положения имеют конструкцию «включающая/включающий… отличающаяся тем, что с целью…», что хорошо. Но в тексте перед ними нет явного указания прототипа, а ограничительная часть местами описывает саму работу, а не совпадение с прототипом. Почему это замечание: по рекомендациям положение должно включать название, совпадение с прототипом, слова «отличающийся тем, что», цель отличия и конкретные изменения относительно прототипа. Без прототипа формула выглядит декларативно. Как поправить: перед положениями или в начале соответствующих глав явно указать прототип каждого положения. Затем переработать ограничительную часть так, чтобы было ясно: «как и прототип, содержит…», а отличительная часть фиксировала только введенное и/или измененное автором. Не превращать положение в длинное описание всей системы. Приоритет: высокий.
12. Первое положение нужно усилить сравнением с конкретными моделями представления документов. Где видно: первое положение формулирует модель многопроекционного представления, связывающую элементы документа, требования, правила анализа, метрики и замечания. Почему это замечание: сейчас отличие от «моделей обработки документа как единого текстового объекта» слишком широкое. Оппонент может спросить, почему недостаточно RAG, knowledge graph, LayoutLM/Donut или онтологической модели. Как поправить: сделать таблицу сравнения: в строках – Bag-of-words/vector chunks, LayoutLM/Donut, knowledge graph, RAG-index, proposed model; в столбцах – структура, внешний контекст, критерии оценки, доказательные связи, рекомендации, метрики качества. В выводах прямо написать, что нового введено именно в модели: шесть проекций плюс граф трассировки «фрагмент – критерий – требование – замечание – рекомендация». Приоритет: высокий.
13. Во втором положении не полностью раскрыт механизм выбора исполнителя. Где видно: положение 2 говорит, что метод использует базу метрик и правил контекстуализации, на основе которой определяются представление документа, контекст, модель/инструмент, параметры запроса, критерии приемки и способ включения результата. Почему это замечание: формула сильная, но она перечисляет компоненты, а не подчеркивает математический механизм выбора. Для технической диссертации важно показать, что это не эвристический набор правил, а метод с формальным критерием. Как поправить: добавить в положение или сразу после него опору на целевую функцию/многокритериальный выбор: качество, время, стоимость, допустимость обработки, формат результата. Затем в главе 3 показать, как выбирается исполнитель: функция полезности, ограничения, ранжирование, порог приемки. Приоритет: высокий.
14. Третье положение рискует звучать как описание workflow, а не научный алгоритм. Где видно: положение 3 описывает последовательное выполнение аналитических задач, выбор контекста, запуск моделей после зависимых операций, передачу промежуточных результатов и агрегацию в протокол. Почему это замечание: алгоритм должен иметь формальные входы, выходы, шаги, критерии остановки, условия повторного запуска и связь с метриками качества. Иначе его могут воспринять как инженерный pipeline. Как поправить: В главе 4 добавить псевдокод алгоритма и таблицу входов/выходов: D, C, P(X), граф задач A, база метрик, правила контекстуализации, ограничения. Для каждого шага указать, какой результат формируется и как он проверяется. В положении подчеркнуть не «последовательное выполнение», а управляемое выполнение графа зависимых аналитических задач с приемкой и трассировкой результата. Приоритет: высокий.
15. Разделы «Научная новизна» и «На защиту выносятся…» частично дублируют друг друга. Где видно: во введении сначала перечислена научная новизна из трех пунктов, затем почти теми же сущностями сформулированы три положения, выносимые на защиту. Почему это замечание: дублирование допустимо, но оно создает риск расхождений при последующих правках. Шалыто предлагает объединять эти блоки, если на защиту выносятся именно научные результаты. Как поправить: Вариант исправления: оставить один блок «Положения, выносимые на защиту, обладающие научной новизной», а перед ним написать краткий абзац «Научная новизна работы раскрывается в следующих положениях». Если требования вуза требуют отдельного пункта «Научная новизна», сделать его кратким и дословно согласованным с положениями. Приоритет: высокий.
16. Не показано, какие результаты имеют научную новизну, а какие - практическое значение. Где видно: В тексте заявлены модель, метод, алгоритм, программный комплекс, свидетельство о регистрации программы и внедрение. Почему это замечание: если на защиту выносятся только научные результаты, программный комплекс должен быть представлен как практическая реализация и средство проверки, а не как самостоятельное научное положение. Если выносится практический результат, его надо явно отделить. Как поправить: добавить фразу: «К научным результатам относятся положения 1–3. Практическим результатом является программный комплекс, обеспечивающий апробацию предложенных модели, метода и алгоритма». Это снимет смешение науки и инженерии. Приоритет: высокий.
17. Нужно явно показать достигнутый эффект каждого положения. Где видно: в положениях цели указаны: поддержка экспертного решения, повышение управляемости и сокращение ресурсных затрат, сокращение времени подготовки заключения. Почему это замечание: цель отличия не равна доказанному эффекту. На защите потребуют показать, за счет каких показателей эффект подтвержден. Как поправить: для каждого положения добавить в конце главы таблицу «цель – введенное отличие – показатель эффекта – экспериментальное подтверждение». Например: для модели – Kcov, Kev, Kctx; для метода – доля задач с допустимым исполнителем, время/стоимость, качество приемки; для алгоритма – время подготовки протокола, полнота значимых замечаний, согласованность с экспертами. Приоритет: высокий.
18. Таблица 3.4 сравнивает подходы, но не заменяет сравнение с прототипом. Где видно: в главе 3 есть таблица «Отличие предложенного метода от близких подходов»: прямой запрос, RAG, агентные системы, простая оркестрация, предложенный метод. Почему это замечание: эта таблица полезна, но слишком агрегирована: она не называет конкретные работы/системы как аналоги и не указывает прототип. Как поправить: оставить таблицу 3.4 как обзорную, но добавить таблицу с конкретными источниками: MRKL, ReAct, Toolformer, Reflexion, FrugalGPT, типовые RAG-подходы. Для каждого указать, что в них совпадает с вашим методом и чего не хватает для экспертной оценки комплексных документов. Приоритет: высокий.
19. В главе 2 сравнение с информационным поиском, LayoutLM/Donut и онтологиями есть, но недостаточно таблично и доказательно. Где видно: в конце главы 2 написано, что информационный поиск, модели понимания документов и онтологии отличаются акцентами, а предложенная модель объединяет их в задаче экспертной оценки. Почему это замечание: это правильный аргумент, но для защиты лучше показать его в таблице с критериями. Тогда отличие будет не словесным, а проверяемым. Как поправить: добавить таблицу «Сравнение моделей представления документа» и сделать вывод по ней: какие компоненты отсутствуют у каждого класса аналогов и как это компенсируется в вашей модели. Приоритет: высокий.
20. Нужно усилить формулировку «первый научный результат» и аналогично обозначить завершение второго и третьего результатов. Где видно: в конце главы 2 прямо сказано, что полученная модель является первым научным результатом. В главе 3 аналогичная фиксация есть, но сформулирована слабее. В главе 4 ее фактически нет. Почему это замечание: Шалыто рекомендует явно фиксировать начало и завершение изложения каждого положения с соответствующим научным результатом. Это помогает слушателю/читателю видеть структуру защиты. Как поправить: в начале глав 2–4 добавить фразу «В данной главе излагается первое/второе/третье положение, выносимое на защиту». В конце соответствующей главы писать: «Изложение первого положения завершено. Его отличие от прототипа состоит в… Эффект подтверждается…» Приоритет: высокий.
4.3. Экспериментальная проверка, доказательность и метрики
21. Метрики Kcov, Kev, Kctx и Klink введены, но не связаны с экспериментальными данными. Где видно: в главе 2 введены показатели покрытия критериев, доказательности, контекстной полноты и связности, но в приложенной версии нет раздела, где они вычислены на корпусе документов. Почему это замечание: Метрики в диссертации должны работать как инструмент доказательства, а не только как формальные обозначения. Как поправить: В экспериментальной главе привести таблицы с фактическими значениями метрик для нескольких типов документов и сценариев. Показать сравнение: прямой запрос к одной модели, RAG без правил, фиксированный сценарий, предложенный метод. Обязательно дать интерпретацию каждой таблицы. Приоритет: высокий.
22. Не определен корпус документов для эксперимента. Где видно: текст говорит о научно-образовательных документах, статьях, ВКР, отчетах, но не задает экспериментальный набор. Почему это замечание: без описания корпуса невозможно проверить воспроизводимость и обобщаемость результатов. Как поправить: описать корпус: число документов, типы, объемы, язык, наличие таблиц/рисунков/формул, критерии отбора, анонимизация, разметка экспертами, распределение по обучающей/валидационной/тестовой части, если применимо. Приоритет: высокий.
23. Не определены baselines для заявленного сравнения. Где видно: Задача 7 перечисляет прямое применение одной модели, фиксированные сценарии и варианты без отдельных компонентов метода, но результаты такого сравнения не представлены. Почему это замечание: оппонент может справедливо спросить, с чем именно сравнивается метод и почему выбранные baselines репрезентативны. Как поправить: сформировать 4–5 базовых вариантов: B1 – один полный запрос к LLM; B2 – RAG без правил контекстуализации; B3 – фиксированная цепочка задач без выбора исполнителя; B4 – предложенный метод без доказательной проекции; B5 – полный предложенный метод. Для каждого задать одинаковые входные документы и критерии оценки. Приоритет: высокий.
24. Сокращение трудоемкости должно быть измерено не только временем модели, но и временем эксперта. Где видно: Цель говорит о сокращении трудоемкости первичного анализа. Почему это замечание: если измерять только время вычислений, будет доказана скорость системы, но не снижение трудоемкости экспертной работы. Как поправить: добавить эксперимент с экспертами: время ручной первичной проверки; время проверки проекта заключения, сформированного системой; время исправления ложных замечаний; итоговая экономия. Отдельно измерить время подготовки и время экспертной валидации. Приоритет: высокий.
25. Согласованность итоговой рекомендации с решением эксперта требует формального показателя. Где видно: цель содержит «согласованность итоговой рекомендации с решением эксперта». Почему это замечание: согласованность – неочевидный критерий: это может быть совпадение класса решения, совпадение критичности замечаний, согласие по шкале или экспертная оценка качества. Как поправить: определить показатель: accuracy по классу рекомендации, weighted kappa, средняя оценка экспертами по шкале, доля совпадения критичных замечаний. Привести формулу и экспериментальные значения. Приоритет: высокий.
26. Доказательность замечаний требует разметки истинных/ложных замечаний. Где видно: в модели есть доказательная проекция, а в алгоритме приоритет отдается замечаниям с фрагментом документа или требованием. Почему это замечание: наличие фрагмента само по себе не гарантирует корректность замечания: модель может сослаться на нерелевантный фрагмент. Как поправить: в эксперименте оценивать не только долю замечаний со ссылкой, но и релевантность ссылки. Ввести шкалу: 0 – доказательства нет; 1 – ссылка есть, но нерелевантна; 2 – ссылка частично подтверждает; 3 – ссылка полностью подтверждает замечание. Проверку выполнить экспертами. Приоритет: высокий.
27. Не хватает анализа ошибок и ограничений метода как научного результата. Где видно: В разделе 4.4 есть ограничения реализации, но нет систематического анализа ошибок по результатам экспериментов. Почему это замечание: для работ с LLM это критично: галлюцинации, пропуск замечаний, ложные срабатывания, ошибка извлечения таблиц/рисунков. Как поправить: добавить подраздел «Анализ ошибок»: типы ошибок, частота, причины, влияние на итоговую рекомендацию, способы снижения риска. Связать с доказательной проекцией и критериями приемки результата. Приоритет: высокий.
28. Нужно показать воспроизводимость экспериментов. Где видно: в тексте указаны компоненты реализации и модели в общем виде, но нет подробного протокола экспериментов. Почему это замечание: экспериментальная часть должна позволять повторить проверку или хотя бы понять условия получения результатов. Как поправить: указать версии моделей, параметры запросов, шаблоны промптов, аппаратную конфигурацию, ограничения контекста, настройки векторного поиска, критерии повторного запуска задач, число прогонов, способ усреднения результатов. Приоритет: высокий.
29. Нужно отделить качество научного метода от качества конкретной языковой модели. Где видно: в работе используются LLM/VLM-сервисы, но метод претендует на координацию моделей как более общий результат. Почему это замечание: если эффект достигается только выбранной моделью, научный результат может быть воспринят как зависимый от внешнего сервиса. Как поправить: в эксперименте сравнить минимум две модели/конфигурации или показать, что улучшение сохраняется при смене исполнителя. Отдельно анализировать вклад правил контекстуализации и базы метрик. Приоритет: высокий.
30. Проверку внедрения нужно связать с результатами, а не только перечислить НИР. Где видно: во введении перечислены три НИР и курс ДПО, где использовались/внедрены результаты. Почему это замечание: по рекомендациям внедрение должно быть подтверждено и описано подробно: что именно внедрено, где, в каком виде, какой эффект получен. Как поправить: добавить раздел «Внедрение и использование результатов»: для каждой НИР указать, какой компонент применен, какой документ/акт подтверждает применение, кто пользователь, какой результат был получен. Для курса ДПО указать, как именно использован комплекс или методика. Приоритет: высокий.
4.4. Язык, оформление, таблицы, формулы и единообразие
31. Грамматическая ошибка в заголовке «Степень достоверность и апробации результатов». Где видно: во введении есть фраза: «Степень достоверность и апробации результатов». Почему это замечание: это заметная формальная ошибка в одном из стандартных разделов введения. Такие ошибки создают плохое впечатление независимо от содержания. Как поправить: исправить на один из вариантов: «Достоверность и апробация результатов»; «Степень достоверности результатов и их апробация»; «Достоверность научных положений и апробация результатов». Приоритет: высокий.
32. В разделе публикаций числительные 1 и 2 заменить словами. Где видно: Фраза: «опубликовано 2 работы, из них 1 опубликована…, 1 – ВАК… представлены в одном свидетельстве…» Почему это замечание: в рекомендациях указано, что числительные от нуля до девяти в тексте пишутся словами, за исключением номеров глав, таблиц, рисунков, процентов и т. п. Как поправить: написать: «По результатам исследования опубликованы две работы: одна – в издании, индексируемом в Scopus/Web of Science, одна – в издании из перечня ВАК. Практические результаты подтверждены одним свидетельством о регистрации программы для ЭВМ». Приоритет: средний.
33. Формулировка о публикациях требует уточнения статуса изданий. Где видно: текущая фраза: «Scopus, Web of Science, один – ВАК». Почему это замечание: неясно, первая работа индексируется сразу в Scopus и Web of Science или речь о базе цитирования в общем; неясно, ВАК – это журнал из перечня ВАК или статья в журнале категории К1-К3. Как поправить: переформулировать без двусмысленности. Например: «одна статья опубликована в журнале, индексируемом в Scopus (Q...), одна статья – в журнале из перечня ВАК (К...)». Если статья одновременно входит в несколько перечней, указать один статус, который требуется для защиты, чтобы не создавать ощущения «двойного счета». Приоритет: средний.
34. Ошибка пробела в названии НИР «Методики,модели…» Где видно: во введении в блоке внедрения: «Методики, модели и алгоритмы…» Почему это замечание: отсутствие пробела после запятой – типичный формальный дефект, который легко заметен. Как поправить: исправить на «Методики, модели и алгоритмы интеллектуальных сервисов и приложений». Проверить весь текст регулярным поиском по шаблону «буква, буква». Приоритет: высокий.
35. Нужна запятая в предложении об открытом доступе. Где видно: фраза: «Отдельные реализации алгоритмов, созданных в диссертационной работе размещены в открытом доступе…» Почему это замечание: причастный оборот должен быть закрыт запятой, иначе фраза читается тяжело. Как поправить: исправить: «отдельные реализации алгоритмов, созданных в диссертационной работе, размещены в открытом доступе: …» Лучше уточнить, какие именно алгоритмы и какая версия репозитория соответствует диссертации. Приоритет: средний.
36. Аббревиатуры и англицизмы нужно объяснять при первом употреблении. Где видно: в тексте встречаются RAG, LLM, VLM, OCR-free, API, Kafka, Redis, ChromaDB, FastAPI и т. п. Часть терминов вводится через английское название. Почему это замечание: рекомендации требуют не применять необъясненные аббревиатуры и иностранные слова, особенно в русскоязычном научном тексте. Как поправить: при первом употреблении писать русский эквивалент и затем аббревиатуру: «генерация с поисковым расширением (Retrieval-Augmented Generation, RAG)», «большая языковая модель (large language model, LLM)», «визуально-языковая модель (VLM)». Для технологий в главе реализации дать краткое назначение и не перегружать теоретические главы названиями сервисов. Приоритет: средний.
37. Необходимо исключить смешение научных понятий «модель», «метод», «алгоритм», «архитектура». Где видно: работа использует все четыре термина; глава 4 содержит и алгоритм, и архитектуру текущей реализации. Почему это замечание: Шалыто отдельно предупреждает, что метод, алгоритм, программа и архитектура не должны смешиваться. Как поправить: добавить в начало главы 4 разграничение: модель – формальное представление объекта; метод – способ координации исполнителей и контекста; алгоритм – конечная последовательность операций; архитектура – программная реализация алгоритма. Далее соблюдать это разграничение в названиях подразделов и выводах. Приоритет: высокий.
38. Таблицы, переходящие на следующую страницу, должны иметь пометку продолжения. Где видно: например, таблица 4.3 начинается на одной странице, а на следующей продолжается с повторенной шапкой, но без строки «Продолжение табл. 4.3». Почему это замечание: рекомендации требуют при переносе таблицы повторять шапку и писать «Продолжение табл. …» с названием. Как поправить: В исходном DOCX настроить повтор заголовка таблицы и вручную добавить перед продолжением подпись: «Продолжение табл. 4.3. Компоненты реализации алгоритма». Проверить все длинные таблицы 1.1–1.5, 2.1–2.3, 3.4, 4.3. Приоритет: средний.
39. После каждой таблицы нужен явный вывод. Где видно: в части таблиц выводы есть, но не всегда они сформулированы непосредственно после таблицы и не всегда объясняют, что именно следует из нее для диссертации. Почему это замечание: по рекомендациям по каждому иллюстративному материалу должен быть вывод. Таблица не должна быть «самостоятельным украшением». Как поправить: после каждой таблицы добавить 1–3 предложения: «Из таблицы … следует, что…» Приоритет: средний.
40. Список литературы оформлен неоднородно. Где видно: Первые источники 1–15 оформлены кратко; источники 16 и далее имеют расширенные сведения, DOI, издательство, страницы. Почему это замечание: Рекомендации требуют единообразного оформления списка литературы. Разный стиль ссылок воспринимается как неаккуратность. Как поправить: выбрать один стиль оформления: либо по ГОСТ/требованиям совета, либо единый «по-человечески» стиль с авторами, названием, источником, годом, страницами/DOI. Проверить порядок и полноту: для статей – журнал/конференция, год, том/номер/страницы/DOI; для arXiv – arXiv ID; для книг – издательство, год, страницы. Приоритет: высокий.
41. Нужно проверить единообразие обозначений в формулах и таблицах. Где видно: в тексте используются P_s, P_m, P_q, P_c, P_e, P_r; Kcov, Kev, Kctx, Klink; H, G, Q и т. п. В PDF-часть обозначений в таблицах выглядит как обычный текст, а не математическая запись. Почему это замечание: рекомендации требуют, чтобы обозначения одного и того же в диссертации, презентации, рисунках и таблицах не различались. Как поправить: сделать в конце главы 2 или в приложении таблицу обозначений: символ, смысл, где применяется, диапазон значений. В таблицах использовать единый формат: K_cov или Kcov. Проверить, что каждая переменная в формулах расшифрована сразу после формулы. Приоритет: высокий.
42. В оглавлении отсутствуют заключение и список литературы. Где видно: оглавление на первой странице заканчивается подразделом 4.4. Почему это замечание: если это полный текст, отсутствие заключения и списка литературы в оглавлении нарушает целостность. Если это фрагмент, при сборке полной версии все разделы должны попасть в оглавление. Как поправить: обновить автоматическое оглавление после добавления заключения, списка литературы и приложений. Проверить, что разделы «Выводы по главе» не нумеруются, но при необходимости отображаются в оглавлении согласно требованиям совета. Приоритет: высокий.
43. Нужно привести списки во введении к одному стилю оформления. Где видно: задачи, научная новизна и положения оформлены нумерованными списками; соответствие паспорту специальности оформлено через тире. Почему это замечание: списки должны быть единообразными, а пункты нумерованных списков должны начинаться с прописной буквы и заканчиваться точкой. Как поправить: оставить нумерованные списки для задач, новизны, положений. Для соответствия паспорту специальности можно сделать таблицу: «Положение – пункт паспорта – обоснование соответствия». Это будет лучше, чем длинные строки с тире. Приоритет: высокий.
44. Формулировка соответствия паспорту специальности нуждается в усилении. Где видно: сейчас указано, каким пунктам паспорта специальности соответствуют положения. Почему это замечание: этого достаточно формально, но можно усилить защиту, показав не только номер пункта, но и почему результат относится к управлению в организационных системах, а не только к обработке текстов/ИИ. Как поправить: перед таблицей соответствия добавить абзац: «Организационная система в работе рассматривается как контур экспертного принятия решений…, управление состоит в распределении аналитических задач, выборе исполнителей, контроле качества и агрегации результата». В таблицу добавить столбец: «Почему соответствует пункту». Приоритет: высокий.
45. В тексте слишком часто повторяются «комплексный документ», «модель искусственного интеллекта», «экспертная оценка». Где видно: повторы особенно заметны во введении и главах 1–3. Почему это замечание: повтор терминов иногда полезен для точности, но чрезмерная повторяемость утяжеляет чтение. Шалыто советует писать кратко и убирать лишние слова. Как поправить: после содержательной доработки выполнить редакторскую вычитку. Приоритет: высокий.
46. Некоторые разделы описывают общеизвестные возможности LLM/RAG слишком подробно для диссертации. Где видно: В главе 1 и 3 значительное место занимает описание LLM, RAG, агентных систем, оркестрации. Почему это замечание: обзор нужен, но он должен вести к выбору прототипов, а не быть учебным изложением технологий. Как поправить: сократить общеизвестные описания и заменить их критическим сравнением: «что умеют – чего не умеют для экспертной оценки – что вводится в диссертации». Освободившееся место использовать для аналогов, прототипов и экспериментов. Приоритет: высокий.
Итого: 46 замечаний.
5. Рекомендуемая структура после доработки
Ниже приведен вариант структуры, который лучше соответствует рекомендациям и защищаемым результатам. Его можно адаптировать под требования совета и объем работы.
Введение: актуальность, противоречие, научный пробел, объект, предмет, цель с измеримыми критериями, задачи, положения, выносимые на защиту, новизна, теоретическая и практическая значимость, достоверность, апробация, публикации, внедрение, личный вклад.
Глава 1. Проблемно-классификационный анализ: предметная область, постановка задачи исследования, аналоги по каждому защищаемому результату, выбор прототипа, ограничения SOTA. Выводы по главе 1.
Глава 2. Математическая модель многопроекционного представления: формальные определения, проекции, граф трассировки, критерии качества, сравнение с прототипом. Выводы по главе 2.
Глава 3. Метод координации моделей ИИ: база метрик, правила контекстуализации, многокритериальный выбор исполнителя, приемка результата, отличие от прототипа. Выводы по главе 3.
Глава 4. Алгоритм многопроекционного анализа: входы/выходы, граф задач, псевдокод, управление зависимостями, агрегация в протокол, ограничения алгоритма. Выводы по главе 4.
Глава 5. Программная реализация и экспериментальное исследование: архитектура как реализация алгоритма, корпус документов, baselines, метрики, результаты, абляция, анализ ошибок, трудоемкость эксперта, внедрение/использование. Выводы по главе 5.
Заключение: нумерованные результаты, соответствующие задачам и положениям; научная новизна; практическая значимость; достоверность; ограничения; направления дальнейших исследований.
Список литературы и приложения: список литературы, акты внедрения, свидетельства о регистрации программ для ЭВМ, примеры протоколов экспертного заключения, таблица обозначений, дополнительные экспериментальные результаты.
6. Примеры конкретных правок
6.1. Раздел о достоверности и апробации
Было: «Степень достоверность и апробации результатов. Достоверность научных положений и выводов…» Стало: «Достоверность научных положений и апробация результатов. Достоверность полученных результатов подтверждается формальной постановкой задачи, использованием известных методов многокритериального выбора и анализа документов, экспериментальным сравнением с базовыми сценариями обработки, экспертной оценкой качества сформированных замечаний, публикациями в рецензируемых изданиях и апробацией на российских и международных конференциях».
6.2. Раздел о публикациях
Было: «По результатам исследования опубликовано 2 работы, из них 1 опубликована в издании, индексируемом в базе цитирования Scopus, Web of Science, 1 - ВАК. Практические результаты работы представлены в 1 свидетельстве…» Стало: «По результатам исследования опубликованы две работы: одна статья – в издании, индексируемом в Scopus/Web of Science, одна статья – в издании из перечня ВАК. Практические результаты подтверждены одним свидетельством о государственной регистрации программы для ЭВМ».
6.3. Шаблон вывода по главе
Рекомендуемый формат:
1. Разработана математическая модель многопроекционного представления комплексного документа, отличающаяся от представления документа как единого текста тем, что связывает структурную, содержательную, критериальную, контекстную, доказательную и рекомендательную проекции.
2. Предложена графовая модель трассировки, обеспечивающая связь между элементами документа, внешними требованиями, критериями оценки, замечаниями и итоговой рекомендацией.
3. Введены показатели качества K_cov, K_ev, K_ctx и K_link, позволяющие оценивать покрытие критериев, доказательность замечаний, полноту контекста и связность представления.
4. Показано отличие математической модели от прототипа: в отличие от …, предложенная математическая модель обеспечивает…
6.4. Сравнение с прототипом
Положение / Аналог / прототип / Ограничение прототипа / Что введено в работе / Подтверждаемый эффект
1. Модель / LayoutLM/Donut/графовые модели документа / RAG-index / Нет явной связи «критерий – требование – замечание – рекомендация» / Шесть проекций и граф трассировки H / Рост доказательности и покрытия критериев.
2. Метод / RAG, MRKL, ReAct, простая маршрутизация моделей / Контекст и исполнитель выбираются без предметной базы критериев / База метрик и правила контекстуализации / Снижение времени/стоимости при заданном качестве экспертной оценки.
3. Алгоритм / Линейные pipeline анализа документа / Нет управляемого графа зависимостей и приемки результатов / Граф аналитических задач, проверка Accept, агрегация Ω / Сокращение времени подготовки протокола и повышение согласованности.
6.5. Минимальный набор экспериментов
Эксперимент 1: сравнение времени первичного анализа вручную и с использованием проекта заключения, сформированного системой.
Эксперимент 2: полнота выявления значимых замечаний по экспертной разметке; метрики precision, recall, F1.
Эксперимент 3: согласованность итоговой рекомендации с решением экспертов; accuracy или kappa.
Эксперимент 4: абляция компонентов – без доказательной проекции, без правил контекстуализации, без выбора исполнителя, без RAG.
Эксперимент 5: устойчивость к типам документов – статья, ВКР, отчет, заявка/методический материал.
Эксперимент 6: анализ ошибок – ложные замечания, пропущенные замечания, неверные доказательные ссылки, ошибки извлечения таблиц и рисунков.
7. Итоговый чек-лист перед следующей итерацией
1. Есть ли в тексте отдельное заключение, а не только конец главы 4?
2. Для каждого положения выбран конкретный прототип и приведены аналоги с библиографическими ссылками?
3. Каждое положение содержит ограничительную часть, цель отличия и отличительную часть?
4. Каждая глава завершается ненумерованными «Выводами по главе» с нумерованным списком?
5. Заявленная задача 7 подтверждена экспериментами, а не только описанием реализации?
6. Метрики K_cov, K_ev, K_ctx, K_link рассчитаны или хотя бы связаны с экспериментальной процедурой?
7. Сокращение трудоемкости измерено временем эксперта, а не только временем вычислений?
8. Все аббревиатуры расшифрованы при первом употреблении?
9. Длинные таблицы имеют «Продолжение табл. …», повторенную шапку и выводы после таблицы?
10. Список литературы оформлен единообразно?
11. Во введении нет числительных 1–9, написанных цифрами там, где нужны слова?
12. Публикации, апробация и внедрение описаны без двусмысленностей и с подтверждающими документами?
13. Связь с паспортом специальности дана не только номерами пунктов, но и содержательным обоснованием?
14. В тексте нет очевидных опечаток типа отсутствующего пробела после запятой?
15. Роль программного комплекса объяснена как практическая реализация и средство проверки научных результатов?
8. Вывод рецензента
Материал имеет хороший потенциал для диссертационного оформления: тема актуальна, три результата логически связаны, введена формализация, присутствует программная реализация. Однако доработка должна быть направлена не на увеличение общего объема текста, а на усиление защищаемой научной конструкции: «аналог – прототип – отличие – эффект – экспериментальное подтверждение». После добавления прототипного сравнения, экспериментальной главы, заключения и нормоконтроля языка текст станет значительно ближе к требованиям, сформулированным в рекомендациях для защищающихся.
Следующий протокол: https://vk.com/@1077823-prilozhenie-14-proverka-prezentacii-dissertacii-vv-tereschen.