Приложение 14. Проверка текста черновика диссертации В.В. Терещенко на соискание ученой степени кандидата технических наук (режим «госпожа»)
Документ подготовлен как рабочий протокол для доработки текста до уровня диссертационной работы и ее реферата. Нормативные формулировки и минимальные количественные требования к публикациям необходимо дополнительно сверить с актуальными правилами диссертационного совета и организации, поскольку локальные требования могут отличаться.
Полная переписка
1. Пользователь: ты профессиональный ученый, доктор технических наук и разработчик. Задача – проверить приложенный черновик диссертации на соответствие требованиям к соискателям ученой степени кандидата технических наук. Напиши полный и подробный список замечаний в формате DOCX, и как их поправить мне в рамках доработки отчета в соответствии с требованиями.
Вложения: черновик диссертации Терещенко В.В.pdf.
2. Ассистент: готово. Я подготовил подробный DOCX-протокол проверки по загруженному тексту черновика диссертации. В документе: итоговая оценка готовности, матрица соответствия требованиям кандидатской диссертации, 97 замечаний с рисками и конкретными правками, рекомендуемая новая структура, варианты усиленных формулировок и план доработки. Актуальные локальные требования диссовета по оформлению, публикациям и комплекту документов лучше отдельно сверить с вашей организацией, потому что они могут отличаться от общих требований.
Созданные/переданные файлы: замечания к черновику диссертации В.В. Терещенко на соискание ученой степени кандидата технических наук в формате docx.
1. Краткое экспертное заключение
Формат: Позиция / Оценка
1. Итоговый статус / В текущем виде текст нельзя считать готовой кандидатской диссертацией. Он ближе к расширенному черновику теоретических глав: есть актуальность, заявленные модель, метод и алгоритм, но отсутствует полноценная экспериментальная глава, заключение, доказательство достоверности, подробное описание реализации, акты внедрения/приложения и достаточная формализация ряда научных результатов.
2. Сильная сторона работы / Тема имеет потенциал для специальности 2.3.4: экспертная оценка документов может быть рассмотрена как процесс интеллектуальной поддержки принятия решений в организационной системе; заявлены модель, метод координации и алгоритм.
3. Главный риск защиты / Работа может быть воспринята как прикладная работа по NLP/LLM-оркестрации, а не как диссертация по управлению в организационных системах, если не усилить организационно-управленческую постановку, формальные критерии, экспериментальную проверку и связь результатов с паспортом специальности.
4. Приоритет доработки / Сначала необходимо добавить полноценную структуру диссертации: заключение, экспериментальную главу, раздел методологии, список обозначений, приложения; затем усилить научную новизну, формализацию модели/метода/алгоритма и количественную проверку результатов.
Вывод: основная концепция перспективна, но до статуса диссертации необходимо существенно доработать структуру, доказательную базу, экспериментальную часть, формализацию и оформление.
2. Матрица соответствия основным ожиданиям к кандидатской диссертации
Формат: Критерий / Статус / Что видно в тексте / Что нужно сделать
1. Научно-квалификационная работа / Частично / Заявлены научные результаты, но пока не показано, что они решают законченную научно-техническую задачу с доказанным эффектом / Усилить доказательность, формализацию и ссылку на конкретные результаты.
2. Соответствие техническим наукам / Частично / Есть модель, метод и алгоритм, но мало инженерной проверки, метрик качества, архитектурных схем, псевдокода, экспериментов и воспроизводимости / Усилить доказательность, формализацию и ссылку на конкретные результаты.
3. Соответствие 2.3.4 / Частично/риск / Связь с управлением в организационных системах заявлена, но не раскрыта через субъектов управления, объект управления, управляющие воздействия, критерии эффективности и механизм принятия решения / Переформулировать и доказать соответствие через паспорт специальности.
4. Научная новизна / Частично / Формулировки есть, но они слишком общие и пересекаются с RAG, агентными системами, knowledge graphs и LLM-routing. Необходимы прототипы, отличия и доказанный эффект / Усилить доказательность, формализацию и ссылку на конкретные результаты.
5. Теоретическая значимость / Частично / Модель введена, но нет свойств, утверждений, доказательств/обоснований, сквозного примера и строгих условий применимости / Усилить доказательность, формализацию и ссылку на конкретные результаты.
6. Практическая значимость / Частично / Заявлен программный комплекс, но отсутствуют данные о внедрении, эффекте, архитектуре, версиях, интерфейсе, инструкции воспроизведения / Усилить доказательность, формализацию и ссылку на конкретные результаты.
7. Достоверность результатов / Не подтверждена / Эксперименты упомянуты во введении, но в основной части отсутствует полноценная методика, корпус, baselines, статистика, экспертная валидация / Сделать как обязательный блок до предзащиты.
8. Апробация и публикации / Частично / Указаны конференции и две публикации, но нет полного списка собственных работ, выходных данных, вклада автора и связи публикаций с положениями на защиту / Усилить доказательность, формализацию и ссылку на конкретные результаты.
9. Внедрение / Частично / НИР и курс ДПО указаны, но нет актов, справок, описания внедренных результатов и количественного/качественного эффекта / Усилить доказательность, формализацию и ссылку на конкретные результаты.
10. Оформление и структура / Не соответствует финальному виду / Отсутствуют титульный лист, заключение, список обозначений, приложения; в оглавлении нет списка литературы; таблицы и формулы требуют дооформления / Сделать как обязательный блок до предзащиты.
3. Первые 15 действий, которые нужно сделать до углубленной научной правки
3.1. Добавить заключение с итоговыми результатами, степенью достижения цели, выводами по каждому положению, практическим эффектом и перспективами.
3.2. Ввести отдельную экспериментальную главу или, как минимум, полноценный раздел с корпусом документов, экспертной разметкой, baselines, метриками, результатами и статистической проверкой.
3.3. Переписать цель так, чтобы в ней были измеримые показатели: трудоемкость, полнота выявления значимых замечаний, точность доказательных ссылок, согласованность с решением эксперта, ресурсные затраты.
3.4. Сформулировать научную задачу в терминах управления в организационных системах: объект управления, субъект/эксперт, управляющие воздействия, ограничения, критерии эффективности, состояние процесса экспертизы.
3.5. Сделать отдельный раздел «Методология и методы исследования».
3.6. Сделать отдельный раздел «Структура и объем диссертации»: число страниц, рисунков, таблиц, источников, приложений, публикаций.
3.7. Сформировать список обозначений: D, C, X, P, H, A, B, U, Y, Z, Q, G, Kcov, Kev, Kctx и т. д.
3.8. Пронумеровать основные формулы и ссылаться на них в тексте.
3.9. Добавить рисунки: схема многопроекционной модели; граф связей; схема метода координации; схема алгоритма; архитектура реализации.
3.10. Описать программный комплекс: компоненты, API/очереди, базы данных, модели, версии, аппаратная среда, сценарий работы пользователя.
3.11. Добавить протокол экспериментов: какие документы, сколько экспертов, как фиксировались значимые замечания, как измерялась согласованность.
3.12. Составить полный перечень публикаций автора по теме с выходными данными, DOI/URL, статусом ВАК/Scopus/Web of Science и вкладом автора.
3.13. Подготовить акты внедрения/справки по НИР и учебному курсу, указать, какие именно результаты внедрены и какой эффект получен.
3.14. Расширить список литературы, добавив российские и зарубежные источники по управлению организационными системами, экспертным системам, human-in-the-loop AI, norm control/document workflow.
3.15. Выстроить связку «задача – глава – результат – положение, выносимые на защиту – публикация – эксперимент – акт внедрения».
4. Подробный список замечаний и способы исправления
Формат: [Тип замечания] / Замечание / Где видно / Риск / Как поправить
A. Структура диссертации и полнота обязательных элементов
1. [Критическое] / Отсутствует заключение. Для кандидатской диссертации заключение является обязательным смысловым элементом, где подводятся итоги, показывается достижение цели, перечисляются научные результаты и практическая значимость. Где видно: Оглавление, с. 1; после гл. 4 сразу идет список литературы на с. 70. Риск: без заключения невозможно показать завершенность исследования и соответствие задач, результатов и положений на защиту. Как поправить: добавить раздел «Заключение» после главы 4. Включить: основные научные результаты по главам; достижение цели; решение каждой задачи; научную новизну в итоговой редакции; достоверность; практическую значимость; ограничения; перспективы; связь с публикациями и внедрением.
2. [Критическое] В оглавлении отсутствуют «Список литературы» и возможные «Приложения». Даже если список литературы есть в конце, он не отражен в оглавлении. Где видно: Оглавление, с. 1. Риск: нарушается навигация и формальная полнота диссертационного текста. Как поправить: обновить оглавление автоматически после добавления заключения, списка обозначений и приложений. Включить список литературы и приложения с корректными страницами.
3. [Критическое] Отсутствует титульный лист, сведения об организации, специальности, научном руководителе, месте и годе выполнения. Где видно: PDF начинается с оглавления, с. 1. Риск: Текущий PDF не выглядит как диссертация в установленной форме. Как поправить: добавить титульный лист по шаблону организации/диссертационного совета. Указать организацию, тему, соискателя, шифр и название специальности, научного руководителя, город и год.
4. [Существенное] Нет списка сокращений, условных обозначений и терминов, хотя текст насыщен обозначениями: D, C, X, P, H, A, B, U, Y, Z, Kcov, Kev, LLM, RAG, VLM. Где видно: весь документ. Риск: читатель вынужден восстанавливать обозначения по тексту; снижается строгость математической части. Как поправить: добавить перед введением или после оглавления «Перечень сокращений и обозначений». Для каждого символа указать смысл, тип объекта и место первого введения.
5. [Критическое] Объем и структура ближе к развернутому паспорту/черновику, а не к полной кандидатской диссертации. Нет самостоятельной главы с результатами экспериментов и валидации. Где видно: Структура: четыре главы и 74 страницы. Риск: диссертационный совет может оценить работу как незавершенную. Как поправить: расширить основную часть: добавить экспериментальную главу; раскрыть программную реализацию; добавить приложения с исходными данными, примерами протоколов, актами внедрения. Ориентироваться на требования кафедры и диссовета по объему.
6. [Критическое] Во введении заявлено экспериментальное сравнение, но в оглавлении нет главы/раздела, где оно подробно выполнено. Где видно: задача 7 во введении, с. 6; структура глав, с. 1. Риск: несоответствие между поставленными задачами и содержанием диссертации. Как поправить: добавить главу 5 «Экспериментальная проверка метода и алгоритма» или существенно расширить главу 4 разделами: методика эксперимента, данные, baselines, метрики, результаты, статистика, обсуждение.
7. [Существенное] Нет раздела «Методология и методы исследования». Где видно: ведение и главы 2–4. Риск: для диссертации важно явно указать методы: теория управления, многокритериальная оптимизация, графовые модели, методы NLP/LLM, экспертная оценка, статистическая обработка. Как поправить: во введение добавить подраздел: «Методология и методы исследования». Развести теоретические, алгоритмические, программные и экспериментальные методы.
8. [Существенное] Нет раздела «Структура и объем диссертации». Где видно: введение. Риск: формально не зафиксирован объем работы, число источников, таблиц, рисунков, приложений. Как поправить: добавить стандартный абзац: диссертация состоит из введения, N глав, заключения, списка литературы из N источников и приложений; содержит N страниц, N рисунков, N таблиц.
9. [Существенное] Отсутствуют приложения, хотя для работы заявлены программный комплекс, свидетельство о регистрации, внедрение, датасет и эксперименты. Где видно: весь текст. Риск: основные доказательства остаются неподтвержденными. Как поправить: сформировать приложения: акт внедрения, свидетельство о регистрации ПО, описание датасета, шаблоны промптов/правил, примеры входных документов и экспертных протоколов, дополнительные таблицы экспериментов.
10. [Редакционное] В PDF не видны номера страниц в нижнем/верхнем колонтитуле; страницы определяются только по PDF-просмотру. Где видно: весь документ. Риск: формальное оформление выглядит незавершенным. Как поправить: проверить требования организации и включить нумерацию страниц, начиная с титульного листа/введения по установленным правилам.
B. Введение: актуальность, цель, задачи, новизна, положения на защиту
11. [Существенное] Актуальность раскрыта общо, но недостаточно подкреплена статистикой, примерами организационных потерь, трудоемкости экспертизы и актуальными данными по предметной области. Где видно: с. 2-4. Риск: актуальность может показаться декларативной. Как поправить: добавить конкретные факты: типовые сценарии экспертизы, трудозатраты экспертов, число документов, частоту ошибок, ограничения прямого применения LLM. Дать два–три практических примера из научно-образовательной организации.
12. [Критическое] Цель содержит «заданный уровень полноты» и «согласованность с решением эксперта», но эти показатели не определены. Где видно: с. 4, 5. Риск: невозможно проверить достижение цели. Как поправить: ввести показатели: полнота выявления значимых замечаний, точность привязки к фрагментам, доля согласованных рекомендаций, среднее время обработки, стоимость/ресурсы. Задать целевые значения или способ оценки.
13. [Существенное] Объект исследования сформулирован широко: «процесс анализа комплексных документов в организационных системах». Где видно: с. 4. Риск: широкий объект размывает управленческую и техническую границы работы. Как поправить: уточнить объект: процесс первичной экспертной оценки научно-образовательных комплексных документов в организационной системе поддержки экспертных решений. Указать субъектов процесса: эксперт, автор, администратор, система.
14. [Существенное] Предмет исследования объединяет модель, метод и алгоритм, но не фиксирует управляемые параметры процесса. Где видно: с. 4-5. Риск: для специальности 2.3.4 важно показать управление: состояние процесса, управляющие воздействия, критерии эффективности. Как поправить: переформулировать предмет через методы формирования представлений, выбора контекста и исполнителя, приемки результата и агрегации рекомендации в системе поддержки решений.
15. [Критическое] Задачи сформулированы как решенные, но их результаты не все раскрыты в основной части. Особенно задачи 6, 7 по реализации и экспериментам. Где видно: с. 5, 6. Риск: возникает несоответствие введения и содержания. Как поправить: в конце каждой главы явно показать какая задача решена, но сначала её там же надо поставить. Добавить раздел/главу по задачам 6, 7. В заключении сделать таблицу «задача – результат – место в тексте».
16. [Критическое] Научная новизна сформулирована на уровне «предложена модель / разработан метод / разработан алгоритм», но отличия от аналогов и прототипов недостаточно конкретны. Где видно: с. 6, 7. Риск: эксперты могут расценить новизну как общеизвестную комбинацию RAG, оркестрации и графовой модели. Как поправить: для каждого пункта новизны указать: прототип, конкретное отличие, за счет чего достигается эффект, какие ограничения преодолены, как это проверено экспериментально.
17. [Существенное] Положения, выносимые на защиту, слишком длинные и перегружены описаниями. Где видно: с. 8, 9. Риск: на защите положения трудно воспринимать и защищать как самостоятельные научные результаты. Как поправить: сократить до трех компактных положений: 1) модель, 2) метод, 3) алгоритм/программная реализация с экспериментальным подтверждением. Для каждого: «включает», «отличается», «обеспечивает».
18. [Существенное] Теоретическая значимость повторяет формулировки новизны, но не показывает вклад в теорию управления организационными системами. Где видно: с. 7. Риск: теоретический вклад может быть признан слабым. Как поправить: указать, какие новые формальные элементы вносятся: модель состояния экспертизы, критерии качества экспертного протокола, метод выбора управляющего решения и т. д.
19. [Существенное] Практическая значимость сформулирована через наличие программного комплекса, но нет количественного эффекта. Где видно: с. 7, 8. Риск: практическая значимость остается неподтвержденной. Как поправить: добавить результаты внедрения/экспериментов: сокращение времени первичной проверки на X%, доля замечаний с доказательными фрагментами, качество рекомендации, примеры применения.
20. [Критическое] Соответствие паспорту специальности заявлено декларативно. Где видно: с. 9. Риск: работа может быть отнесена к компьютерным наукам/NLP, если не доказать, что это именно управление в организационной системе. Как поправить: добавить отдельную таблицу: пункт паспорта 2.3.4 – элемент диссертации – научный результат – глава – экспериментальное подтверждение. Подчеркнуть «механизм принятия решений», «управляющее воздействие», «критерии эффективности».
21. [Существенное] Раздел достоверности сформулирован общо: «подтверждается экспериментальными исследованиями», но конкретные исследования не описаны. Где видно: с. 10. Риск: достоверность является одним из ключевых критериев допуска к защите. Как поправить: заменить общую фразу на конкретную: корпус N документов, M экспертов, K сценариев, baselines, метрики, результаты, статистическая значимость, повторяемость запусков, версии моделей и кода.
22. [Существенное] Публикации указаны только их числом: «2 работы», без списка и выходных данных. Где видно: с. 10. Риск: невозможно проверить выполнение требований по опубликованности результатов. Как поправить: добавить отдельный список публикаций по теме диссертации: авторы, название, издание, год, том/номер, страницы, DOI/URL, статус ВАК/Scopus/WoS, вклад автора, к какому положению относится.
23. [Существенное] Апробация содержит конференции с диапазонами 2024/2026 и 2025/2026; формулировки выглядят не как точные выходные данные. Где видно: с. 10. Риск: может возникнуть сомнение в фактической апробации. Как поправить: указать полные сведения: название доклада, конференция, место, дата, формат, сборник, страницы/сертификат. Не использовать диапазоны, если это не официальное название мероприятия.
24. [Редакционное] Фраза «Степень достоверность и апробации результатов» грамматически неверна. Где видно: с. 10. Риск: снижает качество текста во введении. Как поправить: исправить на «Степень достоверности и апробация результатов» или разделить на два подраздела: «Достоверность результатов» и «Апробация результатов».
C. Соответствие специальности 2.3.4 и техническому профилю
25. [Критическое] Организационная система описана как фон, но не задана как формальная система управления. Где видно: с. 2-10; главы 2 –4. Риск: для специальности 2.3.4 требуется показать управление в организационной системе, а не только обработку документов. Как поправить: ввести модель организационной системы: участники, цели, ресурсы, потоки документов, состояния экспертизы, управляющие воздействия, обратная связь, критерии эффективности.
26. [Критическое] В модели много понятий документа и LLM, но мало понятий управления: управляемый объект, управляющий орган, состояние, воздействие, критерий, ограничение, решение. Где видно: Главы 2, 3. Риск: несоответствие паспорту специальности. Как поправить: добавить формальную схему: состояние процесса St, управляющее воздействие ut, результат yt, критерий J, ограничения R, экспертная коррекция. Показать, что выбор модели/контекста – это управленческое решение.
27. [Существенное] Паспорт специальности связан только с положениями, выносимыми на защиту, но не с главами, экспериментами и публикациями. Где видно: с. 9. Риск: декларация может быть недостаточной для совета. Как поправить: сделать «паспорт соответствия»: пункт 2 – глава 2 и критерии; пункт 3 – глава 3 и оптимизация выбора; пункт 4 – программная реализация; пункт 9 – система поддержки принятия решений (СППР) и экспертное решение; для каждого – публикация и эксперимент.
28. [Существенное] Недостаточно российских источников и школ по управлению организационными системами, активным системам, СППР и экспертным системам. Где видно: глава 1. Риск: тема может выглядеть оторванной от научной специальности. Как поправить: добавить источники по теории организационных систем, теории активных систем, СППР, управлению знаниями, экспертным системам и многокритериальному управлению.
29. [Существенное] Алгоритм не представлен как алгоритм управления процессом экспертной оценки. Где видно: глава 4. Риск: технический результат размыт. Как поправить: перестроить алгоритм через цикл управления: наблюдение/извлечение состояния, выбор управляющего решения, исполнение, приемка, обновление состояния, агрегация решения, экспертная обратная связь.
30. [Существенное] Не выделен управленческий эффект: сокращение очереди экспертизы, повышение пропускной способности, повышение воспроизводимости экспертных решений. Где видно: введение и практическая часть. Риск: практическая значимость для организационной системы не доказана. Как поправить: добавить показатели эффективности организационной системы: время цикла экспертизы, загрузка экспертов, доля повторных проверок, согласованность решений, стоимость обработки, доля необоснованных замечаний.
D. Глава 1: анализ литературы и постановка задачи
31. [Существенное] Обзор литературы в основном описательный. Не хватает критического сравнения с аналогами по признакам, которые затем станут новизной. Где видно: глава 1, с. 11–33. Риск: без сравнения сложно доказать, что заявленная модель/метод/алгоритм действительно отличаются от известных решений. Как поправить: добавить таблицу аналогов: формальный контроль, NLP, RAG, агентные системы, LLM routing, document understanding, СППР. Столбцы: объект, контекст, критерии, доказательная связь, управление исполнителями, ограничения, что не решено.
32. [Существенное] После таблицы 1.1 повторяется близкий тезис о том, что автоматизация не может ограничиваться генерацией рецензии. Где видно: с. 16–18. Риск: повторы создают ощущение сырого текста. Как поправить: объединить повторяющиеся абзацы, оставить один сильный вывод и связать его с постановкой задачи.
33. [Существенное] Недостаточно сформулирована «степень разработанности проблемы» как отдельный логический блок. Где видно: глава 1. Риск: во введении и главе 1 не видно, какие именно пробелы в науке закрывает диссертация. Как поправить: добавить раздел/подраздел: что сделано в document AI, RAG, агентных системах, СППР; что не решено: трассируемость замечаний, выбор исполнителя, контекст по критериям, приемка результата, организационные ограничения.
34. [Существенное] Понятие «комплексный документ» введено, но границы класса документов не строгие. Где видно: глава 1. Риск: экспериментальная база и применимость метода размыты. Как поправить: дать формальное определение и критерии включения: документ структурированный, содержит внешние требования, имеет экспертную процедуру, допускает декомпозицию на проекции, требует итогового решения.
35. [Существенное] Не хватает раздела о ручной экспертной оценке и ее трудоемкости в реальных организационных процедурах. Где видно: глава 1. Риск: слабо обосновывается потребность в интеллектуальной поддержке. Как поправить: добавить описание процесса: поступление документа, первичная проверка, рецензирование, исправления, решение, обратная связь; показать узкие места и критерии автоматизации.
36. [Существенное] Недостаточно раскрыты методы оценки качества экспертных рекомендаций и inter-rater agreement. Где видно: глава 1. Риск: экспериментальная проверка не будет убедительной. Как поправить: добавить обзор метрик: precision/recall/F1 для замечаний, Cohen/Fleiss kappa, agreement with expert, citation grounding accuracy, latency/cost, human time saved.
37. [Существенное] Не хватает обзора рисков LLM применительно к экспертным решениям: устойчивость, воспроизводимость, безопасность, конфиденциальность, bias. Где видно: глава 1. Риск: критерии приемки результата в главе 3 выглядят неполными. Как поправить: добавить риски и связать их с требованиями к методу: повторяемость, протоколирование, локальное выполнение, трассировка, отказ от итогового вывода при неполном покрытии.
38. [Редакционное] Таблицы занимают много места, некоторые строки переносятся на следующую страницу без явной подписи «Продолжение таблицы». Где видно: таблицы 1.1, 1.2 и другие. Риск: оформление выглядит неакадемично и затрудняет чтение. Как поправить: Переформатировать таблицы: уменьшить текст в ячейках, повторять заголовки на новой странице, добавить «Продолжение таблицы N».
E. Глава 2: математическая модель
39. [Критическое] Математическая модель пока является скорее концептуальной схемой. Не все элементы имеют строгие определения, типы, атрибуты и условия применимости. Где видно: глава 2, с. 34–46. Риск: для кандидатской диссертации по техническим наукам требуется более строгая формализация. Как поправить: ввести определения: элемент документа, фрагмент, требование, критерий, замечание, доказательный фрагмент, рекомендация, аналитическая задача, результат, исполнитель, состояние анализа. Для каждого указать множество, атрибуты и отношения.
40. [Критическое] Формальные объекты D, C, X, P, H, Q, G, Z вводятся последовательно, но нет единой схемы связей между ними. Где видно: с. 35–43. Риск: читателю сложно понять, как из модели получается управляемый процесс и итоговая рекомендация. Как поправить: добавить рисунок и таблицу «единая математическая схема»: входы, проекции, граф, задачи, результаты, агрегатор, экспертная рекомендация.
41. [Существенное] Графовая модель описана, но не заданы правила построения вершин и дуг из реального документа. Где видно: с. 41–43. Риск: модель трудно воспроизвести и реализовать. Как поправить: описать процедуру построения графа: извлечение структуры, связывание требований, разметка критериев, привязка замечаний, назначение весов, обновление графа после задачи.
42. [Существенное] Путь доказательной связи задан абстрактно. Не ясно, какие типы дуг допустимы и почему порядок именно такой. Где видно: с. 42. Риск: Логика трассировки может быть оспорена. Как поправить: уточнить семантику дуг: замечание относится к критерию, который основан на требовании, замечание подтверждается фрагментом. Возможно использовать направленные связи.
43. [Существенное] Показатели Kcov, Kev, Kctx, Kconn введены, но не указаны пороги приемлемости, способ измерения и роль в принятии решения. Где видно: с. 43–45. Риск: метрики не работают как критерии качества результата. Как поправить: для каждой метрики определить формулу, входные данные, диапазон, интерпретацию, пороги, связь с итоговой рекомендацией и экспериментальным протоколом.
44. [Существенное] Нет доказательств или утверждений о свойствах модели. Где видно: глава 2. Риск: теоретический результат выглядит недоказанным. Как поправить: сформулировать свойства: трассируемость замечаний, полнота покрытия критериев при заданных правилах, монотонность накопления результатов, проверяемость рекомендации. Для каждого свойства дать доказательство или обоснование.
45. [Существенное] Нет сквозного примера применения модели на реальном или условном фрагменте документа. Где видно: глава 2. Риск: модель остается абстрактной. Как поправить: добавить пример: фрагмент диссертации/статьи, требование, критерий, сформированное замечание, доказательный фрагмент, вершины и дуги графа, расчет Kcov/Kev.
46. [Существенное] Модель не сравнивается с multi-view representation, knowledge graph, ontology-based document analysis и RAG-структурами. Где видно: глава 2. Риск: новизна может быть воспринята как переименование известных подходов. Как поправить: добавить подраздел «Отличие модели от известных представлений» с таблицей: что есть в аналогах и прототипе, а что добавлено в диссертации.
47. [Редакционное] Основные формулы не пронумерованы и не имеют ссылок в тексте. Где видно: формулы в главе 2. Риск: сложно ссылаться на математические результаты. Как поправить: нумеровать формулы, которые используются далее: D, C, X, P(X), H, Kcov, Kev, Kctx, Kconn.
48. [Редакционное] Табличные обозначения Ps/Pm/Pq/Pc/Pe/Pr и текстовые обозначения должны быть полностью единообразны. Где видно: таблицы 2.1–2.3. Риск: мелкая несогласованность снижает аккуратность математического текста. Как поправить: проверить исходный DOCX/LaTeX, привести все индексы к единому виду, добавить список обозначений.
F. Глава 3: метод координации моделей искусственного интеллекта
49. [Критическое] Метод координации описан как набор идей, но не полностью задан как воспроизводимая процедура с входами, выходами, шагами, условиями и критериями остановки. Где видно: глава 3, с. 47–57. Риск: метод может быть воспринят как архитектурное описание, а не научный метод. Как поправить: дать формальное описание метода: входы X, P(X), A, B, M, R; выходы Y, Z; шаги; ограничения; приемка; повторная обработка; завершение.
50. [Существенное] База метрик упомянута, но не раскрыта как структура данных. Где видно: с. 49–52. Риск: неясно, как база метрик создается, обновляется и используется. Как поправить: добавить схему базы метрик: таблицы/поля для задач, исполнителей, результатов; источники оценок; способ нормализации; примеры заполненных записей.
51. [Существенное] Функция Score/F описана общо – не указано, как нормируются q, t, r, s, d и как выбираются веса. Где видно: с. 50, 51. Риск: оптимизационная постановка не воспроизводима. Как поправить: ввести нормализацию показателей, диапазоны, способы задания весов: экспертно, по сценарию, из экспериментальных данных. Показать числовой пример выбора исполнителя.
52. [Существенное] Правила контекстуализации приведены в виде примеров, а не как формальная система правил. Где видно: с. 51, 52. Риск: метод трудно реализовать и проверить. Как поправить: описать правила в формате if-then/DSL/таблиц: условия применимости, входные проекции, требования, ограничения контекста, шаблон запроса, критерии приемки.
53. [Критическое] Задача оптимизации выбора управляющего решения приведена, но не задан алгоритм ее решения. Где видно: с. 53, 54. Риск: формула не превращается в метод. Как поправить: добавить алгоритм выбора: фильтрация допустимых исполнителей, расчет метрик, ранжирование, проверка ограничений, выбор u*, fallback при отказе.
54. [Существенное] Предикат Accept(y, rho) описан бинарно, но не раскрыты критерии приемки для разных типов задач. Где видно: с. 54. Риск: нельзя проверить, почему результат принят или отклонен. Как поправить: для каждой аналитической задачи задать rho: формат, наличие цитат, покрытие критериев, отсутствие неподтвержденных выводов, минимальная уверенность, соответствие ограничениям.
55. [Существенное] Повторный запуск при непринятом результате описан, но нет ограничений на число повторов и условий передачи человеку. Где видно: с. 54 Риск: возможны бесконечные циклы или неконтролируемые расходы ресурсов. Как поправить: добавить max_attempts, стратегию эскалации эксперту, правила изменения контекста/исполнителя, критерий остановки и логирование отказов.
56. [Существенное] Не показано отличие метода от LLM routing, agent orchestration, RAG pipelines и self-refine на уровне механизма. Где видно: глава 3. Риск: слабой научной новизны. Как поправить: сделать сравнительную таблицу с прототипом: какие элементы есть/нет; показать, что именно добавляют метрики, критерии приемки и граф доказательности.
57. [Существенное] Не раскрыта работа с конфиденциальными данными как управленческое ограничение. Где видно: глава 3. Риск: тезис о локальных моделях остается декларативным. Как поправить: формализовать dij: уровни допуска, типы данных, требования к локальному запуску, запрет внешних API, аудит доступа, шифрование/обезличивание.
58. [Редакционное] Таблицы информативны, но перегружены текстом. Где видно: таблицы 3.1–3.4. Риск: снижается читаемость и убедительность. Как поправить: перенести детальные примеры в приложение, а в основной текст оставить компактные таблицы и рисунок метода.
G. Глава 4: алгоритм, программная реализация и архитектура
59. [Критическое] Глава называется алгоритмом, но алгоритм не представлен в виде псевдокода, схемы алгоритма или формального описания шагов. Где видно: глава 4, с. 57–70 Риск: для технической диссертации алгоритм должен быть воспроизводимым. Как поправить: добавить псевдокод с входами/выходами, последовательностью шагов, условиями ветвления, обработкой ошибок и критериями завершения. Добавить схему алгоритма.
60. [Существенное] Общая схема обработки описана текстом, но нет рисунка процесса. Где видно: с. 58–61. Риск: сложно увидеть связи между проекциями, задачами и сервисами. Как поправить: добавить рисунок: загрузка документа; извлечение структуры; построение проекций; граф задач; выбор контекста/исполнителя; приемка; агрегатор; эксперт.
61. [Существенное] Архитектура реализации названа микросервисной, но нет архитектурной диаграммы и спецификации интерфейсов. Где видно: с. 64–67. Риск: программный комплекс не выглядит проверяемым инженерным результатом. Как поправить: добавить C4/компонентную диаграмму: UI, orchestrator, Kafka, Redis, ChromaDB, LLM/VLM services, RAG-service, storage, logging, monitoring. Описать API и сообщения.
62. [Критическое] Указаны конкретные модели, но нет версий окружения, аппаратных параметров, размеров контекста, режимов запуска, параметров генерации. Где видно: с. 64–66. Риск: эксперименты и реализацию нельзя воспроизвести. Как поправить: указать версии моделей, даты загрузки, размер контекста, temperature/top_p, hardware, GPU/CPU, RAM, ОС, версии библиотек, контейнеры, commit hash-репозитория.
63. [Существенное] Redis, Kafka, ChromaDB перечислены, но не показано, какие данные где хранятся и как обеспечивается целостность состояния. Где видно: с. 65–67. Риск: архитектура описана поверхностно. Как поправить: добавить таблицу хранилищ и схем: ключи Redis, топики Kafka, коллекции ChromaDB, формат задач, формат результатов, жизненный цикл статусов.
64. [Существенное] RAG-модуль описан общо: нет параметров chunking, embeddings, top-k, reranking, критериев релевантности. Где видно: с. 66, 67. Риск: нельзя оценить качество контекстного обогащения. Как поправить: описать разбиение документов, перекрытие, embedding-модель, top-k, фильтры по требованиям, контроль качества извлечения.
65. [Существенное] Упомянут специализированный набор данных около 2,2 тыс. записей, но нет его описания. Где видно: с. 64. Риск: данные важны для достоверности и новизны, но не проверяемы. Как поправить: описать источники, формат записей, разметчиков, инструкцию разметки, проверку согласия, разделение train/test, примеры записей, ограничения, публикации.
66. [Существенное] Формирование экспертного заключения описано, но не показан реальный пример результата. Где видно: с. 68–70. Риск: практический результат остается абстрактным. Как поправить: добавить пример сформированного протокола: замечание, критерий, фрагмент документа, требование, критичность, рекомендация, статус приемки экспертом.
67. [Существенное] Нет оценки вычислительной сложности, времени выполнения и затрат ресурсов. Где видно: глава 4. Риск: для технического алгоритма важно показать производительность. Как поправить: добавить оценку: время извлечения, построения проекций, retrieval, генерации, приемки, агрегации; зависимость от длины документа и числа задач.
68. [Существенное] Не раскрыта роль человека-эксперта в интерфейсе: как он проверяет, исправляет и подтверждает результат. Где видно: глава 4. Риск: заявление о human-in-the-loop остается общим. Как поправить: описать сценарий работы эксперта: просмотр замечаний, переход к доказательному фрагменту, принятие/отклонение, корректировка, обратная связь в метрики.
H. Экспериментальная проверка и достоверность
69. [Критическое] Полноценная экспериментальная проверка отсутствует. Где видно: задача 7, с. 6; раздел о достоверности, с. 10; основная часть. Риск: это главный барьер для кандидатской защиты. Как поправить: создать экспериментальную главу с методикой, данными, результатами и обсуждением. Без нее заявленная цель и достоверность не подтверждаются.
70. [Критическое] Не описан корпус документов: число, типы, объемы, языки, источники, критерии включения/исключения. Где видно: нет отдельного раздела экспериментов. Риск: невозможно оценить применимость метода. Как поправить: сформировать таблицу корпуса: статьи, ВКР, отчеты, заявки; документы; средний объем; число требований; число экспертных замечаний; режим конфиденциальности.
71. [Критическое] Не определено, что такое «значимое замечание» и как экспертное решение считается эталоном. Где видно: нет методики экспертной разметки. Риск: метрики полноты и согласованности не имеют основания. Как поправить: ввести инструкцию разметки, шкалу критичности, независимых экспертов, процедуру согласования, расчет agreement, золотой стандарт.
72. [Критическое] Во введении заявлены сравнения с прямым применением одной модели, фиксированными сценариями и абляциями, но результатов нет. Где видно: нет baseline-сравнения. Риск: не доказано преимущество метода. Как поправить: провести сравнение: baseline 1 – один LLM на полный документ; baseline 2 – RAG без правил; baseline 3 – фиксированный pipeline; proposed; ablations без графа/без приемки/без правил контекстуализации.
73. [Существенное] Не заданы метрики: полнота замечаний, точность, доказательность, согласованность, трудоемкость, стоимость. Где видно: нет метрик качества. Риск: невозможно измерить результат. Как поправить: ввести метрики: Recall@significant comments, Precision of comments, Evidence accuracy, Expert agreement, Time saved, Cost per document, Context size, Re-run rate, Kcov, Kev, Kctx.
74. [Существенное] Нет повторов, доверительных интервалов, проверки значимости отличий. Где видно: нет статистической проверки. Риск: результаты могут быть случайными, особенно при LLM. Как поправить: проводить несколько запусков на документ/сценарий, фиксировать seed/parameters, давать среднее, стандартное отклонение, доверительные интервалы, тесты значимости.
75. [Существенное] Не показано, в каких случаях метод не работает. Где видно: нет анализа ошибок. Риск: работа выглядит рекламной и не научной. Как поправить: добавить error analysis: ложные замечания, пропущенные замечания, неверные доказательные фрагменты, сбои таблиц/формул, конфликт критериев, ограничения VLM.
76. [Существенное] Тема комплексных документов предполагает разные форматы и объемы. Где видно: нет проверки устойчивости к длине документа и качеству OCR/парсинга. Риск: алгоритм может быть нестабилен. Как поправить: провести эксперименты по длине документа, качеству разметки, наличию таблиц/рисунков/формул, разным шаблонам требований.
77. [Существенное] Цель заявляет сокращение трудоемкости, но не измеряет его. Где видно: нет доказательства сокращения трудоемкости. Риск: цель не подтверждена. Как поправить: измерить время эксперта: ручная проверка, проверка с системой, время валидации замечаний, число кликов/переходов, число повторных чтений.
78. [Существенное] Даже если эксперименты будут, нужно показать, что они подтверждают именно модель, метод и алгоритм. Где видно: нет связи экспериментальных результатов с положениями на защиту. Риск: защищаемые положения остаются недоказанными. Как поправить: сделать таблицу: положение 1 – эксперимент/метрика; положение 2 – эксперимент/метрика; положение 3 – эксперимент/метрика; вывод.
I. Публикации, апробация, внедрение, личный вклад
79. [Критическое] Публикации не перечислены полными библиографическими описаниями. Где видно: с. 10. Риск: нельзя проверить соответствие требованиям по опубликованности основных результатов. Как поправить: добавить после введения или перед списком литературы раздел «Публикации автора по теме диссертации» с полной библиографией и статусом.
80. [Существенное] Фраза «1 опубликована в издании, индексируемом в базе цитирования Scopus, Web of Science» некорректна/неполна. Где видно: с. 10. Риск: может вызвать вопросы о фактическом статусе публикации. Как поправить: указать точную базу индексирования, название издания, год, том, номер, страницы, DOI, дату публикации. Не писать через запятую без подтверждения.
81. [Существенное] Свидетельство о регистрации программы для ЭВМ упомянуто без номера и сведений. Где видно: с. 10. Риск: практический результат не подтвержден документально. Как поправить: указать номер свидетельства, дату регистрации, название программы, авторов, правообладателя, назначение, связь с диссертацией. Приложить копию в приложение.
82. [Существенное] Внедрение в НИР и курс ДПО заявлено, но не раскрыто, какие результаты внедрены и с каким эффектом. Где видно: с. 10. Риск: акт внедрения может быть признан слабым. Как поправить: добавить акты/справки с указанием: внедренная модель/метод/ПО, место внедрения, период, пользователи, эффект, ответственное лицо.
83. [Существенное] Личный вклад автора сформулирован через «участие в реализации», что слабее для собственного научного вклада. Где видно: с. 10, 11. Риск: при соавторских публикациях могут спросить, что именно сделал соискатель. Как поправить: переформулировать вклад: лично разработал модель/метод/алгоритм; реализовал такие модули; организовал эксперименты; выполнил анализ; указать вклад в совместные работы.
84. [Существенное] Ссылка на GitHub указана без версии, commit hash, лицензии и описания, какие реализации относятся к диссертации. Где видно: с. 8. Риск: открытый код не является воспроизводимым доказательством без фиксации версии. Как поправить: указать ссылку на конкретный release/commit, состав репозитория, инструкции запуска, ограничения доступа, DOI/архив при необходимости.
J. Оформление, стиль, библиография
85. [Существенное] Список литературы содержит 41 источник, что для кандидатской диссертации выглядит недостаточно, особенно с учетом широкой темы. Где видно: список литературы, с. 70–74. Риск: обзор может быть признан неполным. Как поправить: расширить список минимум за счет источников по 2.3.4, СППР, организационным системам, экспертным системам, нормоконтролю, human-centered AI, LLM evaluation, document AI. Точное число согласовать с научным руководителем и советом.
86. [Существенное] Оформление источников неоднородно: часть источников как arXiv, часть как книги, часть с DOI; нет единых правил. Где видно: список литературы. Риск: нарушение библиографического оформления. Как поправить: привести список к ГОСТ/требованиям организации. Для электронных источников добавить URL и дату обращения, для статей – DOI, страницы, том/номер.
87. [Существенное] В работе почти нет рисунков, хотя тема включает модель, метод, алгоритм и архитектуру. Где видно: Весь текст. Риск: для технической диссертации визуальные схемы повышают доказательность и воспринимаемость. Как поправить: добавить минимум 5–7 рисунков: предметная область, модель проекций, граф доказательности, метод координации, алгоритм, архитектура, экспериментальный стенд.
88. [Существенное] Формулы не пронумерованы и не всегда поясняются с достаточной полнотой. Где видно: формулы в главах 2, 3. Риск: формальная часть трудно проверяется. Как поправить: нумеровать формулы, сделать список обозначений, указывать единицы/диапазоны/типы переменных, давать ссылки на формулы при дальнейших выводах.
89. [Редакционное] Много переносов внутри таблиц, разрывы на страницах, широкие ячейки с большими пробелами. Где видно: таблицы по всему тексту. Риск: текст выглядит как черновой PDF, а не финальная диссертация. Как поправить: сократить текст в таблицах, перенести развернутые пояснения в основной текст, настроить повтор заголовков и подписи продолжения.
90. [Редакционное] «Методики, модели» написано без пробела. Где видно: с. 10. Риск: редакторская ошибка. Как поправить: исправить на «Методики, модели». Провести автоматическую проверку пробелов после запятых и вокруг тире.
91. [Редакционное] «Отдельные реализации алгоритмов, созданных в диссертационной работе размещены...» требует запятой и стилистического уточнения. Где видно: с. 8. Риск: стиль выглядит разговорным. Как поправить: исправить: «Отдельные реализации алгоритмов, созданных в рамках диссертационной работы, размещены...» или «Исходный код отдельных программных модулей размещен...».
92. [Редакционное] Есть длинные предложения с несколькими однородными рядами. Где видно: весь текст. Риск: снижается ясность изложения. Как поправить: разделить длинные предложения, особенно во введении и формулировках положений на защиту. Для защиты лучше использовать короткие формулы «что сделано – чем отличается – что обеспечивает».
93. [Редакционное] Термины «экспертная оценка», «экспертное решение», «экспертное заключение», «рекомендация», «проект заключения» используются близко, но не всегда разведены. Где видно: весь текст. Риск: может возникнуть терминологическая неоднозначность. Как поправить: ввести терминологическую таблицу и далее использовать термины строго: оценка – процесс, замечание – частный результат, заключение – документ, рекомендация – итоговое решение/вариант действия.
94. [Редакционное] В оглавлении заголовки длинные, некоторые строки плохо переносятся. Где видно: оглавление и заголовки. Риск: оглавление воспринимается перегруженным. Как поправить: сократить заголовки или настроить стили оглавления. Например, «Математическая модель многопроекционного представления документа».
K. Рекомендуемая новая структура и план доработки
95. [Критическое] Не хватает целевой структуры финальной диссертации. Где видно: будущая версия. Риск: доработка может пойти фрагментарно. Как поправить: перестроить работу: Введение; Глава 1 – анализ и постановка; Глава 2 – модель; Глава 3 – метод; Глава 4 – алгоритм и программная реализация; Глава 5 – экспериментальная проверка; Заключение; Список литературы; Приложения.
96. [Существенное] Необходимо выстроить доказательную цепочку результатов. Где видно: будущая версия. Риск: без цепочки результаты воспринимаются разрозненно. Как поправить: для каждого результата сделать связку: научная задача; формальная модель/метод; алгоритм; реализация; эксперимент; публикация; внедрение.
97. [Существенное] Нет матрицы замечаний по критериям готовности к предзащите. Где видно: будущая версия. Риск: трудно отслеживать прогресс. Как поправить: вести рабочую таблицу: замечание, приоритет, ответственный, раздел, статус, подтверждающий материал. Использовать этот документ как чек-лист.
5. Рекомендуемая структура доработанной диссертации
Формат: Раздел / Что должно быть
Введение / Актуальность; степень разработанности; противоречие; научная задача; объект/предмет; цель с измеримыми показателями; задачи; методы исследования; научная новизна; теоретическая и практическая значимость; положения на защиту; достоверность; апробация; публикации; внедрение; структура и объем.
Глава 1. Проблемная область и постановка задачи / Организационная система экспертной оценки; анализ существующих методов; сравнительная таблица аналогов; ограничения; формальная постановка научной задачи.
Глава 2. Математическая модель Формальные определения; многопроекционное представление; граф доказательности; показатели качества; свойства модели; сквозной пример.
Глава 3. Метод координации База метрик; правила контекстуализации; выбор управляющего решения; приемка результата; конфиденциальность; отличие от прототипов; пример расчета.
Глава 4. Алгоритм и программная реализация Псевдокод; схема алгоритма; архитектура; схемы данных; версии моделей; RAG-параметры; сценарии работы эксперта; ограничения.
Глава 5. Экспериментальная проверка Корпус; эксперты; разметка; baselines; метрики; результаты;
статистика; ablation study; анализ ошибок; интерпретация эффекта.
Заключение. Выводы по задачам; вклад; достижение цели; подтвержденные результаты; внедрение; ограничения; перспективы.
Приложения. Публикации; свидетельство; акты внедрения; фрагменты датасета; шаблоны правил; промпты; примеры протоколов; дополнительные таблицы экспериментов.
6. Рабочие варианты усиленных формулировок
Ниже приведены примеры, которые можно использовать как заготовки после проверки фактических экспериментальных результатов и согласования с научным руководителем.
Уточненная научная задача: разработать модель, метод и алгоритм интеллектуальной поддержки первичной экспертной оценки комплексных научно-образовательных документов в организационной системе, обеспечивающие управляемый выбор контекста и исполнителей аналитических задач, трассируемость экспертных замечаний к критериям и фрагментам документа, а также сокращение трудоемкости подготовки проекта экспертного заключения при сохранении заданного уровня полноты значимых замечаний.
Уточненная цель: целью диссертационной работы является повышение эффективности первичной экспертной оценки комплексных документов в организационных системах за счет разработки математической модели многопроекционного представления документа, метода координации моделей ИИ и алгоритма формирования трассируемого проекта экспертного заключения, обеспечивающих сокращение трудоемкости анализа, повышение доказательности замечаний и согласованности итоговой рекомендации с решением эксперта.
Положение 1: математическая модель многопроекционного представления комплексного документа, отличающаяся введением взаимосвязанных структурной, содержательной, критериальной, контекстной, доказательной и рекомендательной проекций, а также графа связей между фрагментами, требованиями, критериями и замечаниями, что обеспечивает трассируемость экспертного заключения.
Положение 2: метод координации моделей искусственного интеллекта и инструментов анализа, отличающийся использованием базы метрик задач, исполнителей и результатов, а также правил контекстуализации для выбора управляющего решения, состава контекста и критериев приемки по каждой аналитической задаче.
Положение 3: алгоритм многопроекционного анализа комплексного документа, отличающийся поэтапным построением представлений, выбором релевантного контекста и исполнителя, приемкой частных результатов и агрегацией доказательных замечаний в проект экспертного заключения, пригодный для проверки экспертом.
7. Приоритетный план доработки
Формат: срок / работы
1–2 недели / исправить структуру: добавить заключение, список обозначений, структуру/объем, раздел методов, обновить оглавление, исправить редакционные ошибки.
2–4 недели / усилить введение: цель, задачи, новизна, положения на защиту, соответствие паспорту 2.3.4, публикации, внедрение, достоверность.
2–5 недель / переписать главу 2: строгие определения, свойства модели, пример, рисунки, нумерация формул, список обозначений.
3–6 недель / переписать главу 3: формальный метод, база метрик, правила, алгоритм выбора, приемка, fallback, сравнение с аналогами.
3–6 недель / Расширить главу 4: псевдокод, архитектура, версии моделей, схемы данных, RAG-параметры, пример результата.
4–8 недель / Провести и описать эксперименты: корпус, разметка, baselines, ablations, статистика, анализ ошибок, трудоемкость.
1–2 недели / Собрать доказательные приложения: публикации, свидетельство, акты внедрения, примеры данных, протоколы экспертов, скриншоты/инструкции.
Финальная неделя / Полная редактура по ГОСТ/требованиям организации: таблицы, рисунки, формулы, библиография, нумерация страниц, стили.
8. Чек-лист готовности к предзащите
1. Введение содержит все обязательные элементы и не противоречит основной части.
2. Каждая задача во введении имеет результат в конкретной главе и итог в заключении.
3. Каждое положение на защиту подтверждено: формально, экспериментально, публикацией и/или внедрением.
4. Модель имеет определения, обозначения, свойства и пример применения.
5. Метод имеет воспроизводимый алгоритм выбора управляющего решения и критерии приемки.
6. Алгоритм представлен псевдокодом, блок-схемой и реализованным программным контуром.
7. Экспериментальная глава содержит корпус, экспертов, baselines, метрики, таблицы результатов и статистику.
8. Показано сокращение трудоемкости и/или повышение качества экспертной оценки.
9. Публикации перечислены полностью; указана связь публикаций с положениями на защиту.
10. Есть акты внедрения/справки и свидетельство о программе для ЭВМ с реквизитами.
11. Список литературы расширен и оформлен единообразно.
12. Все таблицы, рисунки и формулы пронумерованы и имеют ссылки в тексте.
13. Оглавление, нумерация страниц.