Видеоаналитика действий водителя карьерного автосамосвала
Карьерные самосвалы – основа любого горного производства, но управление многотонной машиной в сложных условиях сопряжено с высокими рисками. Усталость, невнимательность или нарушение водителем техники безопасности могут привести к катастрофическим последствиям как для техники, так и для людей. Сегодня на смену пассивным видеорегистраторам приходит интеллектуальная видеоаналитика. Новые системы не просто фиксируют факт ДТП, но и предсказывают и предотвращают его, контролируя состояние оператора прямо во время рейса.
Константин Короткин
Руководитель проектов АО "Карельский окатыш" (ПАО "Северсталь")
Предпосылками к старту проекта явилось то, что усталость и отвлечение водителя являются одними из наиболее распространенных причин аварий карьерной техники. По нашей статистике, 35–40% всех зарегистрированных ДТП на площадке так или иначе связаны с автосамосвалами – это самый массовый вид транспорта в карьерах.
К распространенным нарушениям относятся непристегнутый ремень безопасности, использование мобильных устройств, нарушение регламентов.
Анализируя статистику, мы поняли, что нам нужен не просто регистратор событий, который запишет аварию, а инструмент, который будет работать на опережение, – система, которая станет тем самым "вторым пилотом" для водителя.
Система видеоаналитики действий водителя карьерного автосамосвала (далее – система) выполняет круглосуточный контроль за состоянием водителя и его действиями. Такой подход позволяет практически исключить риски, связанные с человеческим фактором, предотвращая тем самым аварии и связанные с ними простои оборудования. Удобный пользовательский интерфейс реализован на базе внутренней MES-системы "КлиентПРО", что обеспечивает бесшовную интеграцию в существующие производственные процессы.
Технологический фундамент. Архитектура
Когда мы начинали разработку, перед нами стояла задача создать систему, которая будет работать именно в условиях карьера. Типовые офисные или автомобильные решения здесь не выживают.
Техническая реализация базируется на современном комплексе аппаратных и программных средств, схема которого представлена на рис. 1.
Ядром системы выступает промышленный ПК с вычислительным модулем, на котором развернут сервис анализа данных. Алгоритмы компьютерного зрения в реальном времени обрабатывают видеопоток, детектируя ключевые точки лица водителя (модель выводит оценку более чем сотни трехмерных ориентиров). Это позволяет с высокой точностью фиксировать признаки усталости, отвлечения или засыпания. Сгенерированные метаданные передаются на сервер, где реализована основная бизнес-логика определения событий и нарушений.
Работа сервиса основана на двух моделях: модели для определения лицевых маркеров и модели для обнаружения водителя и фиксации нарушений.
К системе подключена отдельно выделенная антенна GPS. Дополнительно, как резервный источник, сигнал GPS берется с системы диспетчеризации "Модулар". Передача данных осуществляется по внутренней частной сети LTE.
При обучении использовалось 396 тыс. изображений. Проблем с разметкой не было, так как практически все целевые объекты имеют свои характерные внешние признаки.
Пользовательский интерфейс реализован на стороне внутренней MES-системы "КлиентПРО". Он включает в себя инструмент для отработки инцидентов, инструмент для выгрузки необходимых видеороликов за определенный момент времени, отчетные и аналитические дашборды.
Что мы детектируем:
- человек в кадре;
- отвлечение внимания;
- непристегнутый ремень безопасности;
- использование мобильных устройств;
- закрытие камеры;
- нарушение работы камеры;
- водитель заснул;
- разговор по телефону.
Так как работа сервиса связана с анализом видеопотока, то общее качество изображения и ракурс камеры напрямую влияют на качество работы сервиса. Поэтому, помимо целевых задач, решаются задачи контроля положения камеры (ракурса) и анализа качества изображения.
Система безопасности: замкнутый цикл оповещения и реагирования
Оповещение пользователей осуществляется по разным каналам связи: СМС-сообщения, e-mail, система диспетчеризации "Модулар", пользовательский интерфейс (рис. 2). Для каждого пользователя, для каждого события есть возможность индивидуально настроить алгоритм оповещений, со своей частотой и логикой.
Например, для водителей оповещение осуществляется через терминал "Модулар". При выявлении события или нарушения через терминал подается громкий звуковой сигнал для привлечения внимания водителя, а на монитор терминала выводятся два сообщения: одно в бегущую строку, другое по центру экрана. Для закрытия сообщения водителю необходимо нажать на него.
Как только модель фиксирует событие, в специализированном инструменте для отработки инцидентов автоматически создается новая запись. Она выделяется красным цветом и сопровождается звуком – так диспетчер мгновенно узнает о происшествии. К каждой записи прикреплен короткий 30-секундный видеоролик, позволяющий быстро оценить ситуацию и принять обоснованное решение.
Параллельно ведется постоянный контроль работы оборудования. В режиме реального времени отслеживается состояние промышленных ПК, видеокамер, наличие GPS-сигнала и подключения к LTE. При обнаружении сбоя автоматически формируется заявка в службу поддержки, что позволяет оперативно реагировать на неполадки.
Особое внимание уделено защите от вандальных действий. В инструменте для работы с инцидентами добавлено событие "Нет соединения с камерой". К нему прикрепляется видеоролик с последним записанным фрагментом перед потерей связи – это помогает выявлять случаи преднамеренного отключения оборудования и принимать меры.
Логика срабатывания (антиложные тревоги)
Когда мы только начинали запускать систему, мы столкнулись с большим количеством спама как со стороны ложных событий, так и однотипных, повторяющихся событий. Чтобы решить эту проблему, мы пошли по пути тонкой настройки. Для каждого типа событий были разработаны индивидуальные правила и алгоритмы. Сегодня тревога в нашей системе формируется только при строгом совпадении набора условий, касающихся характера движения, его длительности и защиты от повторов (рис. 3).
Ключевым источником данных для принятия решений является время и телематика (данные о движении техники). Это могут быть как GPSкоординаты, так и показания инерциальных датчиков. Именно точное определение статуса движения стало краеугольным камнем: от качества этих данных зависит работа системы в целом. Важно отметить, что все события, за исключением потери связи с камерой, анализируются исключительно в движении.
Мы внедрили пороговые значения. Например, детекторы активируются только после набора скорости более 10 км/ч (этот параметр гибко настраивается). Кроме того, у каждого события есть свой временной интервал накопления информации. Классический пример – детекция непристегнутого ремня. Система выносит вердикт "не пристегнут" только после продолжительного отсутствия класса "ремень" в кадре. Такая логика учитывает реалии: нейросеть может "не видеть" ремень из-за плохого освещения, слияния с одеждой или временного выхода из зоны обзора, даже если физически он присутствует.
Мы разделили понятия "нового" и "старого" события. Если статус меняется с "нормы" на "нарушение" – фиксируется новое событие. Если статус "нарушение" сохраняется – система квалифицирует его как уже известное. Такой подход позволяет легко настраивать логику системы под специфику заказчика.
Главное преимущество нашей системы – гибкость. Мы можем адаптировать параметры работы модели под конкретные события и условия эксплуатации, добиваясь того самого идеального баланса между достоверностью и полнотой контроля.
Преодоленные барьеры, трудности
Внедрение системы видеоаналитики на карьерных самосвалах сопряжено с множеством вызовов, обусловленных суровыми условиями эксплуатации и человеческим фактором.
Вандализм и умышленное вмешательство
Вандализм и умышленное вмешательство со стороны работников или посторонних лиц является основной проблемой, с которой приходится сталкиваться. Коммуникации, оборудование, камеры могут быть заблокированы, отключены или даже намеренно повреждены. Это может приводить к потере данных, пропуску опасных событий и снижению доверия к системе. Для минимизации этого риска необходимо установить защитные корпуса и системы пломбирования, а также обучить персонал основам безопасности и ответственности за оборудование. Но главное – это прозрачная коммуникация с персоналом.
Внешние условия: грязь/пыль, вибрация, блики
Работа карьерных самосвалов часто проходит в сложных внешних условиях, включая грязь, пыль, темное время суток, яркое солнечное освещение и сильные вибрации. Эти факторы могут влиять на качество видеопотока и точность алгоритмов обработки данных. Низкое качество изображения может привести к ложным тревогам или пропуску критических ситуаций. Для решения этой проблемы необходимо использовать специализированное оборудование, оптимизированное для работы в таких условиях, защитные приспособления, а также регулярно проводить техническое обслуживание и чистку камер.
Отсутствие связи и навигации
В удаленных и отдаленных районах, где работают карьерные самосвалы, могут возникать проблемы с отсутствием стабильной связи и навигации. Плохое качество сигнала может привести к потере связи между камерами и центральной системой, что снижает эффективность видеоаналитики. Чтобы преодолеть этот барьер, целесообразно рассмотреть возможность внедрения локальных систем хранения данных, которые будут передаваться в централизованное хранилище по мере восстановления соединения. Использование инерциальных датчиков может стать основным источником для точного определения статуса движения техники.
Уникальные особенности системы
Мы не стали использовать коробочное решение, так как оно не учитывает особенности работы карьерных самосвалов и не соответствует специфике наших задач. Мы разработали уникальную систему видеоаналитики, которая идеально вписывается в контекст карьерной работы и отвечает конкретным потребностям.
Вот несколько ключевых особенностей, которые делают нашу систему уникальной.
Адаптация под специфику карьера
Наша система была создана с учетом специфики работы в карьере. Мы настроили пороги срабатывания и алгоритмы фильтрации шумов, что позволяет эффективно обрабатывать данные в условиях длительных смен и тяжелых эксплуатационных условий. Только так мы можем гарантировать надежность и точность работы системы даже в самых сложных ситуациях.
Контроль данных внутри компании
Все видео и статистика хранятся на внутренних серверах, что гарантирует высокий уровень безопасности и конфиденциальности информации. Никаких "облаков" за пределами предприятия – это принципиальный момент, особенно для объектов критической важности.
Быстрое развитие
С нашей системой не нужно ждать долгие месяцы, пока вендор выпустит новое обновление или исправит баги. Если на объекте был выявлен новый тип нарушения, мы можем разработать и внедрить необходимый модуль за короткий промежуток времени, используя внутренние ресурсы. Это позволяет нам оставаться на передовой и мгновенно реагировать на текущие требования и вызовы.
Передовые модели
Работа сервиса основана на двух моделях: модели для определения лицевых маркеров и модели для обнаружения водителя и фиксации нарушений. Модель выводит оценку более сотни трехмерных ориентиров лица (рис. 4).
Интеграция с действующими системами
Наша система не требует сложной доработки для интеграции с существующими системами диспетчеризации, MES и ERP. Обмен данными происходит в автоматическом режиме, что значительно упрощает процесс внедрения и взаимодействия с другими системами.
***
В результате система представляет собой не просто инструмент контроля, а предиктивный инструмент для повышения безопасности и операционной эффективности карьерного автотранспорта, созданный с учетом всех нюансов горного предприятия.
Практическая польза: что получает предприятие
Система прошла путь от пилота до промышленной эксплуатации. Цифры говорят сами за себя. Зафиксировано снижение количества нарушений в среднем на 75% (рис. 5). Обеспечивается высокая точность верификации событий. Показатель качества работы модели составляет от 95 до 99%. А главное – мы видим, как меняется культура безопасности.Водители перестали воспринимать систему как "надзирателя". На сегодняшний день системой видеонаблюдения оборудовано 50 единиц техники.
Система обеспечивает непрерывный мониторинг физического состояния и действий водителя, минимизируя риски "человеческого фактора" и способствуя предотвращению аварий и простоев. Видеоаналитика перестает быть просто системой безопасности и становится инструментом повышения эффективности всего горнотранспортного комплекса.
Иллюстрации предоставлены автором.
Иллюстрация к статье сгенерирована нейросетью GigaChat