Почему оперативное численное прогнозирование погоды в США все еще отстает и как это исправить?
Численное прогнозирование погоды (NWP) в США имеет важнейшее значение как для экономических целей, так и для защиты жизни и имущества. К сожалению, качество прогнозирования по глобальным моделям в стране существенно отстает от показателей ведущих международных центров ЧПП, причем проблемы распространяются и на региональное прогнозирование. В данной статье рассматривается история деятельности США в области ЧПП, описываются причины, по которым американское прогнозирование погоды не реализует свой потенциал, и предлагаются меры, способные вернуть ЧПП США мировое лидерство. Среди основных предложений - создание Центра численного прогнозирования погоды США, улучшение координации усилий исследовательского и оперативного сообществ в области ЧПП, а также увеличение вычислительных ресурсов NOAA как минимум в десять раз.
За последние 70 лет численное прогнозирование погоды (ЧПП) прошло путь от младенчества до зрелой, высококвалифицированной технологии, которая необходима как для экономики, так и для защиты жизни и имущества. Она также является важнейшим инструментом борьбы с экстремальными погодными явлениями. Оперативное ЧПП впервые была реализована в США, и эта страна была мировым лидером в течение нескольких десятилетий. Однако в последние десятилетия усилия США в области оперативного ЧПП отстают от уровня развития науки и ведущих международных конкурентов, особенно в области глобального и ансамблевого прогнозирования. Большое сообщество метеорологических исследований США, самое обширное в мире, неэффективно взаимодействует с оперативным сообществом, а дорогостоящие оперативные усилия в области ЧПП распределены между слишком большим количеством подкритичных и дублирующих групп. В некоторых областях американская ЧПП добилась заметных успехов, и понимание этих успехов полезно для определения лучшего пути развития.
Оперативное ЧПП США: текущая ситуация
Глобальное оперативное численное прогнозирование погоды является основой всех усилий по прогнозированию погоды, обеспечивает начальные и граничные условия для региональных прогностических моделей более высокого разрешения и является ключевым исходным материалом для систем статистического прогнозирования. Ввиду критической важности глобальных моделей погоды даже небольшое повышение их прогностической квалификации может принести огромную пользу обществу.
В течение последних нескольких десятилетий качество американских оперативных глобальных NWP в Центре моделирования окружающей среды (EMC) NOAA, расположенном в Национальном центре прогнозирования окружающей среды (NCEP) Национальной службы погоды (NWS), отставало от конкурирующих моделей, создаваемых несколькими крупными международными центрами прогнозирования, и прогресс в наверстывании этого отставания был незначительным. В качестве иллюстрации на рис. 1 показано долгосрочное мастерство (корреляция аномалий с собственными анализами, выше - лучше) для Северного и Южного полушарий для 5-дневных прогнозов геопотенциальной высоты 500 гПа с 1984 по 2022 год при сравнении глобальных моделей NOAA Global Forecast System (GFS) и European Centre for Medium-Range Weather Forecasts (ECMWF) Integrated Forecast System (IFS). Для всех лет, кроме одного, прогнозы ECMWF имели более высокие корреляции аномалий, при этом относительное улучшение модели GFS за последнее десятилетие было незначительным. Отставание в мастерстве прогноза GFS от ECMWF больше для Южного полушария по сравнению с Северным полушарием. С 2012 года качество прогнозов в обоих центрах улучшилось лишь незначительно, в отличие от их быстрого улучшения в 1990-е годы.
Другим подходом к сравнению прогностического мастерства глобальных систем прогнозирования является определение количества дней предсказуемости. На рис. 2 представлено количество дней до снижения коэффициентов корреляции аномалий Северного и Южного полушарий (ACC) до 0,6 и 0,8 для моделей GFS и ECMWF за период 1996-2022 гг. Пороговое значение ACC, равное 0,6, часто используется для определения количества дней предсказуемости, при этом более низкие значения ACC указывают на то, что прогнозы имеют незначительную ценность. При использовании этого порога система ECMWF обычно имеет примерно полдня дополнительной предсказуемости по сравнению с GFS в Северном полушарии и 3/4 дня дополнительной предсказуемости в Южном полушарии. Если рассматривать тенденции изменения ACC во времени, то мастерство прогнозов GFS отстает от мастерства прогнозов ECMWF примерно на 6 лет как в Северном, так и в Южном полушарии.
Статистика качества прогнозов глобальных моделей (ACC) на уровне 500 гПа, полученная группой оценки моделей NOAA/NWS (MEG) за последний год, показывает, что модель NOAA GFS находится на третьем или четвертом месте среди международных центров, отставая от модели ECMWF IFS и унифицированной модели Met Office (UKMO), а также сравнявшись или уступая глобальной модели Канадского метеорологического центра (CMC) (Global Environmental Multiscale Model, GEM) (табл. 1). Модель ВМС США FNO (Fleet Numerical Meteorology and Oceanography Center) стабильно занимает пятое место.
Американская модель GFS не только в целом менее искусна, чем модели ECMWF и UKMO, в течение длительных периодов времени, но и часто демонстрирует резкие, краткосрочные потери искусности, известные как "выпадения"; эти потери часто не разделяются другими ведущими системами моделирования. Это иллюстрирует рис. 3, на котором представлена суточная корреляция аномалий в Северном полушарии на высоте 500 гПа для 5-дневных прогнозов в январе 2022 года. Три раза в течение этого месяца корреляция аномалий GFS опускалась ниже 0,85, в то время как корреляция моделей ECMWF практически не снижалась.
Хотя приведенная статистика относится к высотам 500 гПа, отставание верификации GFS от ECMWF распространяется и на другие уровни и параметры. Например, на рис. 4 показана среднеквадратичная ошибка для 5-дневного прогноза геопотенциала на высоте 1000 гПа за 1996-2023 гг. Нет никаких признаков того, что GFS догоняет ECMWF в течение последнего десятилетия. Если рассматривать количественные оценки угрозы осадков, равных или превышающих 0,50 дюйма (1,27 см) за 4-5 дней в январе 2021 - январе 2022 года, то GFS отстает от модели ECMWF по каждому месяцу (рис. 5).
В 2020 году в американской системе глобальных моделей (GFS) была произведена замена глобального спектрального динамического ядра на динамику модели NOAA Geophysical Fluid Dynamics Laboratory (GFDL) FV-3, а также изменен ряд физических параметризаций. Хотя общая точность прогноза была аналогична предыдущей системе GFS, быстро выявился ряд проблем. Например, специалисты NOAA/NWS MEG обнаружили, что новая система GFS дает слишком много снега зимой и прогнозирует чрезмерно высокие температуры во время тепловых волн.3 Эти ошибки, по-видимому, возникают не в динамическом ядре FV-3, а в физических параметризациях, таких как модель поверхности земли NOAA (LSM). Есть также опасения, что NOAA GFS/FV-3 проблематична в масштабах, допускающих конвекцию (шаг сетки 4 км и меньше), из-за ступенчатости D-сетки и других проблем. Работа в этом масштабе важна, поскольку будущее прогнозирования погоды будет связано именно с таким разрешением, позволяющим устранить проблемы с параметризацией глубокой конвекции. Недавно в рамках программы NOAA/NWS Warn-on-Forecast (WOF) было отказано в переходе от WRF к GFS/FV-3, а также MEG (например, Manikin and Dawson 2022) и другими организациями (например, Mangual-Pagán et al. 2021) были отмечены другие проблемы с конвекцией в FV-3. Недавно разработчик модели FV-3 (д-р С. Дж. Лин) покинул NOAA.
Еще одной областью, в которой СЗП США отстает, является ансамблевое прогнозирование: многократный запуск моделей СЗП для обеспечения вероятностного прогноза и количественной оценки неопределенности прогноза. За последние два десятилетия было проведено несколько семинаров и подготовлены доклады Национальной академии (например, National Research Council 2006, 2012), призывающие к увеличению национальных инвестиций в ансамблевое СЗП. Но даже с учетом этих рекомендаций американские оперативные ансамбли, управляемые NOAA, все еще отстают от других стран и науки. Например, американский глобальный ансамбль прогнозов (GEFS) состоит из 31 члена с шагом сетки 25 км, в то время как ансамбль ECMWF включает 51 члена с шагом сетки 18 км. Не меньшую озабоченность вызывает отсутствие крупной и разнообразной системы ансамблей, допускающей конвекцию (шаг сетки 4 км и менее) над территорией США, что особенно актуально, учитывая частую разрушительную конвективную активность над центральной и юго-восточной частями США и значительную важность мелкомасштабных погодных особенностей, обусловленных рельефом местности над горными районами страны. Вместо большого (50-80 членов) ансамбля с высоким разрешением, допускающего конвективную активность, с существенным разнообразием физики и начальных условий, NOAA/NWS использует небольшой (10 членов, 3 км) ансамбль с ограниченным разнообразием моделей/физики. Наконец, NOAA/NWS выделяет лишь незначительные ресурсы на калибровку ансамблей для получения надежных вероятностных прогнозных рекомендаций.
Особой проблемой для американской NWP является расходование значительных ресурсов США на дублирование усилий нескольких федеральных агентств и национальных групп. Глобальное ЧПП оперативно осуществляется NOAA/NWS, ВМС США, ВВС США и NASA, каждое из которых использует свою систему моделирования (NOAA: GFS/FV-3, ВМС США: NAVGEM, ВВС США: UKMO Unified Model, NASA: GEOS). Кроме того, NCAR/UCAR разработал глобальные модели WRF и MPAS (Zhang et al. 2012; Skamarock et al. 2012), которые используются академическим сообществом и применяются на практике в частном секторе и NOAA. В результате наличия множества конкурирующих систем глобального моделирования финансовые, вычислительные и интеллектуальные ресурсы США оказываются разделены между многими системами моделирования, что подрывает возможность концентрации усилий для создания современной научной системы.
Избыточное, неоптимальное развитие также негативно сказывается на региональном ЧПП США. Особенно сложная ситуация сложилась в NOAA, где внутри агентства поддерживается несколько региональных прогностических систем, использующих различные динамические ядра и физику. Например, для США NOAA использует GFS (модель FV-3), NAM (модель NMMB) и HRRR (модель WRF), три ансамблевые системы (GEFS, SREF, HREF), две модели ураганов (HWRF, HMON) и отдельную систему моделирования осадков/гидрологии (National Water Model, WRF-Hydro).
Американское научное сообщество, как правило, не использует модели NOAA в исследовательских работах, применяя и совершенствуя модели WRF/MPAS/CESM от UCAR/NCAR, модель Центра анализа и прогнозирования штормов Университета Оклахомы (CAPS) или модель Региональной системы моделирования атмосферы штата Колорадо (RAMS). Таким образом, достижения американского исследовательского сообщества в области NWP редко переносятся в оперативные системы прогнозирования. И наоборот, достижения государственных групп по моделированию часто не передаются в научное сообщество.
Американские оперативные NWP исторически страдают от нехватки компьютерных ресурсов, зачастую обладая гораздо меньшими вычислительными возможностями, чем конкуренты с меньшими требованиями (например, ECMWF). Десять лет назад, во время урагана "Сэнди", пиковая производительность компьютеров NOAA/NWS/NCEP, работающих в рамках NWP, составляла всего 0,1 петафлопс, что составляло примерно одну десятую от того, что было доступно ECMWF, обладающему гораздо более ограниченным портфелем NWP. Хотя NOAA/NWS недавно (2022 г.) провела значительную модернизацию компьютеров, она располагает лишь малой частью компьютерных ресурсов, которые могла бы продуктивно использовать в оперативной NWP. Кроме того, ощущается острая нехватка вычислительных ресурсов для поддержки научных исследований. В ECMWF соотношение между исследовательскими и оперативными вычислительными ресурсами составляет 5:1 (Buizza et al. 2017). Для NOAA/NWS это соотношение составляет 1:2, что значительно затрудняет разработку моделей.
Еще одной проблемой для американских оперативных NWP является разделение ответственности и проблематичные структуры управления. Например, ответственность за совершенствование оперативного ЧПП США распределена между Национальными центрами прогнозирования окружающей среды (NCEP) и Центром моделирования окружающей среды NOAA/NWS, Управлением научно-технической интеграции (OSTI) Национальной службы погоды, а также Лабораторией исследования систем Земли (ESRL), Офисом погодных программ (WPO) и GFDL в группе океанических и атмосферных исследований (OAR) NOAA. Планирование осуществляется в рамках всего агентства, и ни одна структура не несет ответственности за успех национальной системы оперативного прогнозирования погоды.
Отсутствие стратегического планирования является еще одной серьезной проблемой для американской оперативной NWP. NOAA не имеет подробного долгосрочного стратегического плана разработки, тестирования и внедрения своих систем моделирования погоды. Такой план должен содержать подробное долгосрочное видение будущих достижений в области СЗП США, а также ежегодные этапы, определяющие ресурсы, необходимые для их достижения. В отличие от этого, в ECMWF существует комплексный процесс планирования, а стратегические планы обновляются на регулярной основе. Одна из причин отставания компьютерных ресурсов NOAA/NWS заключается в том, что стратегическое обоснование необходимости расширения, с подробным описанием последующих выгод, не было сделано.
Ключевым недостатком глобальной СЗП NOAA/NWS является ассимиляция данных: объединение краткосрочных прогнозов с наблюдениями для получения физически согласованного трех- или четырехмерного описания атмосферы, которое затем используется в качестве начального этапа СЗП. Международные лидеры в области глобальной СЗП, такие как ECMWF и UKMO, на протяжении десятилетий применяли подход, требующий больших вычислительных затрат (4DVAR), в то время как NOAA/NWS использовали менее требовательные 3DVAR или подходы на основе ансамблей (например, 4D-EnVar) (например, Buizza et al. 2005; Hamrud et al. 2014; Kumar et al. 2017). ECMWF также уделяет больше внимания контролю качества и применению широкого спектра средств наблюдений (например, Munro et al. 2004). Он также ассимилирует некоторые наблюдения, которые не использует NCEP/EMC, например, данные китайских спутников. Превосходство ассимиляции данных ECMWF и использования наблюдений по сравнению с NOAA было продемонстрировано при применении анализов ECWMF в системе моделирования NOAA/NWS GFS: качество прогноза GFS существенно улучшилось (например, Magnusson et al. 2019).
Несмотря на то что в последние десятилетия американская оперативная NWP сталкивалась с серьезными проблемами, были отмечены и успехи, и положительные сдвиги. Хорошим примером является система моделирования NOAA High-Resolution Rapid Refresh (HRRR), которая использует модель NCAR WRF и ассимилирует широкий спектр источников данных наблюдений (Dowell et al. 2022). Важно отметить, что эта ведущая в мире операционная система является примером того, как NOAA принимает систему моделирования, предпочитаемую научным сообществом, а затем тесно сотрудничает с ним для ее совершенствования. Еще одним положительным моментом является долгосрочное стремление NOAA/NCEP упростить свои операции по прогнозированию на основе единой системы моделирования (Unified Forecasting System) с использованием одного динамического ядра (FV-3 от GFDL) и общего набора физических параметров (Jacobs 2021; Uccellini et al. 2022). NOAA/NCEP также начала применять инфраструктурные программные уровни (например, ESMF и CCPP4) для обеспечения более модульной структуры программного обеспечения и обмена физическими параметризациями между системами. Важно отметить, что в 2019 году был подписан Меморандум о взаимопонимании между UCAR и NOAA, призывающий к совместной работе по моделированию на основе общей инфраструктуры.5 NOAA/NWS теперь привержена подходу к моделированию на основе сообщества с совместным управлением, консультативными структурами и совместными разработками. Еще одним важным достижением стало создание независимой группы (Объединенный центр ассимиляции спутниковых данных, JCSDA) для совершенствования ассимиляции американских данных с упором на создание мощного набора инструментов ассимиляции данных в рамках совместных усилий по интеграции ассимиляции данных (JEDI). Важно отметить, что JEDI и JCSDA получают поддержку не только от NOAA, но и от ряда других агентств и групп, таких как UKMO, NASA, ВМС США и ВВС США.
Но даже с учетом этих последних позитивных изменений оперативная NWP в США по-прежнему значительно отстает от того уровня, на котором она должна быть. Сообщество все еще раздроблено, разрабатывает и использует слишком много систем моделирования. Исследования, разработки и эксплуатация СЗП в США не скоординированы. В NOAA ответственность за NWP по-прежнему разделена, и, что очень важно, NOAA/NWS не хватает организации и структуры для планирования, оценки, разработки, тестирования и быстрого применения усовершенствованных моделей. Квалификация оперативных американских глобальных моделей по-прежнему отстает от ведущих оперативных центров, а американские ансамблевые прогнозы высокого разрешения отсутствуют.
Краткая история американской и мирового ЧПП
Чтобы понять, как американское оперативное ЧПП оказалось в нынешней ситуации, полезно рассмотреть историю американских и международных оперативных ЧПП. Численное прогнозирование погоды началось в США в 1950 г. с прогноза для одного уровня (500 гПа) с использованием одного из первых программируемых цифровых компьютеров (Electronic Numerical Integrator and Computer, ENIAC). Оперативная NWP была начата в 1955 г. в рамках Объединенного подразделения численного прогнозирования погоды (JNWPU), совместного проекта ВВС США, ВМС США и Бюро погоды (Thompson 1983; Shuman 1989). Первоначально американская оперативная NWP ограничивалась упрощенными моделями (упрощенная динамика/физика, часто для одного или ограниченного числа уровней) для части Северного полушария, но в 1966 году перешла к полному использованию примитивных уравнений, а глобальное моделирование началось в 1980 году. В период до 1980 г. оперативные усилия США в области ЧПП явно лидировали в мире. Американские государственные системы NWP были единственными платформами для разработки и экспериментов с этой развивающейся технологией, а академические исследователи то и дело переходили с федеральных должностей. Таким образом, в этот ранний период исследовательское и оперативное сообщества работали вместе над одними и теми же системами NWP.
К концу 1950-х гг. работа в области NWP в США стала разделяться на гражданскую (U.S. Weather Bureau) и военную. В 1958 г. в ВМС США была создана Группа численных метеорологических проблем, а в 1961 г. - Флотский численный метеорологический центр. В начале 1980-х годов ВМС США разработали собственные глобальную (NOGAPS) и региональную (NORAPS) системы моделирования, в середине 1990-х годов NORAPS была заменена на COAMPS, а NOGAPS - на NAVGEM в 2013 году (Hogan and Rosmond 1991; Hodur 1997; Hogan et al. 2014). ВВС США начали использовать собственную глобальную модель в 1981 г., в 1990 г. перешли на модель с перемещаемым окном (RWM), а к концу 1990-х гг. начали применять в оперативном режиме модель Пенн-Стейт-NCAR (MM5). В 2006 году ВВС перешли на модель NCAR Weather Research and Forecasting (WRF), а в 2015 году перешли на унифицированную модель UKMO, как в глобальном масштабе, так и для доменов высокого разрешения. NASA присоединилось к числу государственных центров NWP в начале 2000-х годов с созданием инфраструктуры моделирования системы наблюдения Земли Годдарда (GEOS) (Molod et al. 2012). Таким образом, к началу нынешнего столетия в США функционировало четыре различных глобальных системы численного прогнозирования, параллельно проводились работы по моделированию в региональном масштабе. Разработка и эксплуатация оперативных ЧПП в США были разделены, избыточны и нескоординированы.
В 1970-1980-х годах, по мере того как в академической среде становились все более доступными компьютерные ресурсы, исследовательским сообществом была разработана целая коллекция моделей NWP. Первой была модель Penn State-NCAR, система, разработанная Ричардом Антесом и Томом Уорнером в начале 1970-х годов, которая со временем превратилась в MM5 (Anthes and Warner 1978; Grell et al. 1994). Модель Penn State-NCAR была настоящей моделью сообщества, поддерживалась NCAR учебными пособиями, семинарами и справочными столами, и к середине 1990-х годов ее использовали тысячи ученых, представителей частного сектора и других организаций по всему миру. Другой крупной академической системой NWP была модель RAMS штата Колорадо, разработанная Уильямом Коттоном и Роджером Пилке (Cotton and Pielke 1976). К середине 1980-х годов RAMS была доступна как мезомасштабная система моделирования общего назначения и стала особенно популярной в сообществе специалистов по качеству воздуха. В конце 1990-х годов NCAR разработал новую мезомасштабную модель общего назначения (WRF) с превосходными численными характеристиками и широким набором физических опций, которая в итоге привлекла более 30 тыс. зарегистрированных пользователей в более чем 150 странах (Skamarock et al. 2008; Powers et al. 2017). В то же время в Университете Оклахомы была разработана мезомасштабная система моделирования общего назначения [модель Advanced Regional Prediction System (ARPS)], предназначенная для оптимизации прогнозирования конвективных явлений (Xue et al. 2000).
Эти системы моделирования стали центральными инструментами академических исследований в области метеорологии и смежных областях и стали применяться в качестве оперативных региональных моделей прогнозирования академическими, частными и государственными организациями. После появления мощных и простых в использовании моделей NWP, лишь немногие представители академического сообщества США использовали такие региональные модели NOAA/NWS, как мелкоячеистая модель с ограниченной областью (LFM, введена в эксплуатацию в 1971 г.), модель вложенной сетки (NGM, 1986 г.), модель Eta (1993 г.) и NMM (2002 г.), особенно потому, что NOAA не приложило особых усилий для обеспечения доступности этих моделей для внешних пользователей. Более того, в NOAA/NWS не проявляли особого интереса к использованию моделей американских сообществ (например, MM5, RAMS, ARPS и WRF), несмотря на то, что они превосходили их по ряду параметров (например, более совершенные физические и численные характеристики) и использовали усилия и творческий потенциал большого сообщества американских исследователей и моделистов погоды (например, Snook et al. 2019). Таким образом, распространение систем моделирования погоды в США привело к тому, что академическое и оперативное сообщества NWP со временем все больше изолировались друг от друга, что имело серьезные последствия для качества исследований и оперативного моделирования NWP в США. Важно отметить, что значительные ресурсы были потрачены впустую на дублирование усилий. Другая проблема заключалась в том, что модели NOAA были жестко закодированы для конкретных операционных систем и аппаратного обеспечения, а не для систем на базе LINUX, которые предпочитает научное сообщество. Кроме того, ограничения по безопасности компьютеров NOAA не позволяли академическому сообществу работать над моделями NOAA на федеральном оборудовании.
В Европе первый оперативный численный прогноз UKMO был осуществлен в 1965 году для регионального региона, а в 1982 году появилась возможность глобального моделирования (Persson 2005). В 1990 г. UKMO перешла к единой системе моделей для глобального и регионального прогнозирования погоды, и этот интегрированный подход был принят Национальной службой погоды лишь недавно. Многие европейские страны объединили ресурсы для глобального NWP, что привело к созданию ECMWF, первый глобальный прогноз которого был сделан в 1984 году. Канадский метеорологический центр был создан в 1973 году и в 1980-х годах начал использовать как спектральную глобальную модель, так и региональную. В 1997 году эти канадские системы моделирования были заменены единой системой моделей (GEM) (Côté et al. 1998).
Ураган «Сэнди" и его последствия
29 октября 2012 г. ураган "Сэнди" обрушился на побережье северной части штата Нью-Джерси, в результате чего погибли 233 человека, а ущерб составил около 70 млрд долл. Детерминированный и ансамблевый прогнозы ECMWF на 5-7 дней вперед предсказывали высокую вероятность опасного выхода урагана на сушу на северо-востоке США, в то время как модель GFS не давала урагану уйти в море (рис. 6). После урагана более низкие показатели модели GFS в США были отмечены в нескольких материалах крупных газет и СМИ, включая сегмент в ночном выпуске новостей NBC. Подобные сообщения в СМИ не ограничивались только ураганом Сэнди, а описывали общее отставание американского потенциала глобального прогнозирования, включая нехватку компьютерных ресурсов (например, Ars Technica, USA Today, The Washington Post, Climate Central, Slate).
Под сильным внешним давлением со стороны СМИ и Конгресса руководство NOAA/NWS отреагировало серией инициатив, направленных на совершенствование системы численного прогнозирования погоды в США. За счет средств дополнительного бюджета, выделенного Конгрессом на борьбу с ураганом "Сэнди", Национальная метеорологическая служба в 2015 г. увеличила операционные компьютерные ресурсы с 0,2 до 1,9 петафлопс. В том же году NOAA/NWS создала программу Next Generation Global Prediction System (NGGPS) для построения современной системы моделирования атмосферы и океана, которая должна быть унифицированной, модульной и ориентированной на сообщества. Для получения рекомендаций извне Национальная служба погоды создала внешний консультативный комитет UMAC (UCACN7 Modeling Advisory Committee), в который вошел автор и который представил отчет8 , призывающий к
снижение сложности производственного пакета NCEP;
единая стратегия совместной разработки моделей;
создание должности главного ученого для координации разработки моделей;
более эффективное использование возможностей внешнего сообщества; и
расширение возможностей высокопроизводительных вычислений (HPC).
В 2015 и 2016 годах NOAA финансировало работу академических и правительственных исследователей над проектами, связанными с NWP, и начало программу тестирования потенциальных динамических ядер моделей. NCAR отказался от участия в конкурсе из-за опасений, связанных с мерами оценки прогнозов, а также из-за того, что в ходе тестирования не было проведено достаточной оценки при разрешающем конвекцию разрешении (шаг сетки примерно 4 км или меньше). В 2016 году NOAA приняло решение о принятии динамического ядра NOAA/GFDL FV-3, а победителем стала система NCAR MPAS.9 Динамическое ядро FV-3 заменило спектральную динамику GFS в 2019 году, сопровождаясь модернизацией физики. Эта новая инфраструктура моделирования NOAA стала известна как Единая система прогнозирования (UFS).
Основные проблемы, с которыми сталкивается американская система ЧПП
Численное прогнозирование погоды - одна из самых сложных и трудных технологий, разработанных нашим народом, требующая проведения наблюдений за трехмерной структурой атмосферы и других компонентов земной системы (например, суши, океана, льда/снега), применения сложных алгоритмов ассимиляции данных, понимания и моделирования атмосферы от молекулярного до планетарного масштаба, эффективного использования крупнейших компьютеров планеты, применения сложных методов контроля качества и постобработки наблюдений и модельных прогнозов и многого другого. Инфраструктура, необходимая для научно обоснованного NWP, обширна и дорогостояща, она требует суперкомпьютеров, спутниковых средств стоимостью в десятки миллиардов долларов, а также возможности сбора и распространения миллионов наблюдений из крайне неоднородной сети наблюдений за поверхностью, верхним слоем атмосферы и спутниками. На историческом "первом этапе" NWP оперативные центры быстро повышали точность прогнозов, 1) используя преимущества развивающихся возможностей наблюдений (включая спутниковые данные) и 2) повышая разрешение и сложность моделей за счет использования быстро растущих компьютерных ресурсов. Физика моделей могла быть относительно примитивной, и достаточно было даже элементарной ассимиляции данных. В настоящее время времена относительно легкого повышения точности прогнозов прошли, о чем свидетельствует недавнее плато точности прогнозов практически для всех крупных центров моделирования погоды (например, рис. 1 и 2).
Для повышения точности прогнозов в будущем потребуется кропотливая работа по улучшению физических параметров моделей, совершенствование подходов к ассимиляции данных, грамотно разработанная и оптимизированная система наблюдений, расширение ансамблевых систем, количественная оценка неопределенности и калибровка ансамблевых прогнозов, инновационное использование статистических методов, таких как машинное обучение, для восполнения пробелов в физических знаниях, повышение разрешения моделей и совершенствование постобработки результатов моделирования. Для достижения прогресса в таком технически сложном деле потребуется высокая степень организации, совместные и целенаправленные исследования и разработки, комплексное оборудование для тестирования и оценки инновационных моделей, а также способность задействовать огромный метеорологический интеллектуальный капитал страны. Для достижения успеха потребуется детальное стратегическое планирование и четкое распределение ответственности, а также значительное увеличение компьютерных ресурсов как для операционной деятельности, так и для исследований/разработок. На сегодняшний день в Соединенных Штатах имеется мало таких необходимых элементов, и поэтому текущие перспективы американской оперативной NWP не внушают оптимизма без существенного исправления ситуации.
Ключевая проблема заключается в том, что слишком много американских групп работают над собственными системами моделирования, включая NOAA, NASA, ВМС США, ВВС США и UCAR/NCAR. Такая дублирующая работа приводит к распылению ограниченных национальных финансовых, научных и человеческих ресурсов, в результате чего создается совокупность подкритических усилий. Это квинтэссенция американской проблемы: огромные ресурсы страны приводят к несфокусированным, избыточным, неоптимальным программам. Конечно, можно возразить, что разнообразие усилий способствует творческому подходу и повышению эффективности, но объективная проверка прогнозов показывает, что в США этого не происходит, и все американские центры глобального моделирования отстают как от основных международных конкурентов, так и от потенциала науки. Как описано ниже, передовые научные разработки и технологическое разнообразие/инновации могут процветать при более рациональной организации национальных усилий в области ЧПП.
Существует и другая существенная проблема: природа крупных государственных бюрократий и то, как они обычно развиваются/деградируют с течением времени. Когда правительство США берется за новую технологию или научную задачу - от создания ядерного оружия или полета человека в космос до защиты окружающей среды, - оно вкладывает значительные средства и привлекает талантливых специалистов из академических кругов, частного сектора и правительства. Для обеспечения быстрого прогресса на ранней стадии принятие решений, как правило, строго централизовано. Но после того как первоначальная технология/наука была успешно разработана/развернута и новый потенциал стал институционализированным, наступает типичная организационная траектория. Бюрократический аппарат и персонал, связанный с технологией, неизбежно растут, все больше администраторов борются за кусок "пирога", мотивация/энтузиазм сотрудников снижается, а правила государственной службы обеспечивают постоянную гарантию занятости, которая не требует высокой производительности. Сохранение ресурсов и власти становится не менее важным, чем реальный вклад в развитие науки или страны, и агентства могут политизироваться, чтобы заручиться большей поддержкой Конгресса. Возможно, наиболее проблематичной является тенденция к интеллектуальной изоляции научно-технических организаций, если они не создают организационные порталы, способствующие притоку свежих идей и инициатив.
Задачи NOAA в области NWP: проблемы и возможные решения
NOAA, в состав которой входят Национальная метеорологическая служба и Служба океанических и атмосферных исследований, отвечает как за глобальную, так и за региональную оперативную ЧПП. В данном разделе будут рассмотрены некоторые из основных проблем, препятствующих работе NOAA в области СЗП, и предложены возможные пути их решения.
Структура управления NOAA распределяет ответственность за оперативное моделирование между слишком большим количеством подразделений и отдельных сотрудников.
В NOAA, за исключением самых высокопоставленных руководителей (например, администратора NOAA и помощника администратора по наблюдению и прогнозированию окружающей среды), ни один человек не несет общей ответственности за успех оперативного численного прогнозирования погоды в США. Сегодня директор СЭМ NWS и его руководитель (директор NCEP) не контролируют общую разработку моделей, которая ведется за пределами Национальной метеорологической службы в лабораториях NOAA/OAR (ESRL, GFDL и NSSL). Директор EMC не контролирует разработку статистической постобработки прогнозов оперативных моделей; это входит в обязанности директора Лаборатории развития метеорологии (MDL). Финансирование инициатив по разработке моделей и, в частности, поддержка внебюджетных исследований в области моделирования, осуществляется не руководством EMC и NCEP, а Офисом интеграции научных технологий (OSTI) Национальной метеорологической службы и Офисом погодных программ (WPO) NOAA/OAR. Такое разделение ответственности и ресурсов привело к тому, что в NOAA сложилось разное видение приоритетов и подходов к NWP, что привело к конкуренции усилий, нерациональному использованию ресурсов, а иногда и к непродуктивным конфликтам и напряженности. Наконец, руководство NOAA довольствовалось второсортными результатами работы по моделированию погоды, при этом компьютерная инфраструктура, разрешение моделей, качество ассимиляции данных и сложность моделей были ниже, чем в других международных центрах.
Необходимые действия.
Деятельность США по разработке и оценке оперативной ЧПП должна быть объединена в единый зонтичный центр (U.S. Numerical Weather Prediction Center, U.S. NWPC), который будет координировать все ресурсы, необходимые для разработки и тестирования оперативной СЗП в США, как внутри, так и вне NOAA. Необходимо назначить директора этого центра, главного научного сотрудника, обеспечивающего научное консультирование, а также консультативную группу, состоящую из ученых-моделистов, представителей вспомогательных агентств и ключевых представителей метеорологического сообщества. Существующий в настоящее время Developmental Testbed Center (DTC) представляет собой потенциальную модель сотрудничества между группами и отдельными лицами как внутри, так и вне NOAA. В NWPC должны быть объединены усилия ЕМС NCEP, статистической группы MDL, групп по разработке моделей в NOAA/OAR (резиденты в ESRL и GFDL), а также групп NWS OSTI и NOAA/OAR WPO (рис. 7). В состав объединенного центра должны войти также Центр поддержки сообщества EPIC, Объединенный центр ассимиляции спутниковых данных и Группа опытно-конструкторских работ (DTC). NWPC США будет отвечать за поддержку и взаимодействие с сообществом, включая поддержку пользовательских сервисов и модельных стендов.
Гибридный характер американского NWPC будет способствовать участию в нем других федеральных агентств, таких как Министерство обороны, EPA, NASA и Национальный научный фонд, организаций частного сектора и академических/независимых групп, таких как Национальный центр атмосферных наук (NCAR). Часть NWPC, не относящаяся к федеральному правительству, не будет ограничена правилами государственной службы, что обеспечит большую гибкость в вопросах заработной платы и структуры должностей. Ответственность за оперативную интеграцию моделей, распространение прогнозов и другие обязанности в режиме реального времени останется за EMC.
NOAA не располагает организационными структурами для постепенного совершенствования своих систем моделирования.
Важнейшим требованием для совершенствования оперативной NWP NOAA является создание комплексной системы оценки, разработки, планирования и тестирования моделей, которая отсутствует в существующей структуре NOAA. В данном разделе описаны основные компоненты такой системы, все из которых должны быть в новом Центре численного прогнозирования погоды США.
Верификация и тестирование.
Основой совершенства NWP является инфраструктура верификации и тестирования. Такая инфраструктура способствует всестороннему мониторингу качества оперативной СЗП и возможности оценки модельных инноваций за длительные исторические периоды и для коллекций важных событий. В настоящее время подобной системы тестирования и проверки в NOAA не существует. Сегодня Группа по оценке моделей NOAA/EMC (MEG)11 предлагает ограниченную статистику проверки глобальных моделей и лишь несколько мер проверки для региональных/мезомасштабных систем моделирования. MEG предоставляет ценные ретроспективные обсуждения крупных провалов прогнозов, но редко диагностирует основные физические причины проблем. Дополнительную, но скудную статистику верификации можно найти на сайте NOAA Weather Prediction Center12. NOAA не располагает тестовым стендом, позволяющим представителям исследовательского сообщества представлять потенциальные модельные инновации для системы, отражающей текущую оперативную конфигурацию. NOAA и другие федеральные агентства поддерживают разработку верификационного инструментария для оценки моделей (пакет MetPlus от DTC), который может быть использован в более комплексной системе верификации.
Необходимые действия.
Необходимо поддержать создание современной национальной системы ассимиляции данных, которая будет обслуживать NOAA, NASA, академический сектор и вооруженные силы США. Эта национальная система ассимиляции данных может быть сосредоточена в JCSDA, которая будет расширена и станет общественным центром исследований и разработок в области ассимиляции данных, обеспечивающим доступ к кодам оперативных моделей, потокам данных наблюдений и достаточным компьютерным ресурсам для посетителей и сотрудников. Важным приоритетом станет разработка и тестирование современной системы ассимиляции данных, которая заменит существующий код ассимиляции данных NOAA и будет способствовать эффективному использованию широкого спектра наблюдательных ресурсов. Эта новая система будет способна работать на различных аппаратных платформах, включая облачные вычисления.
Разработка и совершенствование моделей.
Создание лучших в мире систем моделирования погоды требует наличия организационной структуры и системного подхода к определению проблем моделирования, диагностике проблем, привлечению необходимых научных кадров для их решения, разработке решений и последующему тестированию инноваций. Начинать надо с динамического ядра, которое точно и эффективно решает динамические уравнения на всех соответствующих масштабах с использованием различных современных компьютерных архитектур. Как отмечалось ранее, в настоящее время существуют опасения относительно производительности ядра модели NOAA FV-3 в масштабах конвективного разрешения. Во-вторых, для достижения успеха необходимы организация и ресурсы для оценки и улучшения физических характеристик модели, таких как микрофизика, параметризация пограничного слоя, поверхности земли и радиации. Для этого необходимы специальные группы экспертов по каждому типу параметризации/физики, которые могут диагностировать и улучшать параметризацию вплоть до уровня процесса (Jakob 2010), включая использование иерархических модельных подходов (Frassoni et al. 2018). Это также требует ресурсов для привлечения академических экспертов и поддержки специализированных измерительных сетей и полевых экспериментов. Во многих параметризациях физики, используемых в настоящее время NOAA, существуют хорошо известные проблемы, и организованные усилия по их диагностике и решению потенциально могли бы дать значительный прирост в точности прогноза.
Будущее численного прогнозирования погоды будет все больше склоняться к ансамблям и вероятностному прогнозированию. Таким образом, необходимо исследовать, как оптимально достичь разнообразия моделей как в физике, так и в динамике. Машинное обучение является потенциально мощным инструментом для замены или дополнения параметризации физики, и этот вопрос следует изучить. Недавние исследования показали, что машинное обучение может заменить интеграцию динамических уравнений (например, Schultz et al. 2021); NWPC следует активно изучать этот потенциал, а также ценность гибридных систем (машинное обучение-динамические уравнения).
Одним из важных достоинств ECMWF и UKMO является постоянный приток ученых-исследователей в эти организации для работы над совершенствованием моделей, причем UKMO поддерживает тесные отношения с университетскими преподавателями и исследователями. NOAA, как правило, не имеет такого взаимодействия.
Отсутствие достаточных компьютерных ресурсов в NOAA.
Мало какая проблема так сильно тормозит развитие и работу NOAA NWP, как нехватка компьютерных ресурсов для прогнозирования погоды и вспомогательных исследований. Хотя NOAA отвечает за глобальное моделирование, региональное моделирование, ансамблевое прогнозирование, прогнозирование сильных штормов, ураганов и многое другое, она располагает меньшими компьютерными ресурсами, чем международные центры NWP с гораздо меньшим портфелем обязанностей (например, ECMWF). Помимо недостаточных компьютерных ресурсов для оперативной NWP, не хватает компьютерных ресурсов для разработки и тестирования, которые должны быть в 5-10 раз больше, чем потребности оперативной системы. Недавно NOAA модернизировала свою операционную компьютерную систему (основная машина 12 петафлоп, резервная аналогичного размера), достигнув примерного паритета с ECWMF. С учетом других модернизированных машин в NOAA, для операций и исследований NOAA доступно в общей сложности около 50 петафлоп. Оперативная NWP может выгодно и незамедлительно использовать 100 петафлоп мощности для поддержки глобальных ансамблей с более высоким разрешением и конвекции, что позволит получить глобальное разрешение для расширенных прогнозов. Научно-исследовательские и опытно-конструкторские работы могли бы легко использовать в 5 раз большую мощность (как это делает ECMWF). Таким образом, текущие компьютерные ресурсы составляют примерно 1/10 от того, что требуется (примерно 500 петафлопс вычислительной мощности) для увеличения размера ансамблей, повышения разрешения, перехода к глобальному моделированию с разрешением конвекции, поддержки своевременного реанализа и повторного прогнозирования, а также для обеспечения значительных ресурсов для разработки и тестирования как для NOAA, так и для внебюджетных исследователей. Следует отметить, что другие федеральные научные агентства, такие как Министерство энергетики и NASA, обладают гораздо большими вычислительными ресурсами, чем NOAA. Безусловно, оперативное прогнозирование погоды, которое так много дает стране, заслуживает не меньшего. В соответствии с этим анализом, в недавно опубликованном отчете NOAA "Приоритеты метеорологических исследований" (NOAA Science Advisory Board 2021) содержится призыв к стократному увеличению компьютерных мощностей NOAA к 2031 году.
Резюме и выводы
Оперативное численное прогнозирование погоды в США отстает как от крупных международных центров, так и от уровня развития науки. Несмотря на то, что Соединенные Штаты обладают крупнейшим в мире сообществом исследователей погоды и тратят на ЧПП больше ресурсов, чем любая другая страна, американские усилия разделены на слишком много дублирующих друг друга мероприятий. Координация, научный обмен и совместные разработки между оперативным и исследовательским сообществами в целом недостаточны. В NOAA, главном гражданском агентстве, отвечающем за численное прогнозирование погоды, полномочия и ресурсы в области NWP разделены между многими лицами и группами, что приводит к неэффективности исследований, разработок и операций. Компьютерные ресурсы для разработки моделей и оперативного NWP недостаточны, а в NOAA отсутствует эффективная организационная структура для оценки и совершенствования оперативного NWP.
Основная рекомендация данного документа заключается в том, что исследования и разработки в области оперативной NWP должны быть объединены в рамках единой национальной организации - Центра численного прогнозирования погоды США (U.S. NWPC), который будет нести ответственность и располагать ресурсами для создания и поддержания в рабочем состоянии научного потенциала численного прогнозирования погоды для страны. Этот центр будет располагать штатом, организацией и ресурсами, необходимыми для оценки, совершенствования и тестирования инновационных моделей, и будет включать в себя группы как внутри, так и вне NOAA.
Недостаточные компьютерные ресурсы серьезно подрывают оперативные усилия США в области NWP, снижая возможности оперативных моделей и ограничивая возможность завершения важных исследований и разработок. Компьютерные ресурсы должны быть увеличены как минимум в десять раз, чтобы способствовать развитию научного уровня оперативной СЗП и важнейших вспомогательных исследований.
Урок последних нескольких десятилетий заключается в том, что федеральные агентства США не в состоянии создать и поддерживать научно обоснованную NWP, поэтому требуется вмешательство Конгресса США и всего метеорологического сообщества. Соединенные Штаты когда-то были лидером в области численного прогнозирования погоды и могут стать им снова, что принесет огромную пользу американскому народу, а то и всему миру.