Физик-Теоретик-Инженер, или алгоритмическая, статическая и инженерная физика

Эти записки биографические – отражающие эволюцию моих интересов, занятий и взглядов на протяжении последних 25 с небольшим лет. Срок не велик, но и путь не совсем стандартен, потому может быть интересен другим, – так я рассуждал, взявшись за сие писание. В особенности надеюсь на интерес к этим запискам студентов и аспирантов, обученных либо изучающих точные науки – физиков и математиков, склонных к теоретизированию, но при этом не чуждающихся приложений и компьютеров. Я абсолютно уверен в том, что многих из этого и следующего поколений исследователей (по передавшейся от моих учителей привычке я буду избегать слова «ученый», ассоциируемого с ученым котом) ожидает похожая трансформация.

Действительно, роль инженерных наук растет вместе с открывающимися возможностями. Как мне сейчас представляется, область инженерно-компьютерных приложений для точных наук необъятна. Притом что плотность исследователей на единичную меру возможностей привлекательно мала, и не потому, что исследователей мало, а потому что возможностей много. При этом в классических (физических)науках наблюдается стагнация – переизбыток исследователей необычайно высокого уровня, толкущихся на одном пятачке (если это и преувеличение, то небольшое).

Мы вполне привыкли к тому, что образованный физик способен относительно легко сменить занятие, переквалифицировавшись в бизнесмена, программиста или инженера. Однако мы предполагаем, что речь при таких (обычно необратимых) преобразованиях идет не о развитии физики как таковой, а, скорее, об эффективном применении натренированного навыка обучаться быстро. Заметим, что ситуация с математиками, погружающимися в инженерные науки (не во все, а в науки определенного сорта), может отличаться от вышеупомянутой кардинально. Возникли целые области, такие как теория информации, управление (контроль), теория вычислений, исследование операций, автоматическое (компьютерное) обучение и т. д., которые «прописаны» на инженерных факультетах, но при этом ведут эти темы математики по образованию, да и по сути занятий. -Более того, развитие этих новых областей воспринимается математическим сообществом в целом как развитие инженерной, но математики. Выдающиеся математики второй половины XX в., такие как Колмогоров, Тирринг, Фон-Нейман, Шаннон, Канторович, Бодэ и другие, своими теоретическими работами способствовали появлению прикладных направлений, расширяющих математическую/теоретическую инженерию.

Почему физики (почти) не участвовали в этом революционном «открытии» новых инженерных областей, остается для меня загадкой. Единственное (но не вполне удовлетворительное) объяснение этому я вижу в том, что физики были заняты своими революциями – квантовая механика, ядерные исследования, теория поля, сверхпроводимость, ускорители, фазовые переходы. Меж тем, теоретическая инженерияне просто развивалась, а набирала обороты параллельно с развитием компьютерных технологий, т. е. по закону Мура экспоненциально быстро. Конечно же, столь стремительное развитие компьютеров произошло из транзисторной (полупроводниковой, силиконовой), т. е. физической, революции, но эта транзисторная физика так быстро ушла в технологию, что физики про нее забыли. Меж тем, многие из широкого спектра задач в теоретической инженерии явно или неявно – намеками – выходили на схожие физические вопросы, постановки или аналогии. Хоть и с запозданием лет так на 20—30, но неминуемо физики стали интересоваться и вносить вклад в эти новые инженерные дисциплины. Ниже я приведу несколько субъективно личных, но, надеюсь, разъясняющих примеров.

О личном. Начинал я как теоретический физик, без ложной скромности замечу – неплохо обученный по канонам школы Л. Д. Ландау, но при этом перенявший типичную для этой области и школы манеру смотреть чуть свысока на другие занятия. Но мне повезло с неортодоксальными учителями, соавторами, коллегами, студентами, постдоками, а также обстановкой и возможностями, которые меня окружали последовательно в Академе, Вейцмане, Принстоне и Лос-Аламосе. Все это в комбинации трансформировало меня в довольно странного исследователя-оппортуниста, который по утрам может думать о квантовых спинах, в обед обсуждать, синхронизуема ли конкретная электрическая сеть, а закончить день в размышлениях о распределенном алгоритме для оптимального разбивания на пары (matching).

Эволюцию моих (научных) занятий и интересов можно условно разделить на пять этапов, описание которых, собственно, и составляет суть этих записок. Разделение на этапы я провожу по времени и месту, где соответствующий интерес зародился и развился в занятие. Первый этап, стартовавший в Академе на последних курсах НГУ, проходил внутри традиционной физики. Этап этот в основном был обучающим (под чутким руководством Александра Паташинского) и формирующим мою физическую базу и кругозор. Я продвигался от классической гидродинамики и фазовых переходов к статистической и квантовой физике спиновых и электронных систем (последнее – во взаимодействии с Игорем Колоколовым и с уже, к сожалению, ушедшим Виктором Белиничером).

Второй этап, еще вполне физический, начавшийся во время Вейцмановской аспирантуры, закрепленный Принстоновским постдокством и продолженный в Лос-Аламосе, заключался в погружении в теорию турбулентности. Основной вехой этого периода стало построение в соавторстве с Гришей Фальковичем, Игорем Колоколовым и Володей Лебедевым теории аномального скайлинга пассивного скаляра (детали этого героического периода, отлично описанные в Гришиных записках, опускаю). Из этого периода также «растут ноги» моих переходящих (из периода в период) занятий инстантонами (изучением редких событий в контексте разнообразных приложений), а также прикладной и теоретической неравновесной статистической физикой.

Третий этап был инициирован «случайными» разговорами с Ильдаром Габитовым (тогда моим лос-аламосским коллегой, теперь профессором U. of Arizona, Tucson) об изучении эффектов шума и беспорядка на передачу информации в оптических волокнах. Мои «турбулентные» коллеги, Володя Л. и Игорь К., регулярно посещавшие меня в тот период в Лос-Аламосе, а также Володя Черняк, за которого мы «зацепились языками» во время одного из его первых (вскоре ставших регулярными) визитов, поддержали «разговор», быстро переросший в полноценное занятие для всей компании. Мы были мотивированы «социальным запросом» на качественную теорию со стороны экспериментаторов из Bell Labs (Молленауэра и Мамышева). Наша теория описывала, как последовательность импульсов, кодирующих информацию, распространяется по волокну, при этом рассеиваясь на флуктуациях и неоднородностях, встречающихся на пути. Статистическое описание явлений рассеяния как паразитных, приводящих к перекрытию импульсов, их дрейфу и деградации, было существенно для разработки и тестирования новых, менее шумящих волокон. К сожалению, волоконно-оптическому бизнесу, оплачивающему эти исследования, срок уже был определен – грянул dot-com bubble 2001 г. (из которого эта прикладная наука если и начала выбираться, то только сейчас). И, как предвестник проблемы, интерес коллег-экспериментаторов (и бизнеса, их финансирующего) к теории сошел на нет в одночасье. Благодаря ими «открытой» возможности передавать информацию с меньшими потерями с помощью науки и технологии коррекции ошибок, позаимствованной из других (более медленных и шумящих) коммуникационных приложений. Наука о коррекции ошибок мне тогда была незнакома. Разработанная в рамках этой науки схема обещала немедленное разрешение проблемы – дорогие новые волокна не нужны, так как можно обойтись существующими (дешевыми либо уже зарытыми в землю). Эти события спровоцировали мой интерес к «чудесной» теории коррекции ошибок.

Мое знакомство, а потом увлечение (через науку о коррекции ошибок) вышеупомянутой теоретической инженерией определило следующий, четвертый, этап моей карьеры. Для начала выяснилось, что небольшое количество высококлассных физиков-теоретиков, специалистов в спиновых стеклах уже проявили себя в этой области. Да так, что термин «статистическая физика» в одночасье (где-то в 2001—2004гг.) стал чрезвычайно популярным. Оказалось, что физическая теория, развитая за (примерно) 20 предшествующих лет Джоржио Паризи, его учениками и последователями (в основном из Италии и Франции) для описания неупорядоченных материалов (стекол), гораздо лучше описывает поведение так называемых низко плотностных (или разреженных) кодов. Такие коды разумно рассматривать не по одиночке, а в группах (ансамблях), разбитых по признаку графических свойств-соотношений между битами информации и связями, выражающими суть кодирования. То есть защиты информации от неконтролируемого шума и деградации посредством искусственно введенной (закодированной) повторяемости. Усреднение по многообразию кодов внутри ансамбля, игнорирующее петли в графическом представлении кодов, а также изучающее асимптотически большие коды (в так называемом термодинамическом пределе), позволило физикам описать разницу между хорошими и плохими кодами как переход между фазами: похоже на то, как различаются газовая, жидкая и твердая фазы в классической физике. Заметим, что существование таких фазовых переходов было теоретически предсказано Шенноном, основателем теории информации, аж в 1948 г., но не конструктивно. Тогда как современная теория низко плотностных кодов, обогащенная физическими оценками и интуицией, позволила построить коды, реализующие ранние предсказания Шеннона с большой вероятностью (превращающуюся в термодинамическом пределе в стопроцентную).

Заложив в основу наших исследований методов коррекций ошибок творческое использование аналогий с методами и подходами современной статистической физики, мы последовали по пути физиков из школы Паризи. Однако наш подход был иной – алгоритмический, предполагающий работу с конкретными кодами (а не ансамблями), на конечных графах – с петлями (а не в термодинамическом пределе, когда эффект петель становится асимптотически несуществен). -В сотрудничестве с Мишей Степановым (тоже выпускником НГУ, в тот момент моим постдоком, а в настоящее время профессором U. of Arizona, Tucson) мы разработали инстантонную методику, позволяющую найти конфигурацию петель в графическом представлении данного кода, которая приводит при декодировании, игнорирующем петли, к наиболее вероятной ошибке. Эти достаточно специальные (в применении к теории коррекции ошибок) результаты заставили нас задуматься над более широким классом статистических задач, определенных наконечных графах и заключающихся в систематическом учете эффекта петлевых поправок.

Ответом на вызов стала теория «петлевых вычислений». Эта работа, сделанная в 2006 г. в соавторстве с Володей Ч., вывела меня на новую орбиту понимания связей между разнообразными областями теоретической инженерии, доселе мне не известными. Наши результаты, исходно мотивированные теорией информации (или еще более точно ее подразделом – наукой о коррекции ошибок), оказались применимы к сложным задачам комбинаторной оптимизации, задачам восстановления статистических моделей (statistical inference), построению моделей теории компьютерного обучения (machine learning). И в целом – к задачам из дисциплин, где вероятностные либо логические соотношения или запреты выражены в виде графа (как говорится, заданы в виде графической модели). Более того, я с удивлением обнаружил, что наш, мотивированный физикой, метод петель (как и вышеупомянутый фазово-переходный подход) объединяет эти молодые, но уже стремительно разбегающиеся по своим углам науки.

Отягощенный новыми знаниями теоретической инженерии, я задумался о нахождении для них практических приложений – инженерных или физических. Глава про последние (в том числе нацеленная на дизайн новых материалов), с предварительным названием Back to the future physics, еще не написана, в то время как приложениями теоретической инженерии и физики к современным энергетическим системам я занимаюсь последние шесть лет. И вот про этот, пятый, текущий, этап моей деятельности следующая мини-история. Однако начну я ее немного издалека – с рассказа о том, как сам факт пребывания в Лос-Аламосе стимулировал (очередной) поворот в моих исследованиях.

Дело в том, что свобода выбора занятий в моей организации, Лос-аламосской национальной лаборатории (Los Alamos National Laboratory – LANL), обретается не автоматически, а через нахождение финансирования. По-английски эта система называется soft money model. Либо ты, как staff member (постоянный сотрудник, по статусу примерно соответствующий профессору университета), сам себя обеспечиваешь грантами внутренними или внешними, либо начальники тебе сами находят занятие в больших (многомиллионных), стабильно финансируемых проектах, в которых ты подчинен идеям и воле других. Мне повезло: я попал в ситуацию необходимости поиска финансирования не сразу, а где-то году в 2002-м, по истечении Oppenheimer fellowship, который позволил мне пребывать в состоянии вольного художника первые три года в LANL. С тех пор я свою команду, обычно включающую 2—4 постдокa и 5—6 студентов, аспирантов или мастерантов, приезжающих в Лос-Аламос на летние месяцы, финансировал сам. Достичь этого мне помогла замечательная система, сложившаяся в LANL благодаря, во-первых, существованию Center for NonLinear Studies (CNLS), который в лице директора Боба Экке со финансировал многих моих постдоков, студентов и многочисленных визитеров, и, во-вторых, – благодаря существованию жесткой, но честной системы распределения 6 % общего бюджета LANL на новые (exploratory)исследования. Системе соревновательно демократичной, в которой решения принимаются в основном комитетами исследователей, а не только менеджерами. Интересная особенность этой системы распределения средств заключается в том, что, во-первых, один раз получив внутреннее финансирование на некую тему, второй раз войти в ту же реку не получится. Предполагается, что финансирование определенных исследований, обычно выделяемое на три года, должно помочь в создании задела для нахождения средств извне – через федеральные, международные или частные механизмы и организации.Вторая особенность LDRD-системы состоит в том, что получить большой грант на свежую идею проще (в плане затрат времени на грантописательство), однако это требует формирования разношерстной команды, привлекающей исследователей из разных подразделений LANL – экспертов в разных областях.

Первый большой LDRD-грант (5 млн долларов на три года) я получил на «физику алгоритмов». Примерно за год до завершения этого финансирования возникла идея попробовать организовать новую команду на что-то прикладное, если и имеющее отношение к предшествующей теме, то не прямое. -Поразмыслив о возможностях, интересных как для меня, так и (в проекции на будущее) для LANL, я остановился на тематике электрических сетей. Исходный ход мысли был примерно такой: электричество – это про физику (поверхность для меня твердая), ток протекает через систему флуктуируя, а значит, неравновесно-стат-физические постановки ждут своего исследователя. И, наконец, речь идет о статистических задачах, поставленных на больших разветвленных и закольцованных графах (магистральных сетей – распределительные сети обычно оперируют в древесном/беспетлевом режиме), что казалось близким к тому, чем я занимался предшествующие пять лет. Решение сфокусироваться на этой теме (тогда еще совсем не популярной: неоднозначный термин smart grids, типично заменяемый в России на «активно-адаптивные сети», в тот момент еще не набрал обороты) возникло достаточно быстро, однако серьезные усилия требовали создания серьезной команды. Выяснилось, что тогда мне еще неизвестный Скотт Бакхаус (тепло¬физик-экспериментатор, изучавший энергетику в бакалавриате) двигается примерно в том же, хотя и гораздо более практическом, направлении. Боб Экке нас познакомил, и команда, также пополнившаяся Расселом Бентом (экспертом в практической оптимизации и компьютерных науках) написала, подала и выиграла грант, который мы назвали «Оптимизация, управление и контроль электрических систем». Последующие три года мы изучали электрические сети, знакомились друг с другом, а также с исследователями-энергетиками и другими экспертами, полезными для проекта (обычно приглашая их на еженедельные семинары в Лос-Аламосе), и, конечно же, писали многочисленные статьи по теме. К концу третьего года мы подошли уже вполне известными исследователями, как для традиционных энергетиков-исследователей, так и для вновь нарождающегося сообщества экспертов из теоретической инженерии, выбравшими (как и мы) современные электрические системы в качестве объекта прикладных исследований. Многие ведущие специалисты из этих областей стали направлять к нам на практику своих лучших аспирантов, что в особо успешных случаях перерастало в долгосрочное и, несомненно, взаимно обогащающее сотрудничество. Как результат – наши усилия были замечены, и DOE (министерство энергетики США), увидев в нас лидеров нового и стратегически важного исследовательско-прикладного направления, поставило нашу команду на прямое (programmatic) и долгосрочное финансирование.

На этой мажорной ноте можно было бы и закончить повествование. Но кажется уместным дополнить сии записки, нацеленные в основном на молодых исследователей – мастерантов и аспирантов (повторяюсь, потому как считаю эту оговорку важной), краткими соображениями о том, каким новым теор-инженерным дисциплинам стоит обучать студента-мастеранта, физика или математика (по бакалавриату), интересующегося новыми инженерными приложениями (например, современными энергетическими системами). Обучение таким дисциплинам также будет полезно мастеранту-физику, желающему понять и изучить, а что же физика (и другие естественные науки) может почерпнуть из теор-инженерных наук, например, для более современной работы с данными, для разработки более быстрых и эффективных вычислительных алгоритмов, для создания новых обратных методов, позволяющих разработать материалы, обладающие желанными свойствами, и т. д. В силу всего вышесказанного мне представляется важным включить в соответствующие учебные программы следующие четыре курса, рассматриваемые по отдельности либо, в случае необходимости, сжатые в один или два агрегированных курса: «Теория оптимизации и приложения» (optimization), «Теория управления (контроля) и приложения» (control), «Теория и приложения алгоритмов и вычислений» (computer science), «Методы автоматических (машинных) вычислений» (machine learning). Замечу, что такие курсы, хотя еще и не адаптированные для физиков и инженеров, а нацеленные на мастерантов информационных наук, уже читаются в Сколтехе. С другой стороны, мастерантам традиционных (не теоретических) инженерных специальностей (скажем, энергетикам) кажется естественным ознакомиться с теор-инженерными методами через более мягкий – физический – подход (меньше теорем, больше оценок), предлагаемый, например, в курсе «Статистическая физика в приложениях к инженерным системам», который я планирую подготовить и прочитать в Сколтехе в следующем году.

Вместо заключения – комментарии. Во-первых, хотел бы пояснить, что я решил не прерывать повествование ссылками, а вместо этого переадресовать интересующегося читателя к моему сайту (https://sites.google.com/site/mchertkov), содержащему полную (обновляемую раз в несколько месяцев) библиографию моих публикаций, слайды большинства презентаций и (опосредовано) работы других авторов, упоминавшихся выше. Во-вторых, ссылки на Сколтех (www.skolkovotech.ru), в части, касающейся современного инженерного образования, не случайны – я активно вовлечен в этот новый российский образовательный проект в качестве профессора-консультанта (founding faculty fellow), в том числе выполняющего функцию директора-координатора образовательных программ энергетического сектора.