Воспоминания о том, как спорили Нильс Бор с Альбертом Эйнштейном, а Джордж Вестингауз и Никола Тесла с Томасом Эдисоном, давно превратились в легенды. Эти научные дискуссии не забыты до сих, потому что, с одной стороны, разрешить их смогло только время. С другой стороны, их исход определил развитие технологий на десятилетия вперед. Существуют ли подобные дискуссии в наши дни? Существуют. И они столь же горячи и интересны, как и сто лет назад.
Пожалуй, самым интересным спором современности является спор Владимира Вапника (изобретателя метода опорных векторов или SVM — support vector machine), с Ларри Джейкелом, его боссом в компании “Bell Labs” и сторонником сверточных нейронных сетей.
Их задокументированное пари приводит на своей странице в Google+ Ян ЛеКунн (идеолог сверточных нейронных сетей), который выступил судьей спора и собственной подписью заверил все условия. А заключались они в следующем.
Ларри Джейкел утверждал, что к 2000 году будет разработано теоретическое понимание того, почему большие нейронные сети работают хорошо (в терминах границ применимости и условий, аналогичных тем, что описывают функционирование SVM).
Владимир Вапник утверждал, что к 2005 году никто в здравом уме не станет использовать нейронные сети тех же архитектур, что были предложены еще в 1995 году, все перейдут на support vector machine.
На кону был шикарный ужин, платить за который должен был тот, чей прогноз не оправдается.
Итак, к 2000 году не появилось внятной теории работы нейронных сетей, они так и остались черными ящиками. Однако люди в здравом уме продолжают использовать сети тех же архитектур, что были предложены почти четверть века назад, несмотря на предсказания В. Вапника.
Проиграли оба участника пари. И за ужин в ресторане на троих (на нем присутствовал еще Ян ЛеКунн) платили оба.
Красивая история о современной научной дискуссии — чем не новая легенда, которую будут пересказывать спустя десятилетия и даже века? Но речь ведь не о красоте, а о двух сопоставимых по размеру и значимости лагерях разработчиков и исследователей, которые спорят друг с другом о том, что эффективнее использовать — загадочные нейронные сети или хорошо изученный и подробно описанный в литературе метод опорных векторов.
В конце прошлого века в нейронные сети мало кто верил. Хотя разрабатывались CNN (convolutional neural networks) примерно в то же время, что и SVM, между 1988 и 1992 годами. Современная практика и научная литература показывают, что в наши дни, в эпоху революции deep learning, нейронные сети используются всё более активно и помогают решать сложные задачи, например, в сфере распознавания речи. Метод SVM теряет свою популярность, но по-прежнему остается востребованным в некоторых задачах.
“Война токов” (спор Т. Эдисона и Д. Вестингауза) завершилась только в 2007 г., когда в Нью-Йорке исчез последний потребитель постоянного тока. Хочется верить, что дискуссия В. Вапника и Л. Джейкела закончится быстрее, ведь исход её, кажется, уже понятен. Сегодня все говорят о deep learning революции и о том, что нейронные сети фактически победили на практике всё, что существовало до них. Но! Остался один важный момент упомянутый в этом споре — до сих пор нет четкого понимания границ и условий применимости нейронных сетей, нет полного аналитического описания всех процессов внутри “черных коробок”. Мы сейчас наблюдаем, как аналитика уходит на второй план, уступая место инжинирингу и эмпирике.
Станет ли когда-нибудь известно, как работает черная коробка под названием “нейронная сеть”? Время покажет. А пока спорим, господа!
