Pull to refresh

Comments 34

Большое спасибо за интересную статью с переднего края работ по созданию ИИ.
Но не нашел ответа на вынесенный в заголовок вопрос.

В связи с этим вспоминается, что Вейценбаум позиционировал свою знаменитую Элизу (1966), как всего лишь имитатор ИИ. Но, просматривая старые журналы, нашел статью примерно 1960 г. (точной ссылки не у меня, к сожалению, не сохранилось) в нашем солидном научном журнале, где авторы утверждали, что к концу текущей пятилетки сделают программу, которая будет писать стихи не хуже Пушкина. Еще вспоминается следующая цитата:

Первая очередь системы ПОЭТ разработана и находится в эксплуатации с ноября 1977 года. Трудоемкость разработки математического обеспечения системы составляет 50 человеко-лет, а информационного обеспечения 15 — 20 человеко-лет.

Попов Э. В. Общение с ЭВМ на естественном языке.— М.: Наука, 1982,— 360 C.


Позвольте спросить: за сколько лет Вы рассчитываете закончить работу и сколько человеко-лет на это потратить?
Элиза это имитатор и есть.

50 человеко-лет это не наш масштаб пока, это работа 3.5 человек за 7 месяцев, в свободное от других дел время. Я не думаю, что работу можно когда-либо закончить, тут бесконечный фронт для улучшения. Но сейчас есть рабочий прототип и довольно интересные результаты. Дойдет ли дело до массового продукта, я не знаю, все-таки ресурсы, которые мы можем сейчас на это выделить ограничены, а инвесторы особо таким не интересуются.

Но, что касается системы ПОЭТ. Не нашел никаких деталей. Но для интереса, загнал в простую нейронную сеть 4 сборника стихов. Получилось вот это:

Кто весел, я весть! Все исчезло!
Поставленым она освящена.
И независимость от нищеты!
Но так же вправду ты страшна…

Не Пушкин конечно, но интересно. А самое интересное, что использованный алгоритм был, в принципе, известен как минимум в 1986. И нужные компьютеры были (правда, потребовался бы не час, а пара месяцев на вычисления). Так что, задача не была совсем уж неразрешимой в то время, просто нужно было взять правильное направление. Современные же генераторы поэзии пишут такие стихи, которые трудно отличить от человеческих.

> Элиза это имитатор и есть.
> Я не думаю, что работу можно когда-либо закончить, тут бесконечный фронт для улучшения. Но сейчас есть рабочий прототип и довольно интересные результаты.


Не случайно спросил про имитатор Элиза. Потому что, на мой взгляд, очень трудно оценить промежуточные результаты. Не являются ли такие результаты всего лишь имитацией, но менее очевидной? Сравнить с OCR или шире — с распознаванием визуальных образов – там просто дать численную оценку: какой процент распознается. А вот оценка разных экспертов приведенного Вами четверостишья может варьироваться в пределах от очень хорошо до очень плохо.

> Современные же генераторы поэзии пишут такие стихи, которые трудно отличить от человеческих.

На это можно возразить, что и некоторые люди пишут стихи, равно как и прозу, столь низкого уровня и трудно уловимого смысла, что не отличить от бреда Элизы.

> 50 человеко-лет это не наш масштаб пока, это работа 3.5 человек за 7 месяцев, в свободное от других дел время.

Ниже я уже спросил другого участника этого обсуждения: не опасаетесь ли Вы, что раньше промежуточного финиша Вас обгонит, нпр., Гугл, который сейчас может потратить пару сотен или м.б. тысяч человеко-лет и закончить работу через год?

Какие цели Вашей работы: Это хобби? (тогда никаких вопросов не возникает). Это научное исследование? Это коммерческий проект?

> А самое интересное, что использованный алгоритм был, в принципе, известен как минимум в 1986.
> Но, что касается системы ПОЭТ. Не нашел никаких деталей.


В связи с этим возникает вопрос: Вы не изобретаете велосипед? Выяснилось, что не знаете о системе ПОЭТ, на которую было затрачено много человеко-лет и которая описана в книге, изданной лидирующим научным издательством. К слову сказать, эта система делалась не для сочинения стихов.

Извините, если какие из моих вопросов покажутся Вам слишком интимными. В мыслях не имел бросить тень на Вашу крайне сложную и интересную работу. Но ранее высказал иную точку зрения на выбор задач в сфере ИИ:

слишком амбициозные проекты терпят крах, а более скромные неспешно, но все же продвигают ИИ к новым рубежам.

Поэтому было бы интересно услышать обоснования противоположного мнения.
Не являются ли такие результаты всего лишь имитацией, но менее очевидной?

Я прагматик. Мне важно, чтобы работало.

А вот оценка разных экспертов приведенного Вами четверостишья может варьироваться в пределах от очень хорошо до очень плохо

В статье про систему, метрика для которой в конечном итоге очевидна — процент правильных ответов, процент совпадающих с человеческими результатов.

Да и с поэзией, люди, которые этим занимаются, делают слепое тестирование — отгадайте, написано ли это стихотворение одним из известных поэтов или компьютером.

В связи с этим возникает вопрос: Вы не изобретаете велосипед? Выяснилось, что не знаете о системе ПОЭТ, на которую было затрачено много человеко-лет и которая описана в книге, изданной лидирующим научным издательством


С конца 70-х разных систем такого рода создавалось великое множество. Большинство из них так и не заработало, и на дальнейшее развитие отрасли не повлияло, по этой причине о них широко не известно. Некоторые проекты избрали неверное направление, для других было слишком мало компьютерных мощностей. Часть работ было интересными, но они просто потерялись. В особенности это касается разработок, сделанных в СССР, они не стали вовремя известны всему миру, и потом были заново открыты другими авторами.

слишком амбициозные проекты терпят крах, а более скромные неспешно, но все же продвигают ИИ к новым рубежам.


Слишком сильное обобщение. Можно найти много контрпримеров. Многие амбициозные проекты не достигают глобальный целей, но часто получают промежуточный полезный результат и при этом умножают наши знания для следующих попыток.

Какие цели Вашей работы: Это хобби? (тогда никаких вопросов не возникает). Это научное исследование? Это коммерческий проект?


Пока это эксперимент. Как побочный продукт, он приносит определенную выгоду. А там видно будет.

Гугл, который сейчас может потратить пару сотен или м.б. тысяч человеко-лет и закончить работу через год?

Поскольку они публикуют основные результаты, я буду их постепенно включать и применять. Чем больше они сделают, тем лучше.
> Да и с поэзией, люди, которые этим занимаются, делают слепое тестирование — отгадайте, написано ли это стихотворение одним из известных поэтов или компьютером.

Такая постановка задачи выглядит некорректной. Эксперт на то и эксперт, чтобы знать, если не наизусть, то стилистические особенности и словари известных поэтов. Более правильная постановка будет: написано ли это стихотворение одним из поэтов (может не известным, может любителем, может графоманом) или компьютером? Ну и, конечно, слово «отгадайте» не подходит для серьезной экспертизы. Требуется обоснованное мотивированное решение, а не игра в угадайку. Последнее и компьютер может, подбрасывая монетку.

> Пока это эксперимент.

Для оценки результатов эксперимента требуются строго обоснованные критерии. А в коммерческом проекте, нпр., таких критериев не требуется. Так, несколько лет назад познакомился с одним опытным программистом, который много лет делал программы для астрофизики, а потом ради денег переключился на программы для составления гороскопов. Цинично считает, что занимается ерундой – но эта ерунда пользуется спросом. Я только хочу сказать, что если принять такой чисто коммерческий подход, то бот-имитатор вроде усложненной Элизы может оказаться коммерчески очень успешным. При том, что экспериментальная ценность от еще одной Элизы (в сетке можно найти много подобных Элиз) будет стремиться к нулю. И таким образом Ваше утверждение про прагматизм не согласуется с экспериментальным подходом:

> Я прагматик. Мне важно, чтобы работало.

И далее:

> Многие амбициозные проекты не достигают глобальный целей, но часто получают промежуточный полезный результат и при этом умножают наши знания для следующих попыток.

Можно, например, сказать, что робот-полицейский, утопившийся в фонтане гипер-маркета – это промежуточный полезный результат. Но у меня большие сомнения: ИМХО конструкторы поторопились, приняв желаемое за действительное при обработке результатов своих экспериментальных испытаний. Сегодня все более и более отчетливо проявляется тенденция выброса на рынок сырых недоделанных продуктов. В сфере ИИ это особенно печально, т.к. особенно сильно дискредитирует идеи ИИ для массового сознания – в том числе и для потенциальных спонсоров.

> С конца 70-х разных систем такого рода создавалось великое множество. Большинство из них так и не заработало, и на дальнейшее развитие отрасли не повлияло, по этой причине о них широко не известно.

Видимо, тут мой вопрос нечетко прозвучал. Дело не в том, заработал или не заработал ПОЭТ, а дело в том, что результаты огромной работы, прежде всего теоретические, были суммированы в толстой книге, изданной солидным издательством (учитывая тираж – это широко известно). Представляют ли сейчас ценность эти результаты?

В списке литературы Вы приводите англоязычные издания, которые, по-видимому, ориентированы на работу в первую очередь с английским языком. Но ведь у русского языка иная структура. Или для Вашего подхода структура языка не важна?
Эксперт на то и эксперт, чтобы знать, если не наизусть, то стилистические особенности и словари известных поэтов.

Не трудно имитировать стиль и тем более словарь любого поэта
Требуется обоснованное мотивированное решение, а не игра в угадайку.

Это долго и бессмысленно — поэзия оценивается субъективно, рационализация субъективного ощущения ничего не даст. Очевидно, что человек оценивает с помощью своего мышления, а не подбрасывая монетку.
Можно, например, сказать, что робот-полицейский, утопившийся в фонтане гипер-маркета – это промежуточный полезный результат.

Это нормально. Для сложной задачи несколько косяков вначале это даже не проблема, это обычная обкатка. Плюс, не известно точно, возможно ему помогли утопиться.
Дело не в том, заработал или не заработал ПОЭТ, а дело в том, что результаты огромной работы, прежде всего теоретические, были суммированы в толстой книге, изданной солидным издательством (учитывая тираж – это широко известно). Представляют ли сейчас ценность эти результаты?

Научно-популярная книга не дает возможности судить об этом. К сожалению, найти публикации по этой системе мне не удалось, поэтому я не могу оценить ценность результата.
В списке литературы Вы приводите англоязычные издания, которые, по-видимому, ориентированы на работу в первую очередь с английским языком. Но ведь у русского языка иная структура. Или для Вашего подхода структура языка не важна?

В данном случае технология намного важнее структуры языка. Специфика языка есть, но она второстепенна.
Я только хочу сказать, что если принять такой чисто коммерческий подход, то бот-имитатор вроде усложненной Элизы может оказаться коммерчески очень успешным.


Если вы знаете, куда сейчас можно приделать Элизу и получить за это деньги, поделитесь секретом. Простые вещи все сделаны уже. А сложные — на каждую мелкую тему делать отдельную Элизу, это как раз 50 человеко-лет и уйдет. А у меня их нет, мне нужно, чтобы одна система делала все.
Не трудно имитировать стиль и тем более словарь любого поэта


Известно много попыток, особенно у начинающих поэтов, подражать великим, однако профессиональных критиков редко удается обмануть, и они обычно оценивают такое подражательство крайне низко. А как было бы просто, легко и быстро прославится начинающему поэту: пишет под Пушкина — и все восторгаются.

поэзия оценивается субъективно, рационализация субъективного ощущения ничего не даст.


Да. В соц.сетях, нпр., можно найти много лаконичных оценок: мне нравится/не нравится поэт Н. А для солидной литературоведческой статьи такая оценка будет явно недостаточной.

Это нормально. Для сложной задачи несколько косяков вначале это даже не проблема, это обычная обкатка. Плюс, не известно точно, возможно ему помогли утопиться.


Нпр., бортовая система самолета или космического корабля — сложная. Несколько разбившихся самолетов или сгоревших кораблей — это нормально? Кто и как мог помочь ему утопиться? Весь инцидент был заснят камерами наблюдения в хорошем качестве, и куча свидетелей.

Научно-популярная книга не дает возможности судить об этом


Она не позиционирована, как популярная
Общение с ЭВМ на естественном языке. Попов Э. В.— М.: Наука. Глав-
ная редакция физико-математической литературы, 1982,— 360 c.
Книга посвящена проблеме создания систем, предоставляющих челове-
ку возможность общаться с вычислительными машинами на естественном
языке (в частности, на русском). Излагается комплексный подход к проб-
леме общения, состоящий в исследовании данного процесса, разработке опи-
сывающих его моделей и реализации на их основе действующих систем.
Предложена модель, рассматривающая общение как процесс, в котором уча-
стники преследуют свои цели и выявляют цели собеседника. Описана мо-
дель участника общения, осуществляющая с помощью знаний о языке,
окружающем мире и участниках общения «понимание» входного текста, его
обработку и синтез выходного текста. Идеи, методы и алгоритмы, развитые
в книге, проиллюстрированы на примере действующей системы общения.
-Табл. 16, илл. 66, библ. 159 назв.

Эдуард Викторович Попов
ОБЩЕНИЕ С ЭВМ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ
(Серия: «Проблемы искусственного интеллекта»)
Редактор А. А. Некрасов
Техн. редактор И. Ш. Апселърод
Корректоры Г. С. Плетнева, Н. Б. Румянцева

О СЕРИИ
«ПРОБЛЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА»
Издательство «Наука» начинает выпускать серию книг, посвя-
щенных проблемам искусственного интеллекта. Первая из них
предваряется этим напутственным словом. Термин «искусствен-
ный интеллект» вызывает из-за своей метафоричности возраже-
ния пуристов. Мгновенно возникают подозрения, что специалис-
ты, работающие в этой области, пытаются наскоком решить
самые сложнейшие проблемы, связанные с разгадкой тайн чело-
веческого интеллекта, создать технические устройства, равные
или даже превосходящие по интеллектуальным способностям че-
ловека. Тем самым, по существу, искажаются основные цели,
стоящие перед бурно развивающимся направлением современной
кибернетики, которое получило название «искусственный ин-
теллект».

[…]
Проблемы, относящиеся к созданию технических воплощений
идей теории искусственного интеллекта, конструированию робо-
тов и других интеллектуальных систем, будут по-прежнему осве-
щаться в книгах того же издательства «Наука» в серии «Науч-
ные основы робототехники», издаваемой с 1976 года.
Зам. председателя Научного Совета
ио проблеме «Искусственный интеллект»
Комитета по системному анализу при
Президиуме АН СССР,
доктор технических наук, профессор
Д А ПОСПЕЛОВ



Если вы знаете, куда сейчас можно приделать Элизу и получить за это деньги

Сейчас наметилась тенденция использовать чат-ботов в поисковиках…

Известно много попыток, особенно у начинающих поэтов, подражать великим, однако профессиональных критиков редко удается обмануть, и они обычно оценивают такое подражательство крайне низко


Ну это из серии, когда профессиональным дегустаторам налили три рюмки одинакового вина и предложили сравнить. Все поголовно нашли существенную разницу. Тоже самое верно для профессиональных литературных критиков. Зная, что стихи начинающего автора, легко поставить ему в вину подражание Пушкину.

Да. В соц.сетях, нпр., можно найти много лаконичных оценок: мне нравится/не нравится поэт Н. А для солидной литературоведческой статьи такая оценка будет явно недостаточной

Тоже самое. Литературоведческая статья это попытка рационализировать субъективное ощущение, не несущая объективной ценности.

Нпр., бортовая система самолета или космического корабля — сложная. Несколько разбившихся самолетов или сгоревших кораблей — это нормально?

Число разбившихся самолетов и космических кораблей очень велико. Особенно опытных моделей. Дроны с автопилотом которые разбились во время разработки вообще никто не считает. Ни одна сложная система не работает с первого раза. Робот о котором идет речь не серийный, это пилотный проект.

Она не позиционирована, как популярная

Значит я неверно вас понял вначале. В любом случае, описания системы ПОЭТ у меня нет.

Сейчас наметилась тенденция использовать чат-ботов в поисковиках

Как можно использовать Элизу в поисковике?

Литературоведение и дегустация не несут объективной ценности?! Не слишком ли сильное утверждение?

Число разбившихся самолетов и космических кораблей очень велико.


И каждый раз это рассматривается как неудача, а не как «нормально». А еще есть разница между испытанием на полигоне и в гипермаркете. После такого «пилотного проекта» люди будут бояться ходить в этот магазин. А хозяева магазинов остерегутся пускать к себе подобные ИИ изделия.

Значит я неверно вас понял вначале. В любом случае, описания системы ПОЭТ у меня нет.


Я не про систему, а про книжку с теорией. Когда в представляемой работе не видно преемственности (нет ссылок на ранее сделанное), возникают очевидные сомнения на темы изобретения велосипеда и наступания на грабли.

Как можно использовать Элизу в поисковике?


Как Алису
«Техника со временем дойдет до такого совершенства, что человек сможет обойтись без самого себя.» С.Е.Лец

Мои дилетантские рассуждения: чтобы уметь нормально "разговаривать", необходимо иметь понятийный аппарат. На мой взгляд как-то так:


  1. Различные понятия как-то кластеризуются в близкие и связанные по смыслу, связанные отношениями. Таких примеров много можно найти. Пример.
  2. Но этого недостаточно для полноценного понимания предметной области (в общем случае — объектов и явлений окружающего мира). Необходимо введение абстрактных понятий и отношений "абстракция — конкретная реализация".
  3. И аналогичные п.1 связи и кластеризация между абстракциями.
  4. И супер-абстракции абстракций, абстракции абстракций абстракций...
Если сеть умеет обращаться к внешнему хранилищу данных, то её легко дообучить на работу с онтологиями. А онтологии как раз и дадут сети понятийный аппарат. Разумеется, если сеть будет в состоянии этим аппаратом воспользоваться.
«Теория фреймов для представления знаний», Марвин Минский. Вы переизобрели фреймы, являющиеся фундаментом самообучающихся экспертных систем уже как пол века (так же вам наверняка будет полезно взглянуть на язык программирования Prolog). Хотелось бы взглянуть на демонстрацию работы вашей системы, т.к. именно конкретные реализации и интересны («дьявол в мелочах»), а сама концепция не нова. И да, у Гугла примерно такое же «смысловое» ранжирование, они балансируют между автоматикой и ручным управлением.
лет 12 назад делал на Prolog довольно объемное приложение. Была такая вещь, Visual Prolog 6.0. Не претендую на изобретение графовых баз данных, впрочем, в тексте есть ссылки на источники и существующие продукты. Я занимаюсь практическим вопросом, как собрать все вместе, и научить общаться с человеком, чтобы структура данных подстраивалась по мере необходимости, и работало это в реальной задаче.
Да, уже пол века с разным успехом этим занимается куча людей, я лишь этим вас хотел удивить :). И не в изобретении графовых СУБД я вас «обвинил», они лишь инструмент, на котором вы, по сути, пытаетесь реализовать фреймовую модель хранения знаний. Просто теперь у вас есть возможность не переизобретать свой велосипед, а ознакомиться с проработанной концепцией Минского, в которой он уже наверняка порешал многие вопросы, с которыми вы боретесь (и с которыми ещё даже не столкнулись). У вас будет надёжная теоретическая основа, к которой вы уже сможете прикрутить свои более конкретизированные способы согласования фреймов, адекватные вашей реальной задаче (прикрутить, например, нейросетевые классификаторы, что вы, по сути, и пытаетесь сделать). Но, конечно, это IMHO, у вас свой путь :).

Спасибо за литературу. На новизну я, разумеется, не претендовал и был более чем уверен, что такое есть. Про Prolog знаю, но никогда не доводилось с ним работать. Да и по поводу "дьявола в мелочах" полностью согласен.

Мои дилетантские рассуждения: на одну область знаний одна обученная сеть и на всех одна сеть-классификатор, которая решает какой сети (сетям) адресовать данный конкретный вопрос
Так и делают. Вообще, искусственная нейросеть выглядит для обывателя как некая гомогенная каша нейронов, волшебным образом решающая задачи, однако на самом-самом деле нейросети — это просто некое семейство алгоритмов для решения вполне определённых математических операций (классификация, фильтрация, генерация, свёртка, т.п.), и без «ручного» дизайна архитектуры решения (включающей и способ обучения) под конкретную задачу не обойтись. Т.е., правильнее говорить о конкретной модели решения той или иной конкретной задачи, спроектированной человеком, в которой некоторые параметры подбираются статистически на базе обучающей выборки, и именно в этих местах в модель внедряют ту или иную нейросеть (классификатор или фильтратор, например), коэфициенты которой и подбираются в ходе обучения. Когда говорят «нейросеть от Гугла выиграла чемпиона в Го», то имеют ввиду целый каскад нейросетей с разными свойствами и способами обучения, являющиеся частями определённой созданной человеком модели «решателя Го». Т.е., это как сказать, что в Формуле-1 победил поршень двигателя внутреннего сгорания (если бы в информационном пространстве Формулы был хайп вокруг слова «поршень», как в теме ИТ хайп вокруг слова «нейросеть»)
Это обычное решение. Но проблема в том, что всю иерархию классификаторов и тематических решателей приходиться собирать вручную, и это долго и нужен большой штат сотрудников.
Наверное вот это www.lucida.ai, очень сократит вам время. Там несколько сотен уже прописаных паттернов. И не проблема научить русскому языку.
Но если хотите продолжить копать в сторону строительства графов, то переходите к использованию datastax или janusGraph. Все остальные графовые базы очень медленные. Та же Neo4J, которая вроде по рейтингам показывает неплохие результаты, на кластере из 3 серверов выдает не более 1700 запросов в секунду.
Но мне кажется семантика это тупик. Во первых вы устанете подготавливать базу и связи. А во вторых вам придется подготовить еще диких размеров датасет для тренировки нс. Собственно ссылка на люсиду выше.
Да и не понятен алгоритм по которым сеть будет создавать новые правила.
Никак не могу понять. Пишешь статью, объясняешь, что нечто работает и работает хорошо. Сразу появляется много комментаторов, которые говорят, что нет, это невозможно. И предлагающих использовать XYZ вместо описанного. Ну в чем тут логика?

Мне не нужны шаблоны, ни сотни, ни тысячи, я от них как раз хочу избавится, о чем и идет речь в статье. Тем более зачем мне учить нечто говорить на русском с помощью паттернов, когда у меня есть решение, которое работает прекрасно без них? И наконец, я не готовлю ни базу ни связи, в статье идет речь о том, что связи формируются сами в процессе диалога.

И еще, разработанный язык обращений делает основную систему независимой от конкретной графовой базы данных, так что если какой-то выбранный движок окажется непригодным, или перестанет поддерживаться, очень легко перенести все на другой.
Это очень легко понять как раз. Каждый на своей волне и любую входящую информацию расматривает с позиции знакомых ему паттернов.
Мне просто не ясно, у вас по тексту и нейросеть и графы и fuzzy logic. И совсем не ясно как это работает. Мне так видится, что согласно описаному вами, придется как минимум создавать словарик частей речи.
А на компанию товарищей выше можете не обращать внимания, они и в моей статье нагадили выше некуда.
А на компанию товарищей выше можете не обращать внимания, они и в моей статье нагадили выше некуда.
Скажите пожалуйста: в какой статье Вам нагадили?
Большое спасибо. Моих комментариев там нет, поэтому продолжаю надеется, что уважаемый автор статьи ответит на мои вопросы выше.
Я не думаю что кто то сможет дать четкий ответ по времени подобных проектов или по конкретным обьемам. Я сужу по своему проекту, только за этот год было переписано с нуля 6 версий модели. Каждая версия докидывала неочевидных деталей. И максимум что удалось пока достичь, это обобщение одной обьемной книги примерно за 3 часа.
Хотя бы нечеткий. Или удел подобных проектов чистый энтузиазм пока финансирование не кончится?
Мне сложно судить. Я сам себя финансирую и моему проекту уже больше 5 лет. Если рассматривать подобные проекты с точки зрения моей модели, то процесс не быстрый. Нужно обобщить очень большой обьем информации. Да и многие детали все равно выясняются только при попытках реализации.
Можно ли сказать, что Вы потратили 5 человеко-лет или были перерывы на другие работы?
Конкретно на структуру способную создавать новые паттерны на основе имеющегося опыта наверное года два.
В моем исходном вопросе цитата, где называются трудозатраты в десятки человеко-лет. Конечно, с 1977 г. прогресс ушел далеко вперед, но все же работа выглядит очень затратной по времени. Не опасаетесь ли Вы, что раньше завершения Вас обгонит, нпр., Гугл, который сейчас может потратить пару сотен или м.б. тысяч человеко-лет и закончить работу через год?
Так я и пытаюсь обьяснить, что подобные проекты не удастся компенсировать груповой работой. На данном примере. У автора есть некий алгоритм который организует входящие данные в некую структуру которая позволяет формировать исходящие данные. Поможет ли автору наличие 100500 помошников? При условии что на 100% только сам автор понимает как и почему это работает и что нужно еще исправить.
Sign up to leave a comment.