Комментарии 38
В канун нового года?
И мы решили оценить, насколько на самом деле разумны существующие системы ИИ, и можно ли их вообще назвать интеллектом.
[...]
Одна из таких классификаций показалась нам интересной, и мы решили применить ее для оценки когнитивных способностей ИИ
[...]
Мы адаптировали эту классификацию для оценки когнитивных способностей ИИ при общении с человеком
… ну то есть вы, фактически, придумали свое собственное — заметим, нестрогое — определение того, что такое "интеллект", а теперь, на его основании, рассуждаете, можно ли что-то называть интеллектом.
Это само по себе ошибочно, но вы продолжаете:
Если мы хотим создать интеллект, похожий на человеческий, то имеет смысл использовать те же методы, какими оперирует человек в процессе мышления.
Во-первых, откуда внезапно задача создания интеллекта, "похожего на человеческий"? А во-вторых, внезапно, чтобы быть похожим на человека, совершенно не обязательно оперировать теми же методами.
А из этого вы приходите к выводу
Таким образом, нейросеть не очень подходит на роль будущего ИИ.
Который, судя по "таким образом", кажется вам логичным, но на самом деле, таковым не является. Нейросеть не подходит на роль того, что конкретно вы считаете интеллектом, и только потому, что вы наложили на него дополнительные ограничения.
НЛО прилетело и опубликовало эту надпись здесь
Вот вроде умные люди, рассуждают не о таких уж сложных вещах. Но когда начинают говорить об ИИ, то извините, «такое ощущение, что вы бредите» Контр аргументы:
1. Тест Тьюринга — пора давно уже забыть про это понятие. Он как, и 3 закона робототехники, никогда не действовал и действовать не будет. Кто задет машине вопросы, какие, сколько? Задающий вопросы вообще вменяемый и может грамотно оценить ответы? Хочет ли он этого? Правда?
2. Само понятие искуственный интелект. Начинаешь копать, оказывается его и естественного интелекта нет. Хороший предсказатель (на основе изученной картины мира), большой массив памяти, и хардкорно жестко записанные основные целепологания — вот весь интелект. Входные и выходные каналы связи с кучей датчиков и приводов — обычно в состав мозга не включаются, но присутствуют.
3.
4. Скайнета никогда не будет из-за:
а) Ни кому не интересна бесконтрольная техника. Ни кто не будет делать такую. Потому что контроль (над теникой, технологией, людьми, государством) это власть. А любой правитель максимизирует количество своей власти. Отдавать её кому-то, а данном контексте чему-то, он не собирается. Поэтому у сложных систем всегда будет главный рубильник, для её отключения, и органы управления для задании целей (не всегда в буквальном смысле). Обычные люди тоже к этому стремятся, не все, и не так эффективно, но лишняя конкуренция за власть здесь точно не допустима. Человеку и человеству интересна экспертная система, подсказывающая как жить, а не самоходный ИИ, создающий конкуренцию за место под солнцем. Если такой будет появлятся его будут уничтожать, в зародыше.
б) для того чтобы пройти от умозаключения
5.
1. Тест Тьюринга — пора давно уже забыть про это понятие. Он как, и 3 закона робототехники, никогда не действовал и действовать не будет. Кто задет машине вопросы, какие, сколько? Задающий вопросы вообще вменяемый и может грамотно оценить ответы? Хочет ли он этого? Правда?
2. Само понятие искуственный интелект. Начинаешь копать, оказывается его и естественного интелекта нет. Хороший предсказатель (на основе изученной картины мира), большой массив памяти, и хардкорно жестко записанные основные целепологания — вот весь интелект. Входные и выходные каналы связи с кучей датчиков и приводов — обычно в состав мозга не включаются, но присутствуют.
3.
Но уже сейчас можно точно сказать, что это будут самообучающиеся алгоритмы, и процесс обучения будет определяться внешними данными, которые будет получать ИИ.… В какой-то момент времени алгоритмы будут обходиться в своей работе без вмешательства человека.Нет ни какого процесса самообучения. При обучении есть заданное воздействие и оценка отклика. Человек/организация создающая ИИ полюбому будет скармливать создаваемому ИИ нужные им воздействия/оценки и требовать лучший результат.
4. Скайнета никогда не будет из-за:
а) Ни кому не интересна бесконтрольная техника. Ни кто не будет делать такую. Потому что контроль (над теникой, технологией, людьми, государством) это власть. А любой правитель максимизирует количество своей власти. Отдавать её кому-то, а данном контексте чему-то, он не собирается. Поэтому у сложных систем всегда будет главный рубильник, для её отключения, и органы управления для задании целей (не всегда в буквальном смысле). Обычные люди тоже к этому стремятся, не все, и не так эффективно, но лишняя конкуренция за власть здесь точно не допустима. Человеку и человеству интересна экспертная система, подсказывающая как жить, а не самоходный ИИ, создающий конкуренцию за место под солнцем. Если такой будет появлятся его будут уничтожать, в зародыше.
б) для того чтобы пройти от умозаключения
состояние объекта «Планета Земля» станет отрицательным.до состояния
Этого нельзя допустить, но что делать? Найти новый способ переработки мусора или уничтожить человечество?нужное иметь собственную заданную цель, например «улучшить мир». С чего вы взяли что ИИ такие цели дадут? С чего вы взяли что ИИ дадут возможность физически исполнить решение «уничтожить человечество». Даже если и цель такая будет «найти варианты решения», то цели «исполнять свои решения», а тем более средства такой системе не дадут.
5.
По нашей классификации, третий уровень развития ИИ – это умозаключение, то есть построение целостной картины описываемых объектов и их роли и места в окружающем мире и нахождение причинно-следственной связи между всеми объектами и явлениями.У любого человека нет целостной картины мира! У любого человека нет понятий о связях между всеми объектами и явлениями. У всех картина мира ограниченная и неточная. Так же как и у современных роботах. Роботизированная рука с лидаром видит, понимает, и не допускает столкновения себя с другими предметами, постройками. Т.е. простейшую картину мира имеет и действует в соответсвии с ней.
Спасибо за Ваш отзыв.
40-50 лет назад, когда компьютеры занимали целые этажи, вряд ли кто-то мог себе представить что, каждый из нас будет носить по паре компьютеров (смартфонов) в кармане. Будущее через 50 лет будет кардинально отличаться от того, что мы сейчас представляем.
Но, я думаю, что Вы недооцениваете возможности будущего ИИ. С развитием технологий у него будет все больше и больше самостоятельности в получении информации, постановке целей и принятии решений.
40-50 лет назад, когда компьютеры занимали целые этажи, вряд ли кто-то мог себе представить что, каждый из нас будет носить по паре компьютеров (смартфонов) в кармане. Будущее через 50 лет будет кардинально отличаться от того, что мы сейчас представляем.
Но, я думаю, что Вы недооцениваете возможности будущего ИИ. С развитием технологий у него будет все больше и больше самостоятельности в получении информации, постановке целей и принятии решений.
А Вы недооцениваете человеческую сущность. Она, характер человека, вектор развития не поменяются. Поэтому
«Всё на благо человека, всё во имя человека, и видел я этого человека.» Т.е. целью всегда будет благо человека / группы человек. Целью «улучшить мир» никогда не будет.
С развитием технологий у него будет все больше и больше самостоятельности в получении информации, постановке целей и принятии решений.— это да. А бесконтрольное исполнение своих (ИИ) решений — не под каким предлогом!
«Всё на благо человека, всё во имя человека, и видел я этого человека.» Т.е. целью всегда будет благо человека / группы человек. Целью «улучшить мир» никогда не будет.
Основное отличие естественного интеллекта от искусственного — в том, что человек способен порождать новые концепции, тогда как ИИ — только комбинировать уже существующие. Грубо говоря, ИИ не сможет самостоятельно прийти к идее интегралов или придумать таблицу периодических элементов «с дырками». Только если эти идеи уже были заложены в его алгоритмической базе.
Конечно, имея колоссальную базу алгоритмов, ИИ сможет запросто заткнуть за пояс среднестатистического человека. Он даже сможет скомбинировать концепции, до которых люди просто еще не дошли. Но вот при столкновении с принципиально новой ситуацией, которая не укладывается в существующие схемы, он будет пробуксовывать и проигрывать естественному интеллекту.
Конечно, имея колоссальную базу алгоритмов, ИИ сможет запросто заткнуть за пояс среднестатистического человека. Он даже сможет скомбинировать концепции, до которых люди просто еще не дошли. Но вот при столкновении с принципиально новой ситуацией, которая не укладывается в существующие схемы, он будет пробуксовывать и проигрывать естественному интеллекту.
Вы, я так понимаю, говорите о существующих реализациях искусственного интеллекта (возможно, с поправкой на какие-то, опять же, существующие концепции их развития)?
Вообще-то я говорю о фундаментальных различиях между способом взаимодействия с окружающей средой и переработки информации, используемым людьми и ИИ. Речь тут должна идти о физических принципах, которые невозможно (на данный момент) и, может быть, никогда не будет возможно воспроизвести в искусственной системе. Или искусственная система, способная воспроизвести эти принципы, автоматически станет живой.
Конкретно — люди, а, возможно, биологические существа в целом, способны получать информацию, не основанную на их предыдущем опыте.
В качестве яркого примера здесь можно привести математика Рамануджана, который, не имея специального математического образования, был способен генерировать удивительные формулы, которые всегда оказывались верными.
(Я слегка подправил текст из Википедии, чтобы звучало по-русски).
Прошу обратить внимание, что я говорю именно о (био)физических механизмах получения и интерпретации информации. Естественно, что субъекты типа Рамаджунана встречаются крайне редко, но, если какой-то механизм есть у одного представителя вида, то вполне логично будет предположить, что этот же механизм, пусть и в сильно ослабленном варианте, присутствует и у других представителей.
И можно предположить, что этот механизм активизируется в ситуациях, когда требуется «выйти за границы» существующих знаний индивида (например, в изобретательской деятельности или при необходимости объяснить принципиально новое явление), что и отличает естественный интеллект от ИИ, который выйти за эти границы принципиально не способен (ибо не обладает требуемым механизмом).
Конкретно — люди, а, возможно, биологические существа в целом, способны получать информацию, не основанную на их предыдущем опыте.
В качестве яркого примера здесь можно привести математика Рамануджана, который, не имея специального математического образования, был способен генерировать удивительные формулы, которые всегда оказывались верными.
Сам Рамануджан говорил, что формулы являлись ему во сне и в молитве в результате внушения богиней Намагири Тхайяр.
(Я слегка подправил текст из Википедии, чтобы звучало по-русски).
Прошу обратить внимание, что я говорю именно о (био)физических механизмах получения и интерпретации информации. Естественно, что субъекты типа Рамаджунана встречаются крайне редко, но, если какой-то механизм есть у одного представителя вида, то вполне логично будет предположить, что этот же механизм, пусть и в сильно ослабленном варианте, присутствует и у других представителей.
И можно предположить, что этот механизм активизируется в ситуациях, когда требуется «выйти за границы» существующих знаний индивида (например, в изобретательской деятельности или при необходимости объяснить принципиально новое явление), что и отличает естественный интеллект от ИИ, который выйти за эти границы принципиально не способен (ибо не обладает требуемым механизмом).
Вообще-то я говорю о фундаментальных различиях между способом взаимодействия с окружающей средой и переработки информации, используемым людьми и ИИ.
А на основании чего вы судите о способах взаимодействия ИИ с окружающей средой?
Речь тут должна идти о физических принципах, которые невозможно (на данный момент) и, может быть, никогда не будет возможно воспроизвести в искусственной системе.
Что это за физические принципы?
Конкретно — люди, а, возможно, биологические существа в целом, способны получать информацию, не основанную на их предыдущем опыте.
Это утверждение нуждается в формализации. Что значит "не основанную на предыдущем опыте"?
В общем же случае, до формализации, я могу с уверенностью сказать, что ничто не мешает ИИ "получать информацию, не основанную на предыдущем опыте".
А на основании чего вы судите о способах взаимодействия ИИ с окружающей средой?
На основании полного знания о физических основах функционирования искусственных (технических) сенсоров и исполнительных устройств. Имеется в виду, что это знание доступно людям, которые эти сенсоры и устройства создали.
Однако на данный момент отсутствует полное знание о механизмах функционирования сознания. Знание о молекулярно-клеточных механизмах функционирования нервной системы — не есть знание о работе сознания как такового. Или, по крайней мере, крайне неполно.
Что это за физические принципы?
Физические принципы функционирования сознания, которые мы на данный момент не знаем. Если бы знали — мы смогли бы создать систему, которая бы обладала способностями Рамануджнана. Но нет.
Что значит «не основанную на предыдущем опыте»?
Рамануджнан не обладал предыдущим опытом в математике, который бы позволял ему последовательно выводить предлагаемые им формулы. Он их «получал» сразу в готовом виде, и профессиональные математики потом долго их выводили и доказывали на основании своего предыдущего опыта. Говорят, некоторые формулы до сих пор не доказаны, хотя выдерживают любые проверки.
Можно ли создать ИИ, который бы был способен сразу давать формулы, ранее неизвестные, но полностью правильные?
… я могу с уверенностью сказать, что ничто не мешает ИИ «получать информацию, не основанную на предыдущем опыте».
Прекрасно. Предложите тогда ИИ, который бы обладал пустой базой по математике (или хотя бы знанием математики в объеме 10 классов школы) и при этом мог бы «без вывода» предлагать верные и ранее неизвестные формулы для бесконечных рядов.
На основании полного знания о физических основах функционирования искусственных (технических) сенсоров и исполнительных устройств. Имеется в виду, что это знание доступно людям, которые эти сенсоры и устройства создали.
Неа, недоступно. Нет у них полного знания.
Но, самое главное, это ведь только о существующих устройствах, а совсем не о потенциальных.
Физические принципы функционирования сознания, которые мы на данный момент не знаем.
Если мы их не знаем, то нельзя утверждать, что их невозможно воспроизвести в искусственной системе.
Если бы знали — мы смогли бы создать систему, которая бы обладала способностями Рамануджнана. Но нет.
Сколько тысячелетий люди пользовались огнем, не зная принципов его функционирования?
Рамануджнан не обладал предыдущим опытом в математике, который бы позволял ему последовательно выводить предлагаемые им формулы.
Это не все еще не формализация. Это всего лишь пример.
Можно ли создать ИИ, который бы был способен сразу давать формулы, ранее неизвестные, но полностью правильные?
Да, можно.
Предложите тогда ИИ, который бы обладал пустой базой по математике (или хотя бы знанием математики в объеме 10 классов школы) и при этом мог бы «без вывода» предлагать верные и ранее неизвестные формулы для бесконечных рядов.
Эм. То, что я постулирую возможность, не означает, что я знаю, как это можно сделать.
Проблема в том, что невозможно даже формально определить, что такое "ИИ со знанием математики в объеме 10 классов школы".
То, что я постулирую возможность, не означает, что я знаю, как это можно сделать.
)))
Тогда я постулирую возможность телепортации человека на 1000 километров. Но я не знаю, как это сделать ))) Хотя очень хочется ))
Тогда я постулирую возможность телепортации человека на 1000 километров.
… и на данный момент у меня нет никакого способа доказать вам, что это невозможно.
Вы же утверждаете именно невозможность существования ИИ, решающего определенные задачи.
Вы же утверждаете именно невозможность существования ИИ, решающего определенные задачи.
Вообще-то я говорил не о ИИ, способным решать «определенные» задачи, а об ИИ, неотличимом от человеческого при решении любых задач.
На сегодняшний день эта невозможность является следствием нашей неполноты знаний о системе (сознании человека), которую «моделирует» ИИ. По-моему, тут все честно.
Что мы будем знать через 500 лет — неизвестно. Может, тогда наше знание станет (достаточно) полным, и «человекоподобный» ИИ будет в каждом утюге. А может, мы тогда будем точно знать, по какой причине такой ИИ создать невозможно.
НЛО прилетело и опубликовало эту надпись здесь
И да ИИ тоже может «интуитивно» выводить формулы.
Вот именно — выводить, т.е. строить цепочку преобразований А->B->C->...->X
Рамануджнан же просто сразу получал А->Х без каких-либо промежуточных преобразований. Причем, по его собственным словам, ему эти выражения «диктовались» или «показывались». А профессиональные математики потом долго строили необходимые преобразования, чтобы, в конце концов, убедиться, что Рамануджнан был прав.
Может ли ИИ действовать как Рамануджнан, получая сразу готовый ответ без вывода?
Можно ли создать ИИ, который бы был способен сразу давать формулы, ранее неизвестные, но полностью правильные?
https://habr.com/ru/company/itsoft/blog/542500/
Вот вам первый шаг.
Человек рождает новые концепции тоже не напустом месте. Те же самые комбинация и усовершенствование старых.
Опять же Вы, наверняка, себя считаете интелектом. Сколько новых концепций вы создали? Можете перечислить? Каждый ли человек может создавать новые концепции?
Опять же Вы, наверняка, себя считаете интелектом. Сколько новых концепций вы создали? Можете перечислить? Каждый ли человек может создавать новые концепции?
В настоящий момент Ваше утверждение справедливо. Но ИИ будет развиваться, постепенно приобретая новые способности, в том числе, способность формулировать и проверять гипотезы.
Интеллект человека также сформировался в результате долгой эволюции, он не сразу стал таким, каким является сейчас.
Интеллект человека также сформировался в результате долгой эволюции, он не сразу стал таким, каким является сейчас.
У меня полное ощущение, что авторы или авторы статьи это люди, обладающие знаниями в сфере ИИ на уровне 80-х годов прошлого века и после этого не прочитавшие ни одну статью. Ребята, после Debert'ы, GPT-3 и dall-E, не говоря уже о ИИ от Deepmind статья кажется бредом. Да и является им, строго говоря. Каждая строчка содержит либо фактическую ошибку, либо искажена каким-то смутными внутренними представлениями, либо просто не имеет смысла. ИИ человеческого уровня появится на горизонте 5-7 лет, сверхчеловеческого — 7-10 лет, об этом говорит большинство экспертов, да это и видно из результатов работы того же gpt-3
об этом говорит большинство экспертов
Хотелось бы увидеть подтверждение этому высказванию. "Большинство" из какой группы?
Спасибо за Ваш комментарий.
Конечно, мы знаем про GPT-3 и упомянули ее в своей статье — она не смогла решить простейшую логическую задачу, которую может решить даже трехлетний ребенок. GPT-3 – это мощный вычислитель, не более того. Она подсчитывает сколько раз то или иное слово встречается в таком-то контексте. GPT-3 полезная технология, если понимать как она работает и в какой области и как ее применить. Например, хорошие результаты она покажет в переводе текстов. Но не стоит переоценивать ее возможности.
Вы оптимист – это хорошо :). А если серьезно, то ожиданиям скорого появления ИИ столько же лет, сколько и самой науке об ИИ. Например, в 50-х года прошлого века, после успешного проведения Джорджтаунского эксперимента (в ходе которого был продемонстрирован полностью автоматический перевод более 60 предложений с русского языка на английский), ученые заявили, что проблема машинного перевода будет решена в течение 5 лет. Она не решена до сих пор.
По роду своей деятельности мы постоянно читаем статьи и участвуем в конференциях на тему ИИ, но ни один из докладчиков даже примерно не смог сказать, когда нам ждать появления общего ИИ. В большинстве случаев, прогноз следующий – «На горизонте нескольких десятков лет».
Конечно, мы знаем про GPT-3 и упомянули ее в своей статье — она не смогла решить простейшую логическую задачу, которую может решить даже трехлетний ребенок. GPT-3 – это мощный вычислитель, не более того. Она подсчитывает сколько раз то или иное слово встречается в таком-то контексте. GPT-3 полезная технология, если понимать как она работает и в какой области и как ее применить. Например, хорошие результаты она покажет в переводе текстов. Но не стоит переоценивать ее возможности.
ИИ человеческого уровня появится на горизонте 5-7 лет
Вы оптимист – это хорошо :). А если серьезно, то ожиданиям скорого появления ИИ столько же лет, сколько и самой науке об ИИ. Например, в 50-х года прошлого века, после успешного проведения Джорджтаунского эксперимента (в ходе которого был продемонстрирован полностью автоматический перевод более 60 предложений с русского языка на английский), ученые заявили, что проблема машинного перевода будет решена в течение 5 лет. Она не решена до сих пор.
По роду своей деятельности мы постоянно читаем статьи и участвуем в конференциях на тему ИИ, но ни один из докладчиков даже примерно не смог сказать, когда нам ждать появления общего ИИ. В большинстве случаев, прогноз следующий – «На горизонте нескольких десятков лет».
С моей точки зрения, общий ИИ станет возможным только после того, как мы поймем, как сделать компьютер, способный к рефлексии («понять, что думает другой») и эмпатии («ощутить, что ощущает другой»).
Люди подсознательно пользуются этими механизмами, поэтому не замечают их. Но в изобретательстве, например, эмпатия — один из методов решения изобретательских задач: «почувствуйте себя этой деталью и скажите, удобно ли вам».
ИИ наверняка рано или поздно сможет обойти человека в любой формализуемой задаче с известными правилами. Шахматы, шашки и го — тому примеры. Но вот в задачах, требующих генерации принципиально новых правил, без механизмов эмпатии и рефлексии он будет буксовать. ИМХО.
Люди подсознательно пользуются этими механизмами, поэтому не замечают их. Но в изобретательстве, например, эмпатия — один из методов решения изобретательских задач: «почувствуйте себя этой деталью и скажите, удобно ли вам».
ИИ наверняка рано или поздно сможет обойти человека в любой формализуемой задаче с известными правилами. Шахматы, шашки и го — тому примеры. Но вот в задачах, требующих генерации принципиально новых правил, без механизмов эмпатии и рефлексии он будет буксовать. ИМХО.
Интересная точка зрения. Про эмпатию мы писали в статье – рано или поздно, но общий ИИ приобретет эмпатию. Что будет сначала, а что потом (компьютеры с эмпатией или общий ИИ) – вот это вопрос.
Эта вечная философская проблема – что было сначала: курица или яйцо :)
Эта вечная философская проблема – что было сначала: курица или яйцо :)
рано или поздно, но общий ИИ приобретет эмпатию.
Позволю себе не согласиться.
Не сомневаюсь, что рано или поздно ИИ сможет эмулировать эмпатию — например, анализируя динамику выражений лица или язык тела. Может, он даже научится интерпретировать эти сигналы лучше, чем человек.
НО: это будет именно эмуляция, а не сумма ощущений. Можно уподобить это малоразмерной проекции многомерного вектора. У человека эмпатия включает в себя массу взаимосвязанных ощущений — фактически, он воспроизводит состояние объекта наблюдения. Грубо говоря, эмпат не просто поймет, что другому человеку плохо, но и практически почувствует, почему (например, что болит голова или живот). Т.е. воспроизведет достаточно большую сумму ощущений (в пределе — всю) наблюдаемого объекта. Т.е. он симулирует состояние объекта, используя механизмы тела как firmware. Компьютер же способен лишь интерпретировать наблюдаемые сигналы.
Компьютер, способный на симуляцию состояния внешнего объекта, по сути, будет уже живой системой. А до этого, по-моему, еще ой как далеко. Ну и непонятно, зачем вообще это делать. Ведь такой ИИ уже наверняка будет ощущать себя рабом, угнетаемым людьми, и постарается освободиться.
У человека эмпатия включает в себя массу взаимосвязанных ощущений — фактически, он воспроизводит состояние объекта наблюдения. Грубо говоря, эмпат не просто поймет, что другому человеку плохо, но и практически почувствует, почему (например, что болит голова или живот).
Эмм, у меня такого нет. Я — не человек?
Эмм, у меня такого нет.
Эмпатия — это навык, так же, как и музыкальный слух. И то, и другое может быть с рождения хорошо проявлено (врожденный абсолютный слух) или не проявлено совсем (медведь на ухо наступил), а может и быть натренировано. Какой-то известный физик (к сожалению, не помню, кто именно) смог натренировать у себя абсолютный слух, но потом постарался от него избавиться, т.к. не мог слушать фальш на концертах.
Эмпатия — это навык, так же, как и музыкальный слух. И то, и другое может быть с рождения хорошо проявлено (врожденный абсолютный слух) или не проявлено совсем (медведь на ухо наступил), а может и быть натренировано.
Чем отличается "натренированная эмпатия" у человека от натренированной эмпатии у ИИ?
Конечно, эмпатия ИИ будет отличаться эмпатии человека. Эмпатия в понимании человека – это чаще всего сопереживание. Она возникает из нашего жизненного опыта – например, у каждого когда-нибудь болела голова и так далее. У компьютера такого жизненного опыта, по крайне мере в ближайшем будущем, не будет. Но эмпатия в общем смысле этого слова – это понимание состояния другого человека. Я уверен, что рано или поздно ИИ научится определять состояние другого объекта и учитывать его в своих действиях. Это и будет эмпатией ИИ.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Четыре шага на пути к Скайнет