То, что ChatGPT может автоматически генерировать что-то, что хотя бы на первый взгляд похоже на написанный человеком текст, удивительно и неожиданно. Но как он это делает? И почему это работает? Цель этой статьи - дать приблизительное описание того, что происходит внутри ChatGPT, а затем исследовать, почему он может так хорошо справляться с созданием более-менее осмысленного текста. С самого начала я должен сказать, что собираюсь сосредоточиться на общей картине происходящего, и хотя я упомяну некоторые инженерные детали, но не буду глубоко в них вникать. (Примеры в статье применимы как к другим современным "большим языковым моделям" (LLM), так и к ChatGPT).

В последнее время нам почти каждый день рассказывают в новостях, какие очередные вершины покорили языковые нейросетки, и почему они уже через месяц совершенно точно оставят лично вас без работы. При этом мало кто понимает — а как вообще нейросети вроде ChatGPT работают внутри? Так вот, устраивайтесь поудобнее: в этой статье мы наконец объясним всё так, чтобы понял даже шестилетний гуманитарий!

Под катом я расскажу о своем опыте поиска работы в Германии после начала войны военной операции, а также о переезде после объявления частичной мобилизации.

Разрушим стереотипы по поводу немецкой бюрократии и педантичности.

Ну и конечно посчитаем сколько денег, времени и седых волос на это ушло.

Параллакс

Последнее время, и, есть такое подозрение, что не последнее, а это перманентное состояние Хабра, много всяких публикаций на тему "Как я (мой друг\Лена\педиатр-офтальмолог\кошка моей жены) вошли в IT в 45 лет".

И неоднократно замечалось. что такие публикации есть типичная "ошибка выжившего" - потому что те, у кого ни хрена не получилось, ничего подобного не пишут.

Потому я попробую эту тему немножечко копнуть на своем примере и таки написать, почему Я НЕ ВОШЕЛ В IT. Хотя мысли посещают постоянно, регулярно, и все вокруг меня прямо в спину пихают. "Иди в IT", - говорят они. - "Там хорошо получают", - говорят они.

Но я, если честно, совсем не в восторге от этих перспектив. Впрочем, начнем с начала.

Сегодня пост об уже не очень новом, но резонансном направлении в когнитивных науках – предиктивной обработке, также известной как предиктивное, предсказательное или прогнозное кодирование (Predictive Processing/Coding, далее PP). Свои истоки PP берет из (зрительного) восприятия, но с каждым годом основные принципы PP находят применение в новых областях, например восприятии языка, психиатрии и даже высшей когнитивной деятельности. Публикаций по PP в последние годы несметное количество, и все чаще можно встретить заявление, что PP — это первая глобальная современная парадигма об архитектуре человеческого разума. Тем не менее, суждения насчет подхода разнятся. Кто-то считает, что PP – революция в области, кто-то, что PP практически ничего не объясняет, а только создает иллюзию радикальной новизны и отвлекает людей от настоящей революционной борьбы продуктивной научной работы. На мой взгляд, PP подход нащупал что-то очень верное о работе мозга, хотя конечная история окажется намного сложнее и пестрее.

Под катом ознакомительный пост о PP, описывающий базовые принципы, предиктивное восприятие и действие, попытки применить эту парадигму к разным когнитивным процессам + немного критики.

Цель этой статьи показать и объяснить многообразие дистрибутивов Линукс. Показать основные сходства (они же все почему то называются "Линуксы" или даже правильнее "GNU/Linux") и основные различия (если бы не было различий их бы столько не существовало).

Плюс рассмотрим несколько наиболее задаваемых новичками вопросов:
- Сколько их (Linux-дистрибутивов)? Зачем так много?
- Основанный на другом дистрибутиве" - не пиратство ли это?
- Платный Linux - Как можно продавать то, что по определению распространяется бесплатно?
- Что такое "отечественный Linux"?

Итак, у вас на руках «полыхающий» проект — сроки задержаны настолько, что заказчик всерьез задумывается о закрытии проекта. Или регулярно взрывающийся production не дает сфокусироваться на новых задачах а то и спать по ночам. Или вы впервые видите этот проект, но вообще-то ему уже пара лет, просто изначальная команда куда-то пропала. Или все это произошло разом, а вы здесь чтобы с завтрашнего дня взять ситуацию в свои руки и за пару месяцев показать существенный сдвиг.

На прошедшей в апреле конференции TeamLead Conf 2021 я поделился своим опытом, как вытащить проект из пожара и обойтись без человеческих жертв. Под катом моя история, а если предпочитаете смотреть — вот запись выступления.

За последние 4 года мы семьей (я, жена, дочь 6 месяцев на момент первого переезда, собака и в процессе еще + кошка) переезжали из одной страны в другую 3 раза. Последний переезд был в августе 2020 года. Давно уже хотел написать статью про впечатления о странах, где довелось пожить.

Более двух десятков лет назад мы разрабатывали устройство, передающее и принимающее данные, используя телевизионный сигнал. Это сейчас все избалованы гигагерцами и гигабайтами, а тогда, имея компьютер типа IBM/PC-AT, на таких скоростях можно было работать только с помощью встроенного контроллера прямого доступа к памяти (ПДП), реализованного в виде микросхем 8237А-5. Это устройство позволяло писать или читать данные, не привлекая центральный процессор.

Отработка ПО заняла несколько недель, и когда все, наконец, заработало, я решил привести исходные тексты на ассемблере в окончательный и красивый вид. С одной стороны, в этот момент, поскольку все уже работает, существенных исправлений в тексте не предвидится, с другой стороны – в памяти еще удерживается множество деталей, которые лучше увековечить понятными комментариями, так как очень скоро все эти детали забудутся. Заодно, можно глобально заменить все неудачные названия переменных на более внятные, исправить орфографические ошибки, красиво подвинуть строки и т.п.

И вот, при заключительном просмотре текста, я вдруг увидел глупую описку в программировании ПДП. Адрес в 16-разрядной 8237А-5 приходилось задавать по частям и при задании номера «станицы» (т.е. номера куска памяти в 128 Кбайт) вместо команды

Возможно, вы слышали присказку: «Господи, отбери всё, только не лишай разума». Но, к сожалению, старость у всех разная, и зачастую, чтобы потом не страдать раскаянием, выбирать её надо чуть ли не с детства. И что самое печальное, наше общество так или иначе привыкло к стереотипу «тупеющих стариков». Мало кто знает, что под старческой деменцией, или, проще говоря, маразмом, или возрастным слабоумием, скрываются вполне реальные заболевания. Зачастую тот, кого мы называем сумасшедшим стариком - просто больной человек, которого общество бросило ещё тогда, когда его можно было спасти. Как не превратиться в монстра и не сойти с ума на пенсии?

Альцгеймер, Паркинсон и болезнь Пика. Добро пожаловать в один из постов серии «Всадники маразма» на ScientaeVulgaris.

Stenotype

1. Sentiment Analysis (Анализ настроений через текст)

Часть 5. В масштабе Вселенной

Всем привет!

Кратко о себе. По образованию я математик, а вот по профессии — программист. В сфере разработки с 2006 года. Хотя, поскольку программирование начали изучать ещё в школе, свои первые программки и игры я начал писать ещё в школе (примерно, с 2003). Так сложилось, что пришлось выучить и поработать на нескольких языках. Если не брать во внимание ВУЗ-овские лекции по С, С++, Бэйсику, Паскалю и Фортрану, то реально я работал с Delphi (более 6 лет), PHP (более 5 лет), Embedded (Atmel + PIC около 2.5 лет) и последним временем Python + чуть-чуть Scala. Конечно же без баз данных тоже никак не обойтись.

Для кого эта статья? Для всех, кто, как и я, хотел (или хочет) найти для себя достойную хорошо оплачиваемую работу с интересным проектом, классным коллективом и всякими плюшками. А также для тех, кто желает поднять свой уровень знаний и мастерства.