Comments 19
Если машинное обучение реагирует не на знания доктора, а на знания опухоли, то «перевод на человеческий» будет несколько затруднен.
Немного напоминает детскую игру, где для выяснения правды можно задавать любые вопросы, на которые возможен бинарный ответ. В итоге, скорость выяснения сильно зависит от искусства задавать правильные вопросы в правильной последовательности.
Но лучше так, чем никак. Я вполне согласен с тем, что полный чёрный ящик — это плохо-плохо во тех областях, где нейростети используются для чего-то более важного, чем правильное угадывание котиков на фотках.
Но лучше так, чем никак. Я вполне согласен с тем, что полный чёрный ящик — это плохо-плохо во тех областях, где нейростети используются для чего-то более важного, чем правильное угадывание котиков на фотках.
Дело в том, что когда ИИ научится выдавать результат в разговорной форме, то есть сможет поддерживать диалог, отвечая на уточняющие вопросы по выданному им результату, то он сможет объяснить, как и почему он пришел к этому результату. По тем же естественным причинам, как это делают люди.
Вот пример: новейшая разработка от OpenAI Better Language Models and Their Implications обучена просто предсказывать следующее слово в предложении. Отличие этой нейросети от предыдущих в том, что это самая гигантская модель (1.5 млрд связей, сравните с предыдущей самой крутой BERT-Large c ее 340 млн, а так обычно в подобных языковых моделях используется ~100 млн параметров). И обученная на огромном корпусе 40 Gb отфильтрованного текста (например, брались страницы, у которых были звездочки на реддите, т.е. которые пользователи отметили как содержащие какую-то полезную информацию).
И удивительным образом, такая простая нейросеть смогла добиться state-of-the-art результатов сразу на нескольких задачах, вообще не дообучаясь под конкретные задачи! Просто путем правильного формулирования вопроса для нейросети.
И действительно, как получить ответ на вопрос: «Что такое Солнце?». Можно подать на вход такой нейросети начало фразы «Солнце — это...», а дальше она слово за словом допишет ответ. И аналогичном образом у такой будущей нейросети можно будет спросить «Я получила такой ответ, потому что...», и она допишет почему.
Вот пример: новейшая разработка от OpenAI Better Language Models and Their Implications обучена просто предсказывать следующее слово в предложении. Отличие этой нейросети от предыдущих в том, что это самая гигантская модель (1.5 млрд связей, сравните с предыдущей самой крутой BERT-Large c ее 340 млн, а так обычно в подобных языковых моделях используется ~100 млн параметров). И обученная на огромном корпусе 40 Gb отфильтрованного текста (например, брались страницы, у которых были звездочки на реддите, т.е. которые пользователи отметили как содержащие какую-то полезную информацию).
И удивительным образом, такая простая нейросеть смогла добиться state-of-the-art результатов сразу на нескольких задачах, вообще не дообучаясь под конкретные задачи! Просто путем правильного формулирования вопроса для нейросети.
И действительно, как получить ответ на вопрос: «Что такое Солнце?». Можно подать на вход такой нейросети начало фразы «Солнце — это...», а дальше она слово за словом допишет ответ. И аналогичном образом у такой будущей нейросети можно будет спросить «Я получила такой ответ, потому что...», и она допишет почему.
Хотелось бы увидеть статья на хабре на эту тему. Нет желание написать?
Про OpenAI GPT-2? Уверен, что статья на хабре о ней появится в ближайшее время, если еще не появилась. Эта сетка сейчас на всех зарубежных новостных сайтах, а значит и перевод скоро будет. OpenAI подкинули хайпа, впервые отказавшись выкладывать в общий доступ предобученную полную модель (ту, что способна генерировать целые страницы связного текста с сохранением контекста, см. сайт OpenAI). Якобы, с ней будет слишком большой соблазн генерировать фейковые новости и отзывы в магазинах, неотличимые от настоящих.
А технически это обычный чуть тюнинговый Transformer, только имеющий в 10 раз больше параметров, чем предыдущие. И еще они выяснили, что тексты с той же Wikipedia или литературных книг оказываются стилистически предвзятыми, что ухудшает итоговую генерацию текста. Обычные интернет-страницы оказались лучше по разнообразию стилей. При условии что удастся отсеять всякий шлак вроде рекламных сайтов (они это сделали, собирая страницы по ссылкам с хорошим рейтингом на реддите).
С точки зрения ИИ, самое интересное в этой работе то, что простое предсказание следующего слова в предложении способно давать сложные ответы, если правильно сформировать вопрос — т.е. начало фразы. Которую нейросеть продолжает, потому что это наиболее естественно для такого начала фразы.
Это, теоретически, может решить проблему интерпретируемости. Причем под каждую конкретную целевую аудиторию. Представьте, как нейросеть могла бы продолжать фразы, начинающиеся с: «Я, как ученый, могу объяснить что Земля это...» или «Я, как сторонник плоской земли, утверждаю что Земля это...». Или: «Я, как воспитатель в детском саду, сейчас расскажу вам, детишки, что Земля это...».
Это может быть очень интересная профессия в будущем — получать ответы у ИИ, правильно формулируя вопросы для него. Супер-google, так сказать ).
А технически это обычный чуть тюнинговый Transformer, только имеющий в 10 раз больше параметров, чем предыдущие. И еще они выяснили, что тексты с той же Wikipedia или литературных книг оказываются стилистически предвзятыми, что ухудшает итоговую генерацию текста. Обычные интернет-страницы оказались лучше по разнообразию стилей. При условии что удастся отсеять всякий шлак вроде рекламных сайтов (они это сделали, собирая страницы по ссылкам с хорошим рейтингом на реддите).
С точки зрения ИИ, самое интересное в этой работе то, что простое предсказание следующего слова в предложении способно давать сложные ответы, если правильно сформировать вопрос — т.е. начало фразы. Которую нейросеть продолжает, потому что это наиболее естественно для такого начала фразы.
Это, теоретически, может решить проблему интерпретируемости. Причем под каждую конкретную целевую аудиторию. Представьте, как нейросеть могла бы продолжать фразы, начинающиеся с: «Я, как ученый, могу объяснить что Земля это...» или «Я, как сторонник плоской земли, утверждаю что Земля это...». Или: «Я, как воспитатель в детском саду, сейчас расскажу вам, детишки, что Земля это...».
Это может быть очень интересная профессия в будущем — получать ответы у ИИ, правильно формулируя вопросы для него. Супер-google, так сказать ).
Добавлено: написал все таки отдельный пост по GPT-2 от OpenAI. Там же туториал как запустить ее в браузере через Google Colab: habr.com/ru/post/440564
Ну как это нейросеть не знает, почему она выдала результат.
Проблема в том, что факторов слишком много, чтобы один человек мог охватить все факторы.
Когда нейросеть для выдачи результата вычисляет не 1-2 важных фактора и 10 минорных, а пару тысяч примерно равноправных факторов — для человеческого мозга это уже почти белый шум.
То есть разрабатывают некий «визуализатор логов» для нейросетей, а озвучивают «новый подход к пониманию.»
Проблема в том, что факторов слишком много, чтобы один человек мог охватить все факторы.
Когда нейросеть для выдачи результата вычисляет не 1-2 важных фактора и 10 минорных, а пару тысяч примерно равноправных факторов — для человеческого мозга это уже почти белый шум.
То есть разрабатывают некий «визуализатор логов» для нейросетей, а озвучивают «новый подход к пониманию.»
Если доктор скажет вам, что вам нужна операция, вы захотите узнать, почему – и вы будете ожидать, что его объяснение покажется вам осмысленным, даже если вы не обучались на врача.В результате врач врёт, излагая пациенту «нечто на доступном уровне». Осталось подождать, когда аналогично врать научится ИИ, делов-то!
Но в долгосрочной перспективе думаю, что человечество может решить – возможно, из страха, возможно, из-за недостатка свидетельств – что эта технология нам не подходит. Это возможно.Если ИИ на это согласится :-D
В целом, безусловно, люди занимаются чем-то очень важным. Но изложено это на таком уровне — что только на таком уровне и можно реагировать.
В результате врач врёт, излагая пациенту «нечто на доступном уровне».
Не обязательно. Предположим, врач говорит «Если не провести операцию сейчас, то с вероятностью 95% через два-три года вы полностью потеряете способность ходить». При этом врач умолчал огромное количество подробностей, которые для человека без медицинского образования звучат как тарабарщина.
Будет ли такое умолчание искажением истины?
Вы не обратили внимания? Я не собирался делать анализ в таком стиле, а только отметил, что пост написан настолько поверхностно, что и реагировать на него можно только примерно так.
И да, врач при этом скрывает великое множество подробностей, которые могут сильно приблизить или отдалить указанный эффект. Просто потому, что «пациент не поймёт». Так что — искажает истину, и сильно.
И да, врач при этом скрывает великое множество подробностей, которые могут сильно приблизить или отдалить указанный эффект. Просто потому, что «пациент не поймёт». Так что — искажает истину, и сильно.
Машины пока не умеют мыслить, нечего там понимать.
Вопрос самоинтерпретации волнует и психологов, в современности считается, что человек очень часто не способен осознано интерпретировать свои мотивации. То есть отвечая на вопрос почему было сделано то или иное действие, человек будет искать в голове наиболее вероятные мотивы, согласующиеся с собственными убеждениями, и на которые, к тому же, будет наложен культурный опыт общества. Хотя зачастую бывает, что человек производит некоторые действия механическим образом.
Свидетельство тому можно найти в экспериментальных работах по социальной психологии. Хорошо известно, что люди иногда думают, что у них есть убеждения, которых у них на самом деле нет. Например, если предлагается выбор между несколькими одинаковыми элементами, люди, как правило, выбирают тот, что справа. Но когда человека спрашивают, почему он выбрал это, он начинает выдумывать причины, утверждая, что, как ему показалось, у этого предмета был приятнее цвет или он был лучшего качества.
Да, давайте все перестанем использовать нейросети, ведь мы так и не поняли сути их работы, мало ли что может случиться. С завтрашнего дня перестаём ими пользоваться.
Как-то так это будет, да?
И про экспертные системы пример какой-то за уши притянутый, если они оказались способны решать какие-то задачи на уровне человека, при этом дешевле человека, то… м? Такое чувство, что о чем-то недоговаривают.
Как-то так это будет, да?
И про экспертные системы пример какой-то за уши притянутый, если они оказались способны решать какие-то задачи на уровне человека, при этом дешевле человека, то… м? Такое чувство, что о чем-то недоговаривают.
В этом гипер-конкурентном мире никто не откажется от чего-то, что потенциально опасно и сложно объяснить (даже если это действительно так), если это что-то дает достаточно серьезное конкурентное преимущество.
Впрочем, это не умаляет заслуг представленного исследования.
Впрочем, это не умаляет заслуг представленного исследования.
Можно подумать, люди что-то другое понимают… ))
Ну наконец-то.
Уже сколько лет люди создают разные вещи, слабо понимая как же они работают на самом деле, и вот теперь для этого будет ИИ, который откроет истину.
П.С. 42?
Уже сколько лет люди создают разные вещи, слабо понимая как же они работают на самом деле, и вот теперь для этого будет ИИ, который откроет истину.
П.С. 42?
Давайте вернёмся к примеру доктора, использующего МО-модель, которую уже натренировали на классификацию изображений образцов клеток по принадлежности к раковым. Вам, как доктору, нужно узнать, какое значение имела концепция «слившихся желез» для совершения моделью положительных предсказаний наличия рака. Сначала вы собираете, допустим, 20 изображений, на которых представлены примеры слившихся желез. Потом вы подключаете эти размеченные примеры к модели.
Затем, TCAV внутри себя проводит т.н. «проверку чувствительности». Когда мы добавляем эти размеченные изображения слившихся желез, насколько увеличивается вероятность положительного предсказания рака? Ответ можно оценить числом от 0 до 1. И это и будут ваши очки в TCAV. Если вероятность увеличилась, эта концепция была важной для модели. Если нет, эта концепция не важна.
и
TCAV можно использовать, чтобы задать модели вопрос о концепциях, не связанных с областью исследований. Возвращаясь к примеру с докторами, использующими ИИ для предсказания вероятности рака. Доктора могут внезапно подумать: «Судя по всему, машина выдаёт положительные прогнозы на наличие рака для многих изображений, у которых цвет немного смещён в голубизну. Мы считаем, что этот фактор не нужно принимать к рассмотрению». И если они получат высокую оценку TCAV для «голубого», это значит, что они обнаружили проблему в их МО-модели.
В первом они говорят про проверку чувствительности к параметрам. Но как же тогда выбрать эти параметры, если во втором они говорят что «Доктора могут внезапно подумать», а что если они внезапно про это не подумают, а также про сотни других параметров изображений которые к раку вообще не имеют отношения, а только к аппаратуре которой их делали? Суть в том чтобы сначала найти эти параметры которые сформировались в нейросети и перевести их в понятные человеку термины, а потом уже оценивать их вклад в постановку диагноза.
Sign up to leave a comment.
Новый подход к пониманию мышления машин