Comments
Краткое содержание статьи:
«Пишите статьи с воспроизводимыми результатами, а с невоспроиводимыми — не пишите».
— — —
Увы, что надо было делать обычно выясняется постфактум. Ниже комментарии к каждому пункту.
1. "… число пациентов там различается, метки меняются местами или выборки представлены несколько раз с противоречивыми аннотациями в одном и том же наборе данных. Почему никто не заметил эти проблемы, пока не стало слишком поздно? "
Потому, что исследователи халатно подошли к обработке исходных данных, а рецензенты халатно подошли к рецензированию.
2. «мы ожидали увидеть номера стадий от 1 до 4, а увидели что-то вроде «XXX», «Fred» и «999».» — сюда же.
3. «Рецензенты даже не читали статью и понятия не имеют, что мы на самом деле исследовали», значит либо статья написана непонятно, либо уровень рецензента недостаточен (по данному вопросу), либо рецензент ленив. Это системные вещи которые не имеют отношение к воспроизводимости, а что бывает по другому и хорошо — автор написал.
4. «воспроизводимость обеспечивает непрерывность вашей работы». Здесь соглашусь, на днях сам не смог воспроизвести некий математический вывод пятилетней давности, и на это сейчас тратится время. Но тогда — мне показалось, что ЭТО ОЧЕНЬ ПРОСТО, и я просто не могу забыть то, с чем возился несколько недель. Т.е. субъективный критерий присутствует. Соответственно вопрос насколько подробным должно быть документирование? Какие метрики у этого понятия — подробность документирования?
5. По сути — сохраняйте исходные данные. А в чем они уж будут — дело десятое.
Соответственно нужна культура сохранения исходных данных. С внезапными ночными проверками, тестированием сейфов с данными на взлом, а самих научных сотрудников — на моральную устойчивость. Я специально утрирую — как правило для научных сотрудников проект заканчивается написанием статей, и возвращаться назад особого смысла нет, т.е. нет настоятельной необходимости следовать заповедям это статьи. Это кстати некая концептуальная проблема.
Всем воспроизводимости!
Если исследования носят коммерческий интерес, но в тоже время необходимо застолбить приоритет, то умолчать шаг, ингредиент, дополнительную процедуру или точное значение критического параметра вполне распространенная практика.
Открытый доступ к данным исследований, уменьшил бы их дублирование, и позволял проводить проверку используемых методов в новых исследованиях.
Да. Лично присутствовал на собрании, где руководитель научный группы сказал, что публиковать результаты конечно надо — публикации-то нужны (имелись ввиду конкретные результаты измерений), но как-то так, чтобы нельзя было пересчитать на реальные установки. Иначе смысл заказчикам платить за исследования, если всё будет открыто.
Прозрачность должна быть на всех этапах работы. Можно разделить на два основных. Первый, собственно эксперименты, сбор данных, и второй, обработка и представление результатов. В статье упор делается на втором — стат. обработке и представлении результатов. Важно не напортачить на этом этапе, общеизвестный пример в статье приведен, но в действительности, куда важнее не напортачить в первом, то есть обеспечить воспроизводимость результатов самих экспериментов. Ошибки второго этапа можно самим увидеть и исправить, или рецензенты обнаружат, в конце-концов, внимательные читатели статьи увидят. Не воспроизводимость результатов самого исследования куда фатальнее. И фигура умолчания, в этом случае, это меньшее, что может быть. В области медицинских исследований это случается часто из-за наличия неконтролируемых условий при проведении экспериментов.
Отчасти это относится к работе дизайнера. Когда выработал систему структурирования проекта то открыть исходники проекта двухгодичной давности и быстро найти\поправить нужное не будет проблемой.
Only those users with full accounts are able to leave comments. Log in, please.