Comments 190
Кроме этих фейков можно как то практически применять?
Не могли бы поподробнее рассказать как формируются данные?
Сеть на что должна быть обучена? И каким образом?
Часто вижу эту фразу «попробуй прогнать через нейросеть». Каждый раз ощущение, что написавшией её сичтает нейросеть некой крутой универсальной штукой, которая автоматически выдаст интересный результат на любых исходных данных.
Это не так. Сеть должна быть обучена. И только тогда она может что-то анализировать.
Это не так. Сеть должна быть обучена. И только тогда она может что-то анализировать.
Не совсем так, можно просто скормить сети данные и она построит какие-то группы (задача кластеризации). Например, разделит долгожителей и остальных или тех у кого талант к музыки и у кого нет. Анализируя полученные группы в теории можно тоже получить интересные результаты.
Можно например скармливать сети как геном, так болезни, увлечения, профессии и таланты, в теории она может сама найти интересные связи, даже если ее ничему реально не учить, просто отдавать сырые данные (любые вплоть до любви к огурцам).
Кстати, удивительно что никто не пытается сети скарвливать все данные о челевеке и геном, чтобы посмотреть результат.
Честно говоря первый раз слышу, что случайные коэфициенты могут делать какую-то полезную работу.
Звучит как бред… Впрочем, не возьмусь утверждать. Пойду курить актуальные материалы.
Спасибо за правку.
случайные коэфициенты могут делать какую-то полезную работу.
Они настраиваются, через определенное время они уже не случайны
Ну так это просто один из способов обучения
В данном случае есть просто получает некий набор сырых данных, и должна найти какие-то связи, при этом ей не говорят что она должна искать и не показывают примеры. В данном случае это именно «прогнать через сеть данные». Она, конечно, должна обучиться (то есть иметь какой-то достаточно большой набор данных), но это просто вопрос статистики, так как машинное обучение иметь смысл при достаточной выборке.
К тому же, конечно ставить глобальные цели вроде расшифровки всего генома при такой выборки бессмысленно, а вот если делать много анализов генома у сотен больных с определенной генетической болезнью (например, если это требуется по работе) и у сотен здоровых людей, то всего лишь загнав данные в систему машинного обучения — есть шанс найти корреляции генов и данной болезни, что может быть полезным (даже при том что корреляция еще не означает следствия). То есть глобальные цели — так не достичь, а локальные на медицинскую статью — вполне можно.
Нейросеть можно было бы обучить анализировать сигнал этой матрицы и собирать из них эти «риды», но для этого нужно точно знать, какой кусок ДНК там секвенируется априори для «обучения с учителем». И сделать скажем 10000 таких опытов с разными «точно известными» ридами, набрать базу обучения и тогда можно попробовать дать это нейросети.
Судя по описанию, что чтобы прочитать один (один!) нуклеотид одного рида нужно капать на матрицу реагент нужного типа, а потом его смывать (судя по описанной технологии PGM), потом капать другой… то в домашних условиях получить такую выборку не видится возможным.
Для того чтобы развить свою мысль и попросил уточнить в каком виде приходят данные.
Что значит «прогнать через нейросеть»?
Пффф! Очень просто!
«Посмотреть в компьютере» же надо!
Автор молодец, всё это способствует прокачиванию понимания многих вещей и вообще — когда узнаёшь что-то новое и делаешь сам — это чертовски интересно! Я понимаю — сам немножко такой)
Куча вопросов родилась. Сколько времени ушло на реверс-инжиниринг чипа по фото? Делали это вручную, или есть какие то программы облегчающие построение схемы? И сколько элементов примерно в микросхеме? Насколько точным будет секвенирование ДНК в б.у. чипе? Спасибо большое!
Как принтер, в котором картридж стоит относительно дорого.
Собственно и промывка чипов похожа на перезаправку картриджей — для частных лиц и отдельных способов применения промывка подойдет, но ни одна лицензированная лаборатория не будет использовать отмытые чипы в своей деятельности.
Все же это гораздо более узкий рынок, чем принтеры.
Опять же вопрос в том, что для данного вида чипов автор подобрал промывку, а как промывать чипы со специфическими антителами, и не будет ли это дороже, чем покупать новые?.. Это тоже ставит вопросы о том, насколько этот рынок мытых чипов широк.
Недорогие наборы для промывки подойдут для энтузиастов, для "домашнего" применения, для некоторых видов исследований. Это относительно маленький рынок дня технологии, ну просто потому, что энтузиастов разного рода мало, для "домашнего" применения надо придумать прикладные задачи (это крайне сложно для такой узкоспециализированной системы), а исследователи обычно могут позволить себе покупать оригинальные расходники.
Повторюсь, что в медицинское применение "отмытых" чипов я не верю, так как это крайне зарегулированная сфера.
А сам пост автора меня наводит на мысли о жутком разрыве между возможностями современных технологий, их доступности и сложностью их осознания и понимания их возможностей. Одни люди разбираются в домашних условиях с, буквально, нуклеотидами, а другие боятся ГМО и верят в заговор учёных...
Ну или другие исследования, прорабатываем теорию на дешевых расходниках, а подтверждаем на оригинальных. Тоже ведь неплохая экономия.
Впрочем я и 1000 готов заплатить за это. А если будет 100$ — рынок значительно вырастет. ИМХО
Я к сожалению не знаком с применением секвенирования для прямого определения генетических заболеваний.
Насколько я знаю, сейчас используются маркерные методы, а расшифровка днк даёт только некоторую вероятность и/или склонность к заболеваниям, что, согласитесь, от диагностических методов далеко.
А рынок любопытствующих, которые готовы заплатить за свой профиль и знать свои особенности, включая склонность к патологиям, по моему мнению сейчас достаточно покрыт существующими компаниями, вроде того же Атласа.
максимальная скорость передачи – 115200 бод
921600 уже давно широко применяетсяя
Александр, Вы с этой идеей в компанию Синтол не обращались? Российский секвенатор по Сэнгеру они уже сделали совместно с Институтом аналитического приборостроения РАН — может и на полногеномный замахнутся.
Удачи вам Александр!
И, да, Александр, это неимоверно круто. Удачи вам, и хватит изобретать велосипеды!
Всё же правы биологи — мы живём в самой лавине третьей — геномной — революции. Осталось научиться интерпретировать все данные (или хотя бы бОльшую часть). Поскольку знаем мы сегодня крайне мало о регуляторных последовательностях и о межгенном взаимодействии.
А вот видео, где Фёдор Кондрашов про эту технологию рассказывает, кому интересно (с меткой времени):
Восхищаюсь проделанной вами работой и огромное спасибо за статью!
Нечто подобное делали когда-то давно, когда техника была простая. Сами собирали компьютеры из рассыпухи, писали любительские ОС,… Теперь кажется что подобное уже невозможно, что сложность технологий давно превзошла тот порог, когда еще был возможен индивидуальный хакинг, кажется что сейчас для чего-то серьезного нужны огромные человеческие ресурсы и куча денег…
А вы доказываете что это не так. Невероятно…
А что вы планируете с этим делать дальше? Какие пути развития проделанной работы видите?
Да мне тоже интересно узнать как разделять ДНК на РИДы, копировать их и прикреплять к сферам
и где брать сферы.
А так после почти запущенного в гараже электронно микроскопа, уже перестаешь таким вещам как ревер инженеринг ИС удивляться.
Возможностей все больше и лабораторные методы становятся доступными.
Вот таким людям как автор надо доступ напрямую ко всему такому "богатству". И возможно не сбежит за границу и чегонибудь тут изоьбретет.
Для меня это была, пожалуй, лучшая статья на гиктаймсе за последнее время, читал, как приключенческий детектив. Даже страшно подумать, что Вы там показывали Путину, если у Вас такое хобби. С разводом тоже понятно: редкая женщина оценит такое хобби мужа. Мне только непонятно, почему Ваш прибор стоит 10 миллионов. И да, этот прибор тоже стоит показать Путину. Государство просто обязано этим заняться...
Государство просто обязано этим заняться...
Запретить исследования в области генной инженерии без кучи разрешений и допусков?
Простите вырвалось:(
Хотя доля правды есть — современные девушки, по крайней мере те, с котороыми я знакомился, абсолютно не впечатляются и по достоинству не оценивают серьёзные хобби мужчин. Может оно им кажется как игра в кубики (возится там со своими мЫкросхемами как дитё — нет чтобы деньги зарабатывать и BMW купить) и следует вывод о «недоросшем» мужчине — фиг его знает)
10 миллионов стоит не прибор автора, а оригинал, который он отреверсил.
Заодно и чип секвенировали.
А почему осциллограф отображает картинку вместо волны, в каком он режиме?
И вот такие публикации очевидно приближают момент когда производители оборудования согласятся встраивать систему очистки в своё оборудование, радикально снизив тем самым стоимость секвенирования.
Одноразовые шприцы они тоже, теоретически, многоразовые. Дело не всегда в жадности производителя, но и в риске получения неправильного результата. Чем меньше манипуляций возложено на пользователя, тем он ниже.
А так, в молекулярной биологии раньше у нас и носики для дозаторов мыли. Застал ещё такие времена, может и сейчас где моют.
А большая ли она, а достаточная-ли, и будет ли промытый чип менее достоверным это ещё и не факт.
радикально снизив тем самым стоимость секвенирования.
Я бы сказал — прикрыв лазейку с повторным использованием чипов. Но тогда, я бы на их месте поменял все проданные аппараты на новые. И прекратил выпуск расходников к старым.
… и насколько качественная нужна отмывка, может быть по аналогии с видео сенсорами, калибровка решает!
… а если отмывку интегрировать в процесс считывания, загрязнения\дефекты будут лишь замедлять процесс но не влиять на достоверность результата ИМХО
И для сколько-нибудь качественного сканирования потребуется секвентировать пару раз и запустить это дело на паре разных бу чипах. Тогда можно будет говорить о достоверности результата? Поддержать проект готов только финансово, будучи клиентом, когда будете готовы к приёму заказов пишите. Сколько это, кстати, примерно будет стоить?
Ибо чем длиннее цепи, тем больше вероятность того, что из них сложится что-то путное, и я так понимаю что если амплификация используется в оригинальном девайсе, то вопрос объективной необходимости именно новых чипов не праздный…
Грубо говоря, если у нас есть куча копий текста, разорванных по нескольким строкам, мы можем сложить целую книгу опираясь на взаимно пересекающиеся фрагменты, но если книга разорвана на отдельные слова, мы не соберём её никогда.
Я здесь про микроскоп не писал уже месяца два (уезжал по работе) но вот эта статья сильно мотивирует писать продолжение.
Третье. Софт для обработки информации с чипа. С ПО пока есть вопросы, поэтому приглашаю к сотрудничеству программистов.
Так и вижу blockchain нейросетей построенный на qubit вычислителях. Всегда готов, где записываться?
Не верю.К. С. Станиславский
По моему разумению статья fake, вброс. Ни одного комментария автора. Литературно красиво, убедительно. Сомневаюсь, что описаное было исполнено.
sokolov.expert
Желаю вам продолжать с той же увлеченностью. Результаты поражают.
Оставлю здесь ссылку для читателей на страницу ещё одного увлеченного инженера: https://simplifier.neocities.org/
Увлекательное чтение. Он в гараже работает над самодельными вакуумными диодами, триодами, создаёт солнечные батареи и т.д. Все только по делу, кратко, со схемами, графиками.
Но во-первых, не очень понятно где здесь собственно «домашние условия» и «на коленке». Из текста можно понять, что для работы использовалась аппаратура ценой не один миллион.
Во-вторых, все написанное имеет смысл, если по соседству случайно оказалась днк-лаборатория, которая ежедневно выбрасывает старые чипы :) Вероятность можно прикинуть самостоятельно.
В-третьих, между строк прочиталось что проект таки позиционируется как коммерческий, хотя тут может и ошибаюсь.
Лабораторий таких, по крайней мере в Москве, довольно много.
Несколько вопросов:
— Где планируете брать расходники (неспецифические и праймеры)?
— Как планируете накапливать ДНК (есть ли у вас амплификатор)?
— Есть ли механизм подачи/отмывки реагентов на чип?
— Какую длину рида планируете достичь?
— Какую скорость чтения планируете достичь?
Да не забросают меня помидорами, но этот метод секвенирования тупиковый в плане гаражного самодельства — самого секвенатора недостаточно, и если амплификатор сейчас уже не редкость, праймеры в любом случае придется покупать у производителя. Да и ряд принципиальных ограничений (длина рида, скорость) — не выглядят внушающими оптимизма.
Строго говоря, отмывка чипа может быть и не идеальной, достаточно программно метить грязные лунки как «битые пиксели», это снизит эффективность конечно, но пусть даже вдвое по сравнению с новым — для ваших целей это непринципиально.
Как по мне, для частных лиц оптимальный вариант на сегодня — miniION от Oxford Nanopore. Стартовый набор тысячу USD, там прибор и два картриджа, один тестовый и один рабочий, при заказе картриджей оптом цена падает до 500 за шт. Длина рида — десятки тысяч нуклеотидов, не нужно никаких специфичных реагентов, подключил к ноуту и секвенируй, сколько памяти хватит. Плюс комьюнити. https://nanoporetech.com/products/minion
С нанопорами, да было бы интересней, они вроде то-же не вечные и это возможно то-же как-то лечится…
Смысл такого секвенирования просто автор немного не раскрыл, необходим значительный объем пробоподготовки. Т.е. грубо: берем образец (кровь) — лизируем (разрушаем) клетки — отмываем ДНК — рубим ДНК на куски — добавляем праймеры (затравочные фрагменты, в данном случае они закреплены на микросферах) — проводим ПЦР в амплификаторе — получаем библиотеку ДНК — вносим ее на чип — запускаем реакцию (последовательное добавление чистых нуклеотидов и их смывание) — накапливаем данные, обрабатываем их.
Т.е. на секвенатор в данном случае подается ДНК уже предварительно порубленная на кусочки до 300 нуклеотидов длиной примерно, и в каждой лунке идет анализ своего фрагмента. Чем больше лунок — тем производительнее система. Так что «грязные» лунки просто ухудшают мощность чипа.
Есть-ли возможность того, что «ОК у нас есть в ячейке некоторое дерьмо, мы примем его за 0 и продолжим» по аналогии с видео сенсорами?
Несколько вопросов:
— Где планируете брать расходники (неспецифические и праймеры)?
— Как планируете накапливать ДНК (есть ли у вас амплификатор)?
— Есть ли механизм подачи/отмывки реагентов на чип?
— Какую длину рида планируете достичь?
— Какую скорость чтения планируете достичь?
1) По началу использовать родные. Праймеры не проблема синтезировать, последовательности известны.
2) Есть самодельный амплификатор.
3) Система подачи реагентов разрабатывается
4,5) Все как у родного прибора.
Праймеры не проблема синтезировать
А разве в вашем случае один из праймеров не должен быть на сфере закреплен, если я правильно понимаю?
Хотя после «Самодельный амплификатор» я вас верю :).
Ничего непонятно, что за чип? В смысле: какой сенсор? Какая основа анализа/структура? Складывается такая каша мола, что вы выбрали какой-то сумасшедший, длинный и сложный путь.
А данные в комп надо было передавать через FT245, там легко 8-10МБ/сек передача на слабом железе, а так и больше...
Импортозамещение!
Если серьёзно, то научиться повторять удачные вещи — это уже неплохо. Но проблема российского биотеха, не в секвенаторах, а в банальных расходниках: пробирки, наконечники к пипеткам, перчатки. Научиться бы делать такие вещи хорошо. Но это скучно — вот сделать секвенатор — это да!
Продолжая аналогию с СССР: делать космические корабли, когда нет производства холодильников.
Импортозамещение в основном проваливается потому что РФ, увы, не СССР и не Китай.
Кстати, а что изображено на осциллографе? Как такая картинка получилась, или это уже какая-то математика с пары щупов?
Поздравляю с новым микроскопом!
У нас-то старенький)
Круто.
Насчёт обработки данных, если задача хорошо распараллеливается, надо бы глянуть в сторону OpenCL на GPU. Производительность можеть быть на порядок (или более) чем на хорошем CPU. Ещё можно наращивать мощность подключая множество карт.
Софт для обработки информации с чипа. С ПО пока есть вопросы, поэтому приглашаю к сотрудничеству программистов
С этим могу помочь, пишите на почту, проект интересный :-)
Ну если два раза заказать жесткий диск с геномом, то данные будут совпадать до бита?
А вообще, здорово!
Не проще ли строго в научных целях взять ПО из имеющегося сервера, там ведь Torrent Suite Software v5.х.х на Ubuntu 10.4.
Появление S5 и S5 XL больше похоже на маркетинг, 4 вида чипов, много наборов… делают маркетинг из науки.
Проект интересен, если найти стабильный выход на б/у чипы. Не будет ли потом как с картриджами в принтерах — чипы внедренные в чип, дабы остановить заправщиков (чистильщиков)?
В любом случае проект очень интересен, а для меня очень важен, т.к. ищу лекарство от дегенерации сетчатки глаз (ВМД), на данный момент анализ делал NGS Next Generation Sequencing (v11 RD chips 5040 primer sets duplicated on two chips) на 280 генов (теоретически смутировали ~8 генов, 2 с высокой вероятностью).
Слушал Ваше выступление на митапе в mail_ru по этой теме. Это просто замечательно!
И про биотехнологию тоже почитать интересно. Я представляю себе в общих чертах как работает пцр, но здесь понятны не все аспекты. Например как ДНК делится на риды. Сферы все одинаковые и на них цепляется рандомный кусок днк (а что если нескольно разных?) или они содержат что-то типа праймеров?
Например как ДНК делится на риды. Сферы все одинаковые и на них цепляется рандомный кусок днк (а что если нескольно разных?) или они содержат что-то типа праймеров?
Сферы разные. Для порезки ДНК надо два праймера — они ограничивают фрагмент, который будем ПЦРить. Один из праймеров на сфере закреплен, второй свободный. Комбинация праймеров дает предполагаемый участок ДНК. Для полногеномного секвенирования это слабо подходит, это такое целевое по предполагаемым мишеням.
А софт надо новый писать ..., тут можно и програмно сужать область чтения, когда часть лунок будет «невымываема» и перестраивать под чтение каких-то более простых геномов. Так сказать деградируемый чип.)
Александр, а какой процент ошибок вы думаете будет в среднем у «свежего чипа»?
Поймите меня правильно, это очень круто. Но всё же, это называется пиратством.
Обвязку автор делает свою, принципы получения ридов, свои. Я так понимаю софт со сборками то ж будет свой.
Я не юрист, но мне не кажется, что делать свою обвязку под чужое оборудование — это законно. У реверс-инжиниринга тоже довольно сомнительный правовой статус.
У технологий секвенирования есть патенты.
В вашей аналогии, если из смартфона собрать сигнализации по патентованной технологии и продавать, то нарушили.
Аналогия с катриджами довольно четкая. Если я катридж приобрел, он мой, я волен собрать из него «микроволновку» или что еще мне вздумается.
Я погуглил поподробнее, вопрос спорный.
С одной стороны, реверс-инжиниринг для создания совместимого продукта в США легален (например, Sega vs Accolade).
С другой, он может быть нелегален в случае наличия такого пункта в EULA или если протокол обмена между чипом и секвенатором запатентован.
С третьей стороны, первый пункт относится к США, а в России я прецедентов не нашёл. Лопатить же законодательство мне лень.
Так что, возможно, я не прав.
https://geektimes.ru/post/290687/
Потому что есть те, что сидит на хабре и редко на gt лазит, а есть ноборот. Но и тем и другим было бы интересно.
Каким образом этот кхм… «DIY проект»(да простит меня автор!) относится к такой мега-профессиональной области как обсасывание очередного модного языка погромирования?
Могу помочь что-нибудь напрограммировать, обращайтесь :)
Вся цепочка ДНК делится на фрагменты длиной по 300-400 нуклеотидов, называемые ридами.
А как вы планируете получить эти риды? Существуют какие-то специальные реагенты для разделения цепи ДНК? Можно где-то почитать про это?
Единой ссылки, где про это почитать наверное нет. Если вы программист, то довольно сжатый курс на ресурсах биоинформатики присутствует.
http://www.appropedia.org/Open-source_Lab
Ну и немного устаревшая но в целом адекватная обзорно-популярная статья http://www.vokrugsveta.ru/vs/article/7872/
Ждем продолжения
Я вообще мимо прохрдил, и многое не понял но статья захватила, было очень интересно читать, рад что есть такие достойные люди двигающие прогресс, какой я жалкий((
Ничесебе, читать это было увлекательнее, чем что-либо за последнее время!
Я в восторге, если это правда =)
Самому проделать такую работу — это МегаКруто
Что ж, десяти миллионов у меня не было, а PGM захотелось
…
Финальный прибор стоит 10 млн рублей
"«А как мне, простому „смертному“ сотворить такое устройство ?»"
Заранее спасибо!
Вся цепочка ДНК делится на фрагменты длиной по 300-400 нуклеотидов, называемые ридами. Затем риды прикрепляются к маленьким сферам и многократно копируются – в итоге на каждой сфере «висит» целый пучок одинаковых фрагментов ДНК. Копирование нужно для усиления сигнала от каждого конкретного рида. Набор разных сфер называется библиотекой ДНК.Насколько я понял из сказанного, Ваш прибор принимает в качестве исходных данных библиотеку ДНК. Разрешите задать вопрос: каким способом создаётся библиотека?
https://yadi.sk/i/EB3Il4HzkTniz
Здравствуйте Александр, очень заинтересовался вашей работой. Хотел бы свами связаться для обсуждения вашего проекта на коммерческой основе. Было бы замечательно если вы напишете на почту alexander.taran@smekalka.com. Заранее благодарю.
Только советую ориентироваться на последний хит сезона 2017 года — нанопоровый секвенатор MinION. В России его можно купить за 120 тыс. руб. (в Великобритании — за 1000$).
Можете разобрать MinION по«винтикам» и сделать такой же. Но цена «входного билета» для проведения этой работы — ~120 000 руб.
… Затем риды прикрепляются к маленьким сферам и многократно копируются – в итоге на каждой сфере «висит» целый пучок одинаковых фрагментов ДНК…
А какое сочетание клавиш реальности нужно нажать, чтобы запустить этот процесс копирования?))
Читая эту статью понимаю, что занимаюсь не тем, и теряю многого интересного… но… но смущает оговорка про развод… понимаю жену, тяжело ей наверное…
Читаю, и понимаю, что времени потрачено немерено. А сколько занял весь этот процесс?
После прочтения статьи осталось несколько вопросов. Буду признателен, если сможете на них ответить:
1. Зачем было реверсить сам рН-чип — неужели его контроллер + программа сложнее? Не было бы проще отреверсить «обвес», а чип просто пользовать «как есть»?
2. Если восстановление рН-чипа вполне реальная и недорогая операция, то неужели производитель этого не знает? Всё таки сумма устройства настолько высока, что проблема восстановления работоспособности такого дорогого компонента просто необходимость номер 1. Это не картридж в принтере перезаправить. Может быть вы что-то упустили?
Александр сделал просмотровую систему, позволяющую быстро контролировать качество чипов и, соответственно, наладить их регенерацию. Если увеличить скорость считывания информации с чипа до 30...60 bps и увеличить динамический диапазон АЦП до 12...14 разрядов, то такую систему можно будет для дальнейшей разработки самодельного полупроводникового секвенатора, которому потребуется ещё система подачи реагентов, сами реагенты и сложное программное обеспечение. В связи со сложностью последнего его хорошо бы не разрабатывать, а воспользоваться уже имеющимся:
www.thermofisher.com/us/en/home/life-science/sequencing/next-generation-sequencing/ion-torrent-next-generation-sequencing-workflow/ion-torrent-next-generation-sequencing-data-analysis-workflow/ion-torrent-suite-software.html.html
Секвенирование ДНК в домашних условиях: как на коленке собрать прибор за 10 миллионов