Comments 55
Программа pix2code генерирует код GUI для трёх основных платформ — Andriod, iOS и кроссплатформенный HTML/CSS — с точностью 77%
Берем Delphi, и получаем 100% точность из макета (формы) для основных платформ. Если Унигуй — то и для веба.
давайте не путать распознавание с интерпретацией. Ключевое слово — скриншот.
Точно. Берем программиста и получаем 100% точность.
Вы о чем вообще?
Вы о чем вообще?
Зачем программист, что бы расставить кнопки на макете? Дизайнер вполне справится. Зачем это распознавать вообще? А Делфи из формы для всех платформ сама код сделает. Нативный.
Действительно, придумали хрень какую-то. Не понимаю я этих ресёрчеров, они что, про современные технологии не в курсе?
Зачем распознавать печатный текст? Можно просто посадить человека за текстовой редактор и заставить его перепечатать.
Зачем нейросетками раскрашивать ч/б изображения? Можно просто выдать художнику фотошоп.
Зачем разрабатывать автономные автомобили? GPS-навигатор в телефоне и так прекрасно сообщит, куда ехать.
Распознаванием рукописного текста тем более заниматься бесмысленно — того и гляди, придёт какой-нибудь комментатор на гиктаймс и покажет каляку, которые и человек-то не распознает — а это, как известно, окончательный аргумент о ненужности и неактуальности исследовательской работы.
Зачем распознавать печатный текст? Можно просто посадить человека за текстовой редактор и заставить его перепечатать.
Зачем нейросетками раскрашивать ч/б изображения? Можно просто выдать художнику фотошоп.
Зачем разрабатывать автономные автомобили? GPS-навигатор в телефоне и так прекрасно сообщит, куда ехать.
Распознаванием рукописного текста тем более заниматься бесмысленно — того и гляди, придёт какой-нибудь комментатор на гиктаймс и покажет каляку, которые и человек-то не распознает — а это, как известно, окончательный аргумент о ненужности и неактуальности исследовательской работы.
Всё это понятно и круто. Но смысл всего этого? Дизайнеру всё равно нужно рисовать макет. Хоть распознавать его позже хоть нет. В случае Delphi сразу получаем готовый 100% код под все платформы.
В вашем мире дизайнер делает макет в конструкторе форм Делфи? И да, 2017 год на дворе, какой Делфи, ну ё-моё.
Я один раз засадил за Delphi не то чтобы дизайнеров, а кадровиков. Сидели и рисовали под себя формочки, как им нравилось. Без всякого кода конечно. Показал как раскидывать компоненты и сохранять. Потом я брал текстовые dfm-ки, перегонял их в свой DSL и прикручивал к работающей системе. Всё это с минимумом трудозатрат. Формочки были совершенно вырвиглазные, на мой взгляд, но кадровикам нравились до писка.
Я один раз засадил за Delphi не то чтобы дизайнеров, а кадровиков
О чём, собственно, и речь. Порог входа около нуля. На выходе получаем (по дизайну) готовое решение. Без распознавания и прочего. Нет — я не спорю, что с точки зрения науки чувак делает реально крутые вещи. Но с точки зрения изготовления ПО — это просто промежуточные, излишние, звенья.
И что не так с Делфи в 2017-м году? Отличное мульти-платформенное средство. Активно развивает нативный код под все платформы. Под веб отличные библиотеки пишут.
Что бы не повторяться, вот что (в качестве интерфейса) может получатся на выходе Делфи:
Delphi + UniGUI + WebGL
Пусть нейронка это распознает )
5й, 7й или более новый. Некоторый софт переписать стоит столько ресурсов что за это никто не берётся. И чем крупнее предприятие, тем больше разрыв между необходимыми тратами и наличными ресурсами.
Я понял, вас видимо смутило, что результаты этой исследовательской работы автор этой исследовательской работы использует в продукте, который пытается продавать.
Но штука в том, что нужность продукта и нужность исследования — это два совершенно перпендикулярных друг другу вопроса.
Но штука в том, что нужность продукта и нужность исследования — это два совершенно перпендикулярных друг другу вопроса.
GPS-навигатор в телефонеШтурман на соседнем сиденье и бумажная карта.
UFO just landed and posted this here
UFO just landed and posted this here
Дизайнер обычно создаёт макеты интерфейса, вот дизайнер и слепит из такого «видения заказчика» скетч, а из него уже сгенерить вполне себе интерфейс. Понятно что с этой хрени и дизайнер мозг вывихнет без двухчасовой дополнительной беседы с заказчиком. А так — да, тема знакомая )
А, собственно, что это?
UFO just landed and posted this here
UFO just landed and posted this here
безусловно это просто аафигенно верный подход, вот только дизайнеры не всегда владеют редакторами форм, а программисты не всегда умеют создать нормальный интерфейс, я бы сказал что в подавляющем большинстве случаев дело обстоит подобным образом. И тут — бум! Из скетча прямо в редактор форм импортируется готовый код. Переделывать с макета в форму не надо, экономится время на муторную нудную работу — имхо чистый профит.
UFO just landed and posted this here
ну почему сразу гуй, просто дизайнер, например админку сделать для сайта. Конечно пока оно наверняка кроме кнопок/галочек нифига не распознает, но тут уже дело техники, возможно же допилить что бы и градиенты стандартные определяло, и фотки от текста отличало, и блоки примерно вычисляло, кароче этакий верстальщик ин зе бокс. Мечтать же не вредно ))
Одно дело раскидать контролы по форме в четко заданных позициях, как в каком-нибудь Windows Forms (с Delphi не знаком), но другое дело — сделать так, чтобы эту форму можно было ресайзить или (если мобильное или веб) — подходило под разные размеры\разрешения.
Ну все, теперь ещё одна человеческая задача освоена искусственным интеллектом. Потом и за описание алгоритмической части примется.
И, как логическое завершение, нейросеть, которая пишет код другой нейросети.
Ну не нагнетайте Вы, блин, и так сыкатна!
Следующий шаг — генератор кода видеоигры по геймплейному видео.
По геймплейному видео реальной игры — это клон по-быстрому сделать, чтобы бабла на хайпе срубить?
Следующий шаг — это создание кода и графики игры по текстовому описанию.
Следующий шаг — это создание кода и графики игры по текстовому описанию.
Типа такого
Я такую нейросеть уже джва года хочу.Здраствуйте. Я, Кирилл. Хотел бы чтобы вы сделали игру, 3Д-экшон суть такова… Пользователь может играть лесными эльфами, охраной дворца и злодеем. И если пользователь играет эльфами то эльфы в лесу, домики деревяные набигают солдаты дворца и злодеи. Можно грабить корованы… И эльфу раз лесные то сделать так что там густой лес… А движок можно поставить так что вдали деревья картинкой, когда подходиш они преобразовываются в 3-хмерные деревья[1]. Можно покупать и т.п. возможности как в Daggerfall. И враги 3-хмерные тоже, и труп тоже 3д. Можно прыгать и т.п. Если играть за охрану дворца то надо слушаться командира, и защищать дворец от злого (имя я не придумал) и шпионов, партизанов эльфов, и ходит на набеги на когото из этих (эльфов, злого...). Ну а если за злого… то значит шпионы или партизаны эльфов иногда нападают, пользователь сам себе командир может делать что сам захочет прикажет своим войскам с ним самим напасть на дворец и пойдет в атаку. Всего в игре 4 зоны. Т.е. карта и на ней есть 4 зоны, 1 — зона людей (нейтрал), 2- зона императора (где дворец), 3-зона эльфов, 4 — зона злого… (в горах, там есть старый форт...)
Так же чтобы в игре могли не только убить но и отрубить руку и если пользователя не вылечат то он умрет, так же выколоть глаз но пользователь может не умереть а просто пол экрана не видеть, или достать или купить протез, если ногу тоже либо умреш либо будеш ползать либо на коляске котаться, или самое хорошее… поставить протез. Сохранятся можно...
Так же чтобы в игре могли не только убить но и отрубить руку и если пользователя не вылечат то он умрет, так же выколоть глаз но пользователь может не умереть а просто пол экрана не видеть, или достать или купить протез, если ногу тоже либо умреш либо будеш ползать либо на коляске котаться, или самое хорошее… поставить протез. Сохранятся можно...
Уже 12 дней новости
https://futurism.com/googles-new-ai-is-better-at-creating-ai-than-the-companys-engineers/
https://futurism.com/googles-new-ai-is-better-at-creating-ai-than-the-companys-engineers/
Год спустя: Нейросеть генерирует веб-сервис по BRD
Еще год спустя: Нейросеть генерирует транзакции по сигналам нейроинтерфейса
Еще год спустя: Нейросеть печатает эмбриона по генам партнеров
Еще год спустя: Нейросеть генерирует транзакции по сигналам нейроинтерфейса
Еще год спустя: Нейросеть печатает эмбриона по генам партнеров
UFO just landed and posted this here
Ну не будьте таким наивным, нейросеть это всего лишь набор файлов запущенных на каком-то сервере, какого-то человека…
UFO just landed and posted this here
UFO just landed and posted this here
Даже распространяющаяся по компьютерам бот-сеть или тот же банальный вирус всегда принадлежит создатели и распростанителям. Тоже самое можно сказать и о роботах, биологических вирусах, наномашинах…
Разработчику может принадлежать только первая итерация его ИИ. Если она будет в процессе пересоздавать себя 100500 раз, основываясь на множестве внешних данных, в том числе слияние ИИ от разных разработчиков, жить в распределенной сети (типа торрента/блокчейна), то итоговый результат уже отличаться от первоначального. Кто будет владельцем сего рапределенного чуда?
А про биологические вирусы… В вечной мерзлоте нашли доисторический вирус, который появился раньше человека. Вопрос: кому он принадлежит? Ваше утверждение — «всегда принадлежит создател[?] и распространителям»
Я, надеюсь, мы будем обсуждать в качестве правовладельцев только людей?
А про биологические вирусы… В вечной мерзлоте нашли доисторический вирус, который появился раньше человека. Вопрос: кому он принадлежит? Ваше утверждение — «всегда принадлежит создател[?] и распространителям»
Я, надеюсь, мы будем обсуждать в качестве правовладельцев только людей?
Техзадание на печать младенца от партнёров выглядело так..
Техзадание...
Правительство заменили нейросетью :D
Был (да и есть) такой язык UML. Суть его в том, что надо рисовать диаграммы классов, деятельности, отношений и проч, и проч, т.е описать продукт в картинках. После успешного «рисования» оно может генерить код на желаемом языке, и вроде как это сильно облегчает жизнь Проблема в том, что для того, чтобы разобраться в сгенерированном коде, надо столько же времени, сколько ушло-бы на написание кода с нуля.
В статье описано научное исследование — и это нормально. На практике при достаточно сложном проекте будет та же история, что и в UML. И пр этом не забываем про оптимизацию, которую все равно придется делать.
В статье описано научное исследование — и это нормально. На практике при достаточно сложном проекте будет та же история, что и в UML. И пр этом не забываем про оптимизацию, которую все равно придется делать.
А вот и нет. Да, есть проблема, что не всегда генерируется то, что на картинке. Есть вероятность, что сгенерированный код не соберется. Но нет оснований полагать, что LSTM выдаст сложный код.
Лапшу из кода генераторы получают из-за эвристик. Алгоритм разбирает входные данные по кирпичикам и переводит их в код. Это повышает сложность генерируемого кода. Здесь же генератор по дескриптору изображения (выход CNN) делает код как это было обучающей выборке. То есть, похожий на человеческий.
Если дать картинку совершенно непохожую ни на что из обучающей выборки, то скорее все сломается и получится бред, а не код. Но я не вижу сценария, чтобы код получился «нечитаемой лапшой».
Лапшу из кода генераторы получают из-за эвристик. Алгоритм разбирает входные данные по кирпичикам и переводит их в код. Это повышает сложность генерируемого кода. Здесь же генератор по дескриптору изображения (выход CNN) делает код как это было обучающей выборке. То есть, похожий на человеческий.
Если дать картинку совершенно непохожую ни на что из обучающей выборки, то скорее все сломается и получится бред, а не код. Но я не вижу сценария, чтобы код получился «нечитаемой лапшой».
А распознает ли нейросеть скрытые элементы GUI, ведь иногда логотип копании в программе является и ссылкой на сайт компании, а иногода и не является… Иногда пасхальные яйца скрыты в GUI...
Бесценная вещь для того что бы стырить дизайн восстановить верстку если исходники были утеряны.
Но если исходники живы, то непонятно зачем это.
Никто не делает дизайн в один слой в фотошопе, тем более такой простой.
Диз делается по любому в чем-нибудь типа axure, откуда он однозначно может транслироваться куда надо.
Но если исходники живы, то непонятно зачем это.
Никто не делает дизайн в один слой в фотошопе, тем более такой простой.
Диз делается по любому в чем-нибудь типа axure, откуда он однозначно может транслироваться куда надо.
Прямо, bydlokoder 2.0.
Что-то мне кажется, что помимо дефолтных кнопочек бутстрапа он и не сверстает ничего. И то придётся переделывать так, что проще бы было самому с нуля написать.
Sign up to leave a comment.
Нейросеть генерирует код GUI по скриншотам