BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

前端要凉?微软开源Sketch2Code,草图秒变代码

| 作者 微软ML博客团队 关注 0 他的粉丝 ,译者 无明 关注 2 他的粉丝 发布于 2018年9月5日. 估计阅读时间: 4 分钟 | CNUTCon 了解国内外一线大厂50+智能运维最新实践案例。

用户界面设计过程涉及大量创造性的迭代工作。这个过程通常从在白板或白纸上画草图开始,设计师和工程师分享他们的想法,尽力表达出潜在的客户场景或工作流程。当他们在某个设计上达成一致之后,通过照片的形式将草图拍下来,然后手动将草图翻译成 HTML 代码。翻译过程需要耗费很多时间和精力,通常会减慢设计过程。
如果可以将白板上手绘的设计立即反映在浏览器中,那会怎样?如果我们能够做到这一点,在设计头脑风暴结束时,我们就可以拥有一个已经由设计师、开发人员甚至客户验证过的现成原型,这将为网站和应用程序开发省不少时间。现在,微软已经借助 AI 做到了这一点,同时他们还将这个项目在 Github 上开源了。  

Sketch2Code 是什么?  

Sketch2Code 是一个基于 Web 的解决方案,使用 AI 将手绘的用户界面草图转换为可用的 HTML 代码。Sketch2Code 由微软和 Kabel、Spike Techniques 合作开发。读者可以在 GitHub 上找到与 Sketch2Code 相关的代码、解决方案开发过程和其他详细信息。

Sketch2Code 项目地址:https://github.com/Microsoft/ailab/tree/master/Sketch2Code

下图演示了利用 Sketch2Code 将手绘草图转换成代码的操作过程。在微软官方网站上可以做更多尝试:https://sketch2code.azurewebsites.net/   

Sketch2Code 是如何工作的?  

让我们来看看使用 Sketch2Code 将手绘草图转换成 HTML 代码的过程:  

  • 用户将图片上传到网站上。

  • 自定义视觉模型预测在图像中出现的 HTML 元素,并将它们的位置标出来。

  • 手写文本识别服务读取预测元素中的文本。

  • 布局算法根据预测元素的边框空间信息生成网格结构。

  • HTML 生成引擎使用上述信息来生成 HTML 代码。

工作流程如下所示:  

Sketch2Code 的架构设计

Sketch2Code 使用了以下组件:  

  • 微软自定义视觉模型(Custom Vision):这个模型是基于不同的手绘稿的图象训练得出的,并标记了与常见 HTML 元素(如文本框、按钮、图像等)相关的信息。

  • 微软计算机视觉服务:用于识别设计元素中的文本。

  • Azure Blob Storage:保存与 HTML 生成过程的每个步骤相关的信息,包括原始图像、预测结果、布局和分组信息等。

  • Azure Function:它作为后端入口点,通过与其他服务发生交互来协调生成过程。

  • Azure Website:用户界面前端,用户可以在这里上载设计图,并查看生成的 HTML。

以上组件通过如下架构组合在一起:  

是不是感觉跃跃欲试?

你可以在这里找到 Sketch2Code 的开源代码:

https://github.com/Microsoft/ailab/tree/master/Sketch2Code

也可以在这里对 Sketch2Code 的实际效果进行验证:https://sketch2code.azurewebsites.net/

查看英文原文:

https://blogs.technet.microsoft.com/machinelearning/2018/08/30/turn-whiteboard-ux-sketches-into-working-html-in-seconds-introducing-sketch2code/

http://www.alphr.com/microsoft/1009840/microsofts-ai-sketch2code-builds-websites

 

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

建议infoq不要出这种吸引人的标题,跟自媒体炒作一样。 by zhang Ming

如题。

迟早会到这一步的 by 周 柏民

复杂点交互短期内做不到,强交互和定制交互相当长的路要走,就像弱人工智能和通用人工智能要经历的。
早点学习借助ai识别算法和深度学习工具,是个人发展的要素。
作者标题党了,ai会对大多数行业和专业领域都会是挑战,不限于前端这一点,但挑战既是机遇!

意义不大 by 潘 仲岩

意义不大。当年的UML变代码,现在轮到前端了。说实话意义不大。

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

3 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT