Print

SmartPaint：一种基于生成式对抗神经网络的人机协同绘画系统（英文）

论文摘要

当前人工智能在模仿和大批量生产设计作品中扮演重要角色(如电商广告),而在与用户合作创作时表现欠佳。人们有能力使用草图表达创意想法,但缺乏专业绘画技巧完成精美画作。已有人工智能方法无法基于用户输入草图的语义输出具有艺术美感的画作。本文开发了一种基于生成式对抗神经网络的人机协作绘画系统——SmartPaint,支持人机合作创作动漫风景画作。该系统使用动漫图像数据及其相应语义标注图、边缘检测图训练生成式对抗神经网络。通过此种方式,该系统能够同时理解动漫风格以及风景图像中物体的语义和空间关系。在使用中,用户输入草图作为语义标注图,系统自动为其合成边缘图;根据合成的边缘图生成具有恰当风格纹理的画作,从而稳定地处理多样化草图。实验证明该系统可有效满足用户创作需求,生成高质量动漫风格画作。

论文目录

  • 1 Introduction
  • 2 Related work
  •   2.1 Understanding user inputs
  •   2.2 Turning a sketch into a painting
  • 3 System overview and implementation
  •   3.1 System overview
  •     1.Painting producer
  •     2.Edge synthesizer
  •     3.Reference recommender
  •   3.2 System implementation
  •     3.2.1 Painting producer
  •       1.Training data
  •       2.Painting generation network
  •     3.2.2 Reference recommender
  •     3.2.3 Edge synthesizer
  • 4 Experiment
  •   4.1 Comparison with the original pix2pixHD method
  •   4.2 System evaluation
  •     4.2.1 Study 1 methodology
  •     4.2.2 Study 1 results
  •     4.2.3 Study 2 methodology
  •     4.2.4 Study 2 results
  • 5 Discussion
  • 6 Conclusions
  • Compliance with ethics guidelines

    • 文章来源

    类型: 期刊论文

    作者: Lingyun SUN,Pei CHEN,Wei XIANG,Peng CHEN,Wei-yue GAO,Ke-jun ZHANG

    关键词: 协同绘画,深度学习,图像生成

    来源: Frontiers of Information Technology & Electronic Engineering 2019年12期

    年度: 2019

    分类: 信息科技,哲学与人文科学

    专业: 美术书法雕塑与摄影,自动化技术

    单位: Key Laboratory of Design Intelligence and Digital Creativity of Zhejiang Province,State Key Lab of CAD&CG, Zhejiang University,Alibaba-Zhejiang University Joint Institute of Frontier Technologies

    基金: Project supported by the National Science and Technology Innovation 2030 Major Project of the Ministry of Science and Technology of China(No.2018AAA0100703),the National Natural Science Foundation of China(No.61672451),the Provincial Key Research and Development Plan of Zhejiang Province,China(No.2019C03137),the China Postdoctoral Science Foundation(No.2018M630658),the Ng Teng Fong Charitable Foundation in the form of ZJU-SUTD IDEA Grant

    分类号: J2-39;TP183

    页码: 1644-1657

    总页数: 14

    文件大小: 1132K

    下载量: 77

    相关论文文献

    本文来源: https://www.lunwen66.cn/article/c9741d7cc77b3c5236bae0b0.html