论文标题：AI for conceptual architecture: Reflections on designing with text-to-text, text-to-image, and image-to-image generators

期刊：Frontiers of Architectural Research

作者：Anca-Simona Horvath, Panagiota Pouliou

发表时间：15 Jun 2024

DOI：10.1016/j.foar.2024.02.006

微信链接：点击此处阅读微信文章

FoAR是由高等教育出版社和东南大学建筑学院联合主办的全英文学术期刊

建筑学 / 城乡规划 / 风景园林

本刊已被 A&HCI / CSCD / Scopus / DOAJ / CSTPCD 收录

01 论 文 题 目 Manuscript Title

AI for conceptual architecture: Reflections on designing with text-to-text, text-toimage, and image-to-image generators

概念建筑中的人工智能：对文本到文本、文本到图像以及图像到图像生成器设计的思考

02 作 者 Authors

Anca-Simona Horvath (a)* , Panagiota Pouliou (b)

(a) Research Laboratory for Art and Technology, Aalborg University, Aalborg 9000, Denmark

(b) Lighting Design Lab, Aalborg University, Copenhagen 2450, Denmark

03 论 文 摘 要 Abstract

In this paper we present a research-through-design study where we employed textto-text, text-to-image, and image-to-image generative tools for a conceptual architecture project for the eVolo skyscraper competition. We trained these algorithms on a dataset that we collected and curated, consisting of texts about and images of architecture. We describe our design process, present the final proposal, reflect on the usefulness of such tools for early-stage design, and discuss implications for future research and practice. By analysing the results from training the text-to-text generators we could establish a specific design brief that informed the final concept. The results from the image-to-image generator gave an overview of the shape grammars of previous submissions. All results were intriguing and can assist creativity and in this way, the tools were useful for gaining insight into historical architectural data, helped shape a specific design brief, and provoked new ideas. By reflecting on our design process, we argue that the use of language when employing such tools takes a new role and that three layers of language intertwined in our work: architectural discourse, programming languages, and annotations. We present a map that unfolds how these layers came together as a contribution to making machine learning more explainable for creatives.

本文中，我们提出了一项通过设计进行探索的研究，针对eVolo摩天大楼竞赛中一个概念建筑项目使用了文本到文本、文本到图像以及图像到图像的生成工具。我们在一个被收集和整理的数据集上训练这些算法，包括关于建筑的文本和图像。我们描述了这一设计过程，提出了最终的建议，反思了这些工具对早期设计的有用性，并讨论了对未来研究和实践的影响。通过对文本到文本生成器训练结果的分析，我们可以建立一个特定的设计概要来展示最终概念。图像到图像生成器的结果概述了先例的形状语法。所有的结果都是有趣的，也可以帮助提高创造力。通过这种方式，这些工具有助于深入了解历史建筑数据，帮助形成特定的设计概要，并激发新的想法。通过反思设计过程，我们认为，当使用这些工具时，语言的使用承担了一个新的角色，并且在作品中交织着三层语言体系：建筑论著、编程语言以及注释语言。我们展示了一张地图，诠释了这些层次是如何交织在一起的，从而使机器学习对设计师们来说更容易理解。

04 关 键 词 Keywords

Machine learning / 机器学习

StyleGAN2-ADA / StyleGAN2-ADA

RNN TensorFlow / 循环神经网络 TensorFlow

VQGAN + clip / VQGAN + clip

AD journal / AD 期刊

eVolo / eVolo杂志

Conceptual design / 概念设计

Architectural design / 建筑设计

05 章 节 标 题 Sections Title

1. Introduction / 引言

2. Machine learning in architecture / 建筑中的机器学习

3. Design Iteration 1 / 设计迭代一

3.1. Design brief / 设计概要

3.2. Dataset: text and images / 数据集：文本和图片

3.3. Training the machine learning algorithms / 训练机器学习算法

3.4. Results from the two workflows: training textto-text, text-to-image, and image-to-image algorithms / 来自两个工作流的结果：训练文本到文本、文本到图像和图像到图像算法

4. Design Iteration 2 / 设计迭代二

4.1. Final design brief / 最终设计概要

4.2. Developing the final design / 最终设计的发展

4.3. Title / 题目

5. Discussion / 讨论

5.1. Reflections on integrating text-to-text, textto-image, and image-to-image machine learning tools in a conceptual architectural design process / 在概念建筑设计过程中整合文本到文本、文本到图像和图像到图像机器学习工具的思考

5.2. Architecture, machine learning and language / 建筑、机器学习及语言

6. Conclusion / 结论

06 主 要 插 图 Illustrations

▲ 图一：基于我们展示的数据集生成混合文本和混合图像的两个工作流。© 本文作者

▲ 图二：Part of the design space resulting from Workflow A. Top: hybrid texts were generated using TensorFlow2 trained on the dataset of architectural texts. Bottom: we used snippets from the hybrid texts as parameters (prompts) for training VQGAN + clip. © 本文作者

▲ 图四：Part of the design space resulting from Workflow B, where hybrid images were generated based on images of previous submissions to the eVolo skyscraper competition using the StyleGAN2-ADA algorithm. © 本文作者

▲ 图五：置于欧洲城市场所下的摩天大楼的渲染效果图。 © 本文作者

▲ 图六：应用于 Assembled Growth-Babel 创作的最终设计过程 . © 本文作者

07 作 者 介 绍 Authors’ Information

Anca-Simona Horvath

Assistant Professor

Research Laboratory for Art and Technology

Aalborg University, Denmark

My research investigates the relationship between emerging technologies, including computational design, digital fabrication, AI and bio-technologies, and creative practice, as well as their place in broader cultural contexts. I use design-based research as a main method of inquiry, and would call myself a reflective practitioner. My projects have covered a broad range of scopes and scales, from shoe insoles to urban planning. I have a background in architecture and work experience as an architect, urban planner, and computational designer in Romania and Denmark.

Panagiota Pouliou

Research Assistant

Lighting Design Lab

Aalborg University, Denmark

08 原 文 阅 读 Download Link

长按上方二维码｜浏览本期精彩论文

▼ 点击下方词条 | 往期精彩不容错过

#期刊快讯#系列

1/ 主编王建国院士团队荣获国家科技进步奖一等奖

2/ FoAR｜2021年度报告，2022新年快乐！

3/ FoAR｜2022年度报告，2023新年快乐！

4/ FoAR｜2023年度报告，2024新年快乐！

5/ 最新｜FoAR 2023 CiteScore 指数上升为6.2

6/ JCR最新｜FoAR 2023年度影响因子3.1，两项评价指标均位列WoS核心合集建筑类第一

7/ 最新｜FoAR 被中国科技论文与引文数据库（CSTPCD）收录

8/ 最新｜FoAR 再次入选中国国际影响力优秀学术期刊

9/ 最新｜FoAR 荣获科爱十大优秀期刊奖

10/ 最新｜FoAR进入2023年中国科学院分区表1区

#新刊上线#系列

2024年第一期

2024年第二期

2024年第三期

#FoAR投稿指南#系列

1/ 投稿流程

2/ Guide for Author中文版

3/ 审稿流程及发表流程

4/ 如何提交修改稿

5/ 录用文章出版流程

#期刊知识科普#系列

1/ SCI之父尤金·加菲尔德的传奇人生

2/ 国际核心期刊数据库大解析

3/ 手把手教你如何使用最强工具Web of Science

4/ 如何发现一本好期刊

5/ 国内核心期刊有哪些

6/ 版面费与期刊影响力

#精彩文章#系列精选

01/ 城市设计实践发展的多元维度——基于UAL的案例研究

02/ 从智慧城市到共情城市

03/ 传统阿拉伯伊斯兰城市居住区形态学:以传统城市大马士革为例

04/ 建筑遗产预防性保护的意大利视角

05/ 生物与建筑：将科学知识与设计实践相结合的六家法国建筑事务所项目案例研究

06/ 颇具争议的渐进式改造：Elemental建筑事务所金塔蒙罗伊公屋居住区项目的15年

07/ 联合眼动实验和SD法的传统商业街区视觉效果感知评价

08/ 历史的层次：古城堡遗迹中的新建筑改造

09/ 通过空间句法检验帕拉第奥别墅平面中的控制性、中心性和灵活性

10/ 自1931年柯布西耶的Salubra色卡问世后其建筑色彩的偏好：一种跨文化的分析

11/ 建筑师身份的描绘：1920年代末的中国美术建筑师——刘既漂

12/ 探索暴露于风影响下织物的表达与功能

13/ 绿色屋顶能否在地中海气候条件下显著节约能源？基于不同案例的批判性评估

14/ 芬兰近期落成的原木建筑的建构及建筑品质：相关建筑师的解读

15/ 新加坡高校教室光环境品质研究

期刊联络

高等教育出版社： 010-58556484

东南大学：025-83795543

刊物邮箱：[email protected]

FoAR英文期刊交流QQ群：21608832

在线投稿

www.editorialmanager.com/foar

刊物主页

http://www.sciencedirect.com/science/journal/20952635

http://journal.hep.com.cn/foar

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn