Slik er det også blitt: bygningen brer seg ut over landskapet med flere saler knyttet sammen ved et felles inngangsparti. Utstillingssalene åpner seg ut mot fjorden som en vifte, en skapende hånd eller et sprikende lønneblad. Arkitektene røpet at deres fremste inspirasjonskilder var Frank Lloyd Wright, Le Corbusier og Mies van der Rohe.

Henie og Onstad satset på et team av talentfulle, unge norske samarbeidspartnere, og det ble utelukkende brukt norske materialer og leverandører i byggeprosessen. Kunstsenterets første direktør, Ole Henrik Moe, hadde stor innflytelse på prosessen, i felleskap med de to arkitektene og donatorene. Bygningen ble tilrettelagt for å kunne huse både billedkunst, restaurant, musikk og performance. Et av Europas mest avanserte lydstudioer ble etablert, med to håndlagde, toppmoderne miksebord fra Kongsberg Våpenfabrikk.

Bygningen ble utvidet med en to-etasjers fløy på sjøsiden i 1994, bestående av det som da var Norges største utstillingssal (1300 kvadratmeter), samt flere tekniske rom og verksted. Fløyen er tegnet av de samme arkitektene, Eikvar og Engebretsen, og er bygget som en organisk forlengelse av den originale bygningen. I 2003 ble nok et tilbygg reist – Sal Haaken ble donert av gallerist Haaken A. Christensen og tegnet av arkitekt Stein Halvorsen. Her er treverk hovedmaterialet, som en kontrast til hovedbygningens betong og aluminium.

Til sammen har bygningen omtrent 9 500 kvadratmeter per i dag, hvorav rundt 3 500 er utstillingsareal. I 2013 ble det store renoveringsprosjektet Vedlikeholdsløftet igangsatt med sikte på tilbakeføring av mange av de originale kvalitetene i hovedbygget fra 1968. Arbeidet fortsetter ut 2017.