Fasaden på Norges Bank-bygningen
Tegning av Christian Heinrich Grosch, ca. 1830
Norske Arkitekters Landsforbund (NAL) opprettet Norsk Arkitekturmuseum i 1975 som en nasjonal institusjon for samling, bevaring, forskning og formidling av kunnskap om arkitektur. Museet holdt i starten hus sammen med NAL i Josefines gate, men flyttet inn i egne lokaler i Kongens gate 4 i 1993.
Etter kort tid viste det seg at museet hadde behov for større og mer hensiktsmessige lokaler, og i 2001 vedtok regjeringen at museet skulle flytte til Bankplassen 3. Samme år ble det også vedtatt at arkitekt Sverre Fehn skulle innpasse museet i den gamle bygningen og dessuten tegne en ny utstillingspaviljong i hagen. Prosjektet ble muliggjort av en donasjon fra skipsreder Jens Ulltveit-Moe.
I 2003 ble Arkitekturmuseet integrert i Nasjonalmuseet for kunst, arkitektur og design, og i 2005 ble Arkitekturmuseets administrasjon samlokalisert med resten av Nasjonalmuseet i Kristian Augusts gate 23. I mellomtiden pågikk byggearbeidene for fullt, og det ferdige museumsbygget for arkitekturutstillinger og -aktiviteter ble åpnet 6. mars 2008.