Az Andrássy út 60-at is magába foglaló háztömb Feszty Adolf tervei alapján lakóháznak épült 1880-ban. Az Andrássy út - Csengery utca sarkán álló neoreneszánsz épület külseje a tulajdonosváltások során sem változott.

Az épület egészen 1936-ig a Perlmutter család tulajdonában állt, majd 1937-től a magyar nemzeti szocialista mozgalom Szálasi-féle szárnya bérelt helyiségeket a házban. 1940-ben a Nyilaskeresztes Párt itt rendezte be főhadiszállását, birtokba véve az egész épületet. A székházat Szálasi Ferenc nevezte el a "Hűség Házának". Az épületet 1944 őszétől begyűjtőhelynek és börtönnek is használták.

1945 februárjában - az ÁVO elődje - a Politikai Rendőrség foglalta el a házat. Az épület már akkor szűknek bizonyult, ezért az egész háztömböt birtokba vették. A házak alatti pincéket a falak áttörésével összekötötték, s a pincelabirintusban börtönt építettek ki.

Az Államvédelmi Hatóság 1956-ig birtokolta a házat. Kiköltözését követően az épületet átalakították, majd különböző cégek székházaként, illetve irodaházként működött. A pincében minden nyomot eltüntettek és KISZ klubot rendeztek be.

A két terrorrendszert túlélt Magyarországon mára érkezett el az idő, hogy méltó emléket állítsunk az áldozatoknak, és azt is bemutassuk, hogy mit jelentett honfitársainknak azokban az időkben élni.

A Közép- és Kelet-európai Történelem és Társadalom Kutatásáért Közalapítvány 2000 decemberében vásárolta meg az épületet, azzal a céllal, hogy a magyar történelem e két véres korszakának bemutatására múzeumot hozzon létre. A 2002. februárjára elkészült Terror Háza múzeum főigazgatója dr. Schmidt Mária.

Az egy éves munka során az Andrássy út 60. szám alatti épület kívül-belül teljesen megújult. A belsőépítészeti tervek, a múzeum kiállításának arculata és a külső homlokzat F. Kovács Attila építész munkája. A Terror Háza múzeum rekonstrukciós terveit Sándor János és Újszászy Kálmán építészek készítették, a kivitelező az Architekton Rt. volt.

Az átalakítás során az épület emlékművé vált, a fekete paszpartu (díszpárkány, pengefalak és gránitjárda) keretbe foglalja, kontrasztjával kiemeli a múzeumot az Andrássy úti épületek sorából, és történelmi súlyának megfelelően a figyelmet magára a házra irányítja.

Az épületben látható kiállítás installációit a földszinten, az első és második emeleten, valamint a hírhedt pincékben, illetve a lépcsőházban és a belső udvarban helyezték el. A látogatók tájékozódását tíz érintőképernyős terminál segíti, amelyeken megtekinthetők a kiállítás szintjei és a termek.

A tárgyi anyagokon kívül az épületben alkalmazott multimédiás eszközök is hozzájárulnak a kiállítás hitelességéhez és hatásának fokozásához. Az egyes termekhez kapcsolódó archív hangfelvételek korhű telefonkészülékeken hallgathatók meg. A termekben és a közlekedőkben elhelyezett plazmatévék képernyőin folyamatosan megtekinthetők a korszak filmfelvételei és interjúi.

A 2002. február 24-én 17 órakor megnyílt, a maga nemében egyedülálló Terror Háza múzeum az épületben fogva tartott, megkínzott és meggyilkolt honfitársainknak kíván emléket állítani; a borzalmak kézzelfogható bemutatása mellett azonban azt is példázza, hogy a szabadságért hozott áldozat nem volt hiábavaló. A XX. század két legkegyetlenebb rendszere elleni harcból végül a szabadság és a függetlenség erői kerültek ki győztesen.