A múzeum a textilszakma legpatinásabb múltú családi vállalkozásának helyén, az 1784-ben alapított Goldberger cég törzsházában működik.

A több mint 200 éves műemlék-épületegyüttes földszintjén eredetileg kékfestő üzem volt, emeletén a Goldberger család lakott. A négy generáción át folyamatosan bővülő gyárban az államosításig készítették az európai országokba is exportált, nyomott textíliákat.

A Textilmúzeum tárgyainak, dokumentumainak első darabjait az 1960-as években megrendezett szakmatörténeti kiállításra gyűjtötték össze. 1975-ben, végül, megalapították a Textilmúzeumot, így a textilipari emlékek felkutatása és gyűjteményi elhelyezése folyamatossá vált.

1986-ban nyílt az első, látogatható, kiállítással berendezett múzeumépület a XIII. kerületben, ám 1991-ben a tulajdonos eladta az épületet: a múzeum bezárt, és a gyűjteményt raktárakba kellett költöztetni.

1992-ben azonban lehetőség nyílt a múzeum újraindítására: abból a célból alakult meg a Textil- és Textilruházati Ipartörténeti Múzeumi Alapítvány, hogy a gyűjteményt új épületben helyezze el, és az ismét megnyíló múzeumot működtesse.

Az alapítvány megvásárolta a felszámolt BUDAPRINT Pamutnyomóipari Vállalattól a Goldberger-házakat, majd - múzeumi és műemléki szempontok szerint - felújította azokat. A hat évig tartó, részlegesen elkészült épületfelújítás költségeit nagyrészt alapítványi tőke, valamint pályázatokon elnyert támogatások biztosították.

A múzeum 1999-ben nyitotta meg kapuit. Az átadott épületrészben négy kiállítás látogatható és lehetőség van időszaki kiállítások rendezésére is.