Az 1760-as években gróf Grassalkovich Antal építette fogadó céljára azt a barokk épületet, amelyben működik a múzeum. A négy állandó kiállítás képet ad arról, hogy a kastély árnyékában élő őslakos református földművelők, a 18. század közepén betelepített katolikus iparosok, a 19. század közepén érkező izraelita kereskedők, a dualizmus idején itt letelepedett művészek hogyan alakították, gazdagították a város képét.