Kisfaludy Sándor végleg 1800-ban, a napóleoni háborúkat követően telepedett le ifjú feleségével, Szegedy Rózával ebben a házban, melyet haláláig megtartott. Mivel leszármazottjai nem voltak, a rokonság a házat a veszprémi püspökségnek adta el. Az egyházi birtokok államosítását követően, a ház falai közt előbb egy Kisfaludy Emlékház, majd 1990 óta az emlékgyűjteménynek is helyet biztosító Városi Múzeum működik.