A földszintes, L alaprajzot mutató, kúriaszerű ház építtetője a - 17. század végén - a Sándorffy család volt, s a költő apja, Kisfaludy Mihály Sándorffy Juliannával kötött házassága révén került a Kisfaludyak tulajdonába.

Kisfaludy Sándor végleg 1800-ban, a napóleoni háborúkat követően telepedett le ifjú feleségével, Szegedy Rózával ebben a házban, melyet haláláig megtartott. Mivel leszármazottjai nem voltak, a rokonság a házat a veszprémi püspökségnek adta el: az épület ettől kezdve a mindenkori uradalmi intéző hajlékaként szolgált. 1944-ben azonban - az egyházi birtokok államosításával - ez a ház is a népköztársaság tulajdonba került. 1950 után falai közt előbb egy Kisfaludy Emlékház, majd 1990 óta az emlékgyűjteménynek is helyet biztosító Városi Múzeum működik.

Az idő folyamán az épülethez tartozó telket több kisebb parcellára osztották, és az idenyíló lakóházakhoz csatolták. Magát az épületet is többször átalakították: két végéhez újabb helyiségeket toldottak, tornácának szép boltíves árkádjait befalazták, s az udvar szintjét is megemelték.