A múzeumépület Magyarország legnagyobb reneszánsz kastélya. Műemléki értékét is ez adja. Története évszázadokra nyúlik vissza. A XIV. században a Tokaji vár tartozéka volt, a török hódoltság után a Serédi, majd az Alaghy-család tulajdonába került. Birtokjogát 1571-ben a Mágóchy-család szerezte meg: a jelenleg is látható kastély falait 1560 - 1581 között emelték fel.