A Kont család - a bizonyára szűk és kényelmetlen - Bátorkő vára mellett, de annak további fenntartásával egy rangját és hatalmát kifejező fényűző palotát is építtetett, amely a településnek is névadójává vált. Ennek a palotának az épületeit felhasználva kezdődött az 1440-es évek elején Újlaki Miklós szabályos négyszögalakú, belsőtornyos várának az építése, amelyet később többször megerősítettek és átépítettek, míg mai formája kialakult.

Várnai Dezső: Várpalota várának építési korszakai. = Magyar műemlékvédelem 1967-1968. 147-153. p.