Sümeg 1552 és 1762 között, tehát nagyjából kétszáz éven át a veszprémi püspökség tényleges székhelye. A török 1552-ben foglalja el először Veszprémet, és ha később vissza is foglalják, sőt 1630-tól kezdve az újjáalapított káptalan is ott székel, a püspökök több-kevesebb kivétellel Sümegen éltek. A veszélyes török idő alatt lakóhelyük természetesen a vár, majd később a Várhegy oldalán kialakuló város. Ide telepítette be Széchenyi György püspök a ferenceseket. A vár alatti püspöki rezidenciáról eddigi ismereteink szerint az első adat 1733-ból származik, és arra mutatnak, hogy már a 16. század második felében állt a falakkal kerített városban püspöki lakóház, amelyet – minden valószínűség szerint – Széchenyi György püspök a püspökség birtokainak első újjászervezője, a ferences kolostor alapítója és a vár építtetője készítette. Az évek során állapota -a korabeli levelezések alapján- romolhatott, mígnem Padányi Bíró Márton veszprémi püspök nagyszabású építkezésbe nem kezdett. Bíró püspök építészeket, kőfaragókat és stukatúrosokat hozatott, és a kastélyt a meglevő épület felújításával és az új épületbe szervezésével felépíttette. Az új kastély építése tehát a meglevő épületrészek felújításával kezdődött, s csak ezután következett az új szárnyak emelése, amely 1748 és 1753 között történt, ez utóbbi időpontban már a homlokzatok is elkészültek. Még 1751-ben szerződik Bíró a kápolna belső kiképzésére, 1752-ben pedig azt jelenti Rómába, hogy bár az új rezidenciáját még nem fejezték be, az nagyobbrészt készen áll.
Építésznek nevét nem ismerjük. A püspök nagyszabású épületet hozott létre. Méltán írhatta Bíró Bécsbe: „Olyan, Magyarországon még nem látott szépségű és eleganciájú püspöki rezidenciát építettem, amelynek csodájára jár mindenki…”
A sümegi kastély építéstörténete nem zárult le Bíró Mártonnal, bár a 18-19. századból nincs egyetlen adatunk sem az építésről. Petrich András rajza és jelenlegi állapota mindennél jobban bizonyítja, hogy a későbbiekben jelentős változtatásokon ment át az épület.
Az 1990-es évek elején megkezdett épületkutatások és felújítások során többé-kevésbé tisztázódni látszik az épület különböző fázisainak főbb vonulatai. E szerint nagyjából hat periódust különböztethetünk meg:

1. Az első kisebb méretű, de már alápincézet házat valószínűleg Széchenyi György építhette az 1650-es években
2. Ezt bővítette a 17-18. század fordulóján – feltehetően – Széchenyi Pál, egy-egy oldalszárnnyal, így az épület U alaprajzot mutatott
3. Padányi Bíró Márton 1745 és 1753 között teljesen átépítteti és bővítteti, mi több mint 100.000 forint költséggel, állandó püspöki székhellyé alakítja át az épületet.
4. Az 1770-es években a nyugati homlokzatot alakítják át.
5. Az 1830-40-es években magát az épületet is átalakítják. Ekkor szüntették meg a nagytermet, amelyet három kisebb helyiségre osztottak, s talán ekkor vakolják simára az egész épületet.
6. A 19. század második felétől napjainkig tűntek el a barokk toronysisakok a zárt erkélyekről, eltűnt az északkeleti saroktorony, a fazsindelyfedés, az eredeti berendezés, és a belsőben is jelentős átalakítások történtek.

Püspöki Palota nem csupán Sümeg kiemelkedő épített örökségi értéke, de történelmi jelentőségénél fogva megyei értékként is kimagasló.
E az egyetlen egykori Püspöki Rezidencia az országban, amely jelenleg nem egyházi üzemeltetésben van.