Il palazzo pontificio è l’evoluzione rinascimentale della rocca di Castel Gandolfo.
I lavori sono stati avviati da Urbano VIII Barberini e ultimati nel 1626.
In seguito sono stati sistemati i giardini e la piazza antistante l'ingresso principale.
Nel corso dei secoli l'edificio è stato ampliato e restaurato più volte.
Alessandro VII sistemò la facciata principale e il braccio ovest del palazzo.
Benedetto XIV fece decorare la galleria principale con vedute dei Colli Albani.
Pio XI lo ricostruì quasi completamente lasciando intatta solo la facciata.
All'interno molte sale sono decorate da preziosi affreschi degli Zuccari.
Dal 1936 ospita la Specola Vaticana, l’osservatorio astronomico e centro di ricerca, fondata da Gregorio XIII nel 1585.
I giardini si estendono sui resti della villa dell’imperatore Domiziano e in una delle uscite della palazzo si trova una statua equestre di marmo che rappresenta lo stesso Domiziano.
I pontefici sono soliti recarsi a Castel Gandolfo almeno una volta l'anno.
Seguici sui social