Il palazzo, posto nel cuore del rione Borgo, fu costruito tra il 1470 e il 1490 per il cardinale di San Clemente, Domenico Della Rovere, con progetto di Baccio Pontelli o di Meo del Caprina. Fu poi abitato dal duca d'Urbino, Francesco Maria della Rovere e nel 1601 passò al cardinale Francesco Alidosi. Più tardi il palazzo fu destinato alla residenza dei prelati che avevano incarico di confessare nella Basilica di San Pietro e fu noto come "dei Petinenzieri". Con la demolizione della Spina di Borgo il palazzo non fu interessato dagli sventramenti e ora lo si ammira in tutta la sua grandiosità. Il modello architettonico segue quello creato per il palazzo di Venezia, con un'alta torre e finestre crociate. Nel 1948 si operarono dei restauri che portarono alla luce intere sale con vasti fregi, decorazioni parietali e perfino iscrizioni murali dei Lanzichenecchi, risalenti al Sacco di Roma. Celebre è la sala con il Soffitto dei Semidei, dipinto dal Pinturicchio con motivi mitologici, biblici e di storia greca e romana. In queste sale visse fastosamente il Cardinale Luigi d'Aragona assieme alla figlia Tullia. Notevoli anche il grandioso salone delle prospettive - anche detto del trono, dipinto a quadrature a tutt'altezza e la galleria affrescata con affaccio sul giardino e sul cortile circondato da colonne ottagonali e con loggiato. La visita condurrà nella sala del Trono, dei mesi e delle stagioni, degli Apostoli e dei Profeti, e se possibile anche nella Cappella. Da diversi decenni è sede dell'Ordine Equestre dei Cavalieri del Santo Sepolcro.