Il grandioso palazzo, eretto dai Gerosolimitani nel XIII secolo come hospitium per i pellegrini in viaggio lungo la via Francigena, venne trasformato in fortezza nel Quattrocento. A pianta quadrata con torrioni angolari, all’interno ha un bel cortile a tre loggiati sovrapposti. Oltre alla parte residenziale (con le abitazioni dei religiosi, il refettorio e le cucine), il complesso comprendeva anche una cappella dedicata a San Giovanni Battista.

Nel Castello, nel corso dei secoli, dimorarono pontefici, sovrani ed altri illustri personaggi.
Ad oggi, appartiene ai Cavalieri di Malta ed ospita una delle cantine della Strada del Vino Colli del Trasimeno.