Citato per la prima volta in alcuni documenti ufficiali del XV secolo, fu costruito con blocchetti di calcare, arenaria e mattoni. Posto in pendio, presenta una pianta irregolarmente pentagonale con 5 torri collegate tra loro da un camminamento sulla sommità delle mura. A metà del muro meridionale fu inserita una sesta torre per proteggere la porta d’ingresso al castello.
Il mastio, elemento principale di tutta la rocca, è rivolto verso la sommità dell’isola, in posizione dominante rispetto al resto della costruzione: a pianta ottagonale, è costruito con pietre lavorate e impreziosito da beccatelli in cotto.
L’interno sembra mancare degli edifici destinati alla vita quotidiana, in quanto il castello polvesano non è mai stato una residenza signorile, ma luogo di rifugio e di difesa per gli abitanti dell’isola e per la comunità dei religiosi olivetani di San Secondo.