Il castello di Lari è stato sede di importanti magistrature pisane, fiorentine, toscane e anche dello Stato italiano. Qui vi furono condotti processi per stregonerie sotto la direzione della inquisizione romana. Sempre qui, i carcerati venivano tenuti in condizioni estreme, torturati, processati e poi condotti a morte.

Nel Castello sono visibili reperti etruschi, romani e rinascimentali, come le terrecotte invetriate dei Della Robbia, affreschi medievali e rinascimentali, il “Salone dei tormenti”, le carceri e i sotterranei detti “l’inferno”.  

Oltre che per la sua bellezza, il Castello dei Vicari è noto anche per alcune antiche testimonianze secondo cui il Castello sarebbe abitato dal fantasma di Giovanni Princi, detto Rosso della Paola, a suo tempo incarcerato e condotto a morte per le sue idee politiche.  Si narra che nella notte tra il 15 e il 16 dicembre il fantasma inquieto del Rosso della Paola ritorni a farsi sentire tra quelle mura intrise di sofferenza, manifestandosi con colpi che risuonano fino ai piani superiori. Forse reclama ancora giustizia, quella giustizia che mai ebbe in vita.