Das Castello wurde wohl erstmals auf einem Felsen von den Longobarden errichtet. Im Jahre 590 wurde es zerstört und anschließend von Ihnen wieder errichtet. Nach der Invasion der Ungarn nahmen die Bischöfe Veronas das Castell in Besitz. Von 1277 bis 1387 ging es dann an die Scaliger über, die dem Castello auch seinen Namen verliehen. Bis 1403 war es in der Hand der Visconti und anschließend bis 1797 in Besitz der Serenissima. Unter Napoleon nahmen die Franzosen vorübergehend das Castell in Besitz und in der Folge die Östereicher ( 1798 bis 1866 ). Am 22. August 1902 wird das Castello zum nationalen Monument erklärt. Heute beherbergt das Gebäude ein Museum, in welchem natürliches Erbgut des Monte Baldo ausgestellt ist, aber auch viele Maler und Bildhauer der Gegend ihre Werke zeigen können. Neben dem Castello ist außerdem ein Zelt errichtet worden, welches Künstlern die Möglichkeit gibt Musik- oder Theateraufführungen zu veranstalten.