Villa San Carlo Borromeo ima bogatu istoriju. U 8. veku pre nove ere Na ovom mestu je bilo keltsko naselje, a Julije Cezar - ispred Rimljana. Oni su podigli moćna utvrđenja koja su ostala neprekidna dugo vremena. Nakon toga, Longobardi su preuzeli vlasništvo tvrđave, dok se konačno u XIV vijeku ova zemlja nije prepustila porodici Visconti. Po njihovom naređenju izgrađena je prekrasna renesansna palata.

Porodica Borromeo se prvi put pojavila u istoriji vile krajem 17. veka u vezi sa dinastičnom brakom: Federiko Borromeo se udala za Veroniku Visconti. Federiko je odlučio da ponovo izgradi imanje. Slučaj oca nastavio je sina Gilberta. Takođe je naručio novi prostor za vilu. Njegov sin je sv. Karlo Borromeo, najpoznatiji predstavnik slavne porodice. Borromeo je posedovao vilu do sredine XX vijeka. Aristokrati su imali široke kontakte. Na primjer, u XVIII-XIX vijeku, Diderot i Stendal su bili česti gosti u vili.

Tokom Drugog svetskog rata, zgrada i park su bili veoma oštećeni i dugo su bili u lošem stanju. 1983. godine imovinu je kupila italijanska organizacija Università internazionale del secondo rinascimento, koja je pronašla sredstva za restauraciju. Unutrašnjost je obnovljena, fokusirajući se na arhivske crteže. Situacija je pokupila višestruku, uglavnom antikvitete. Sada se vila koristi kao hotel i kao mali privatni muzej. Ovde su takođe organizovane proslave.