In 1841 bancherul Charles-Juste Bugnion a cumparat o proprietate pe dealul de la marginea orasului Lausanne. Vederea magnifica asupra catedralei si a lacului a fost retinuta intr-un tablou semnat de Camille Corot in 1825.

Ch.J. Bugnion a construit aici intre anii 1842-1850 un conac, dupa un proiect realizat impreuna cu arhitectul Louis Wenger. In 1976 urmasii sai au lasat ca mostenire orasului cladirea si o parte a parcului. Cladirea a fost complet restaurata, fiind in acelasi timp infiintata o fundatie privata care avea ca scopuri pastrarea si promovarea frumosului conac din secolul al XIX-lea, si crearea unui muzeu de arta de clasa mondiala.

Fundatia Hermitage din Lausanne (Fondation de l'Hermitage) poseda si o colectie care nu este intotdeauna accesibila.

Al doilea obiectiv prinde viata in 1984, iar de atunci, in fiecare an, sunt organizate doua-trei expozitii de reputatie internationala.

Colectia fundatiei, care a fost formata cu mai bine de douazeci de ani in utma, include astazi mai mult de 600 de lucrari. O selectie a pieselor este prezentata in mod regulat, in paralel cu expozitii temporare.

Cea mai mare parte a colectiei provine din cadouri, mosteniri si imprumuturi permanente efectuate de la infiintarea fundatiei in 1984. De remarcat este bogata colectie a familiei Bugnion care contine portrete care ajung pana la mijlocul secolului al XVIII-lea impreuna cu opere importane ale lui Bocion. Printre multele donatii primite sunt incluse opere ale artistilor impresionisti si post-impresionisti, Sisley, Guillaumin, Morren, Puigaudeau, precum si o frumoasa colectie de pictori ai cantonului Vaud din secolul XX - Gleyre, Chavannes, Vallotton, Bosshard, Domenjoz. In 1998 colectia a fost imbogatita de mostenirea extraordinara de la Lucie Schmidheiny, care include lucrari de Tiepolo, Fantin-Latour, Vuillard, Degas si Braque. Recent, Fundatia a primit un grup important de lucrari si de la Suzanne Valadon. Diferiti sponsori privati au sustinut achizitii majore, inclusiv in anul 2000 un tablou de Boudin, in 2007, un auto-portret de Fantin-Latour, iar in 2011 un peisaj de Bocion.

Numerosi colectionari si fundatii private si-au inclus, de asemenea, colectiile in Fondation de l'Hermitage – de exemplu Fondation pour l'art et la culture, care a incredintat Fundatiei l’Hermitage o colectie cuprinzand 350 de sculpturi, picturi, desene si gravuri.

Un alt important imprumut pe termen lung este o colectie de portelan chinezesc datand din perioada secolelor XII - XIX, o proprietate a Fundatiei Vergottis. O selectie a acestui ansamblu este prezentata incepand din ianuarie 2003, in subsolul muzeului.