Der Name Greyerz (franz.: Gruyères) leitet sich wahrscheinlich vom Wappentier des Kranichs (franz.: grue) ab. Obwohl die Grafen von Greyerz zu den bedeutendsten Fürstengeschlechtern der Westschweiz gehören, sind ihre Wurzeln nur ungenau bekannt. Vom 11. bis ins 16. Jh. sind 19 Grafen bezeugt.
Michael, der letzte Graf von Greyerz, geriet in finanzielle Schwierigkeiten und ging 1554 bankrott. Seine Gläubiger, die Städte Freiburg und Bern, teilten seine Grafschaft unter sich auf. Das Schloss wurde von 1555 bis 1798 Sitz der Freiburger Landvögte, dann Residenz der Präfekten bis 1848. 1849 wurde es von der Genfer Familie Bovy gekauft und ging später an die Familie Balland über. Diese Eigentümer benutzten es als Sommersitz und restaurierten es zusammen mit ihren Künstlerfreunden. 1938 kaufte es der Staat Freiburg zurück und richtete darin ein Museum ein.
Seit 1993 kümmert sich eine Stiftung um die Erhaltung der Gebäude und die Präsentation der Sammlung.
