1895 ein Jahr nach dem Carl Schwartz als Bankier in den Ruhestand getreten war beauftragte er den Architekten Christian Heidecke mit dem Bau der Villa. Am 16. Februar 1898 anlässlich der Taufe des ersten Enkels Wolfgang wurde das Haus eingeweiht.
Die geräumige Villa und der schöne Garten dienten der Familie als Sommersitz. Nach dem Tod von Carl Schwartz wurde das Haus 1915 umgebaut. Im Erdgeschoss wohnte die Tochter Gabriele Schwartz mit ihrer Haushälterin Auguste Schulz und deren Tochter Lotte Lehmann. Im ersten Obergeschoss lebte die Tochter Charlotte mit ihrem Mann Stephan Wiesand. Gabriele Schwartz starb bei einem Bombenangriff in den letzten Kriegswochen 1945. Nachdem auch Auguste Schulz, die mittlerweile die Mansarde bewohnte, verstorben war, stand das Haus völlig leer.
Nach Kriegsende war die Wadzeck-Anstalt, ein Waisenheim, kurzzeitig im ersten Stock untergebracht. Das Haus galt schon damals aufgrund der Verkehrslage als ungeeignet für ein Waisenheim. 1947 zog es nach Lichterfelde. Die Räume wurden dann von der "Schloßpark–Gesellschaft" gemietet, die dort ein Lager der Firma Butter–Beck einrichtete. Das Bezirkswohnungsamt widersprach heftig dieser Zweckentfremdung von Wohnraum.
Erst 1961 wurde das Grundstück von der Erbengemeinschaft der Nachkommen durch das Land Berlin erworben. Beabsichtigt war zunächst ein Erweiterungsbau des Rathauses. Spätere Bebauungspläne sahen die Errichtung eines "Hauses der Erwachsenenbildung" (VHS) oder eines Hallenbades vor. Die "Kulturinitiative Lankwitz " setzte sich seit Anfang 1981 für die Erhaltung und den Ausbau der Villa zum Kulturzentrum ein. Sie veranstaltete im Juni 1981 ein erstes Straßenfest auf dem Hermann–Ehlers–Platz, mit dem sie für ihre Idee warb.
1983 wurde das Haus unter Denkmalschutz gestellt. Am 25. Mai 1983 gründete sich der "Trägerverein Kulturhaus SchwartzÂ’sche Villa", der ein erstes Nutzungskonzept entwickelte. In der Folge fiel die Entscheidung für ein Kulturzentrum. 1991 wurde die Bausumme von 10 Mio. DM durch das Abgeordnetenhaus von Berlin bewilligt. Im Februar 1992, genau 97 Jahre nach der Einweihung des Sommersitzes, erlebte das Haus seine zweite Grundsteinlegung. 1995 wurde die Schwartzsche Villa als Kulturhaus eröffnet.
