Im Jahr 1950 fasste die Stadt Gelsenkirchen den Beschluss, systematisch eine eigene städtische Kunstsammlung aufzubauen. Da bisher keine nennenswerte Kunstsammlung existiert hatte - ein kleiner Fundus war in den 20er Jahren aufgebaut worden, aber der nationalsozialistischen Kulturpolitik zum Opfer gefallen - handelte es sich bei der Museumsgründung um einen absoluten Neubeginn.
Die Bevölkerung der Stadt, welche sich zu einem hohen Anteil aus der Arbeiterschaft zusammensetzte und mit der Bildenden Kunst kaum Berührung hatte, sollte schrittweise an die modernen avantgardistischen Strömungen herangeführt werden. Das Ankaufskonzept war daher so angelegt, einen breiten Überblick über die Malerei vom ausgehenden 19. Jahrhundert bis in die Gegenwart zu bieten.
Nach Plänen des Architekten Albrecht E. Wittig wurde 1982 mit dem Neubau an der Horster Straße begonnen. Allerdings wurde in einem ersten Bauabschnitt nur ein reduziertes Raumprogramm realisiert. Aufgrund der angespannten Finanzlage der Stadt musste die Realisierung des zweiten Bauabschnitts zurückgestellt werden. Das neue Museum wurde 1984 an der Horster Straße 5 - 7 eröffnet.