1879 gründete König Ludwig II auf Antrag des Kriegsministers von Maillinger das Museum. Es war zunächst im Zeughaus in München untergebracht, ab 1905 im neu errichteten Monumentalbau am Hofgarten. Im Zweiten Weltkrieg wurde das Bauwerk zerstört und die Sammlung gelangte 1969 nach Ingolstadt. Dort befindet sie sich in einem der schönsten gotischen Profanbauten Deutschlands, dem Neuen Schloss (erbaut im 15. Jh., von Herzog Ludwig dem Gebarteten begonnen und nach Aussterben der Ingolstädter Linie der Wittelsbacher, von den Landshuter Herzögen vollendet).
Die Sammlungen von Waffen, Ausrüstung, Uniformen, Fahnen, Standarten, Gemälden und Orden geben einen Überblick über die Entwicklung des Heerwesens vom späten Mittelalter bis zum Ersten Weltkrieg. Den Schwerpunkt bildet dabei die Bayerische Armee. So sind u.a. die Uniformen aller Bayerischen Könige sowie sämtliche Fahnen und Standarten der Königlich Bayerischen Armee in der Formation von 1914 zu sehen.
Eine Besonderheit bilden auch Beutestücke aus den Türkenkriegen des 17. und 18. Jahrhunderts wie Helme, Blankwaffen und ein reich verziertes Rundzelt. 1994 wurde eine neue Abteilung über den Ersten Weltkrieg eröffnet. Sie ist in dem ehemaligen Festungswerk Reduit Tilly untergebracht, dessen Fassade Leo von Klenze gestaltet hat. Es liegt gegenüber dem Neuen Schloss am südlichen Ufer der Donau und ist über einen Steg leicht zu erreichen.
