Bereits unter Kurfürst Carl Philipp gab es in Mannheim eine Sammlung von Gemälden, die auf die Sammlung seines Vorgängers Johann Wilhelm aufbaute. Um die ca. 250 Bildwerke angemessen zu präsentieren, hatte er im östlichen Eckpavillon Malereikabinette, unter anderem mit kunstvoll gestalteten Böden, einrichten lassen. Diese Räume wurden jedoch nur ausgewählten Gästen zugänglich gemacht.
Als Carl Theodor, entfernter Verwandter und Nachfolger von Kurfürst Carl Philipp, 1742 seine Residenz in Mannheim bezog, war der Grundstock bereits gelegt. Getreu dem Geschmack seines Großonkels baute der neue Kurfürst die Sammlung gezielt aus und kaufte vor allem holländische und flämische aber auch italienische Kunstwerke. Bald konnte die Galerie die beachtliche Anzahl von fast 1.000 Gemälden vorweisen. Zu sehen waren die Werke in einer eigens dafür angelegten Gemäldegalerie im westlichen Schlossflügel. Anders als sein Vorgänger ließ Kurfürst Carl Theodor diese für Interessierte und zum Studium öffnen.
1798 wurde die Sammlung in Carl Theodors neue Residenz München gebracht.
Die ausgestellten Gemälde stammen alle aus der kurfürstlichen Sammlung und sind Dauerleihgaben der Alten Pinakothek München.