Im Jahre 1865 beauftragte Fürst Karl Egon III. seinen Architekten Theodor Dibold, eine leerstehende ehemalige Zehntscheune am heutigen Karlsplatz für seine naturkundlichen, historischen und kunstgeschichtlichen Sammlungen umzubauen.

Von dem ursprünglichen Scheunenbau, der um eine Stockwerk erhöht wurde, blieben nur die Außenmauern, die jedoch durch eine reich gegliederte Fassade ein ganz neues Aussehen bekamen.

Ornamente und Medaillons aus der Werkstatt des Hüfinger Bildhauers Xaver Reich schmücken die Fassade. Die Medaillons geben die Köpfe folgender Männer wieder: Johannes Kepler (dt. Astronom und Mathematiker 1571-1630), Carl von Linnè (schwedischer Naturforscher, Reformator der naturhistorischen Nomenklatur, 1707-1778), George Cuvier (frz. Zoologe und Paläontologe 1769-1832), Leopold von Buch (dt. Geologe, 1774-1853), Alexander von Humboldt (1769-1859, dt. Naturforscher), Peter von Cornelius (dt. Maler und Graphiker 1783-1867), Bertel Thorwaldsen (1768-1844, dän. Bildhauer), Albrecht Dürer (1471-1528) und Peter Fischer der Ältere (Hauptmeister der dt. Plastik der Dürerzeit).

Ein kleiner steinerner Ziergiebel hoch über der Eingangstür trägt eine Inschrift mit dem Motto des gesamten Hauses: Bonarum Artium et naturae studio (Dem Studium der schönen Kunst und Natur). In den Giebelfeldern schließlich sind ein  riesiger Ammonit und ein Löwenkopf zu sehen.

Von der ehemals reichen Innenausstattung des Donaueschinger Neubaus mit seinen erlesenen Tapeten und dekorativen Wandmalereien mit Künstlermedaillons ist heute nichts mehr vorhanden. All dies fiel vermutlich der Renovierung des Hauses in den Zwanziger Jahren des vergangenen Jahrhunderts zum Opfer

Die Einrichtung war spätestens 1873 vollständig abgeschlossen, als der Fürst die Pläne und ein Begleitheft über die fürstlichen Sammlungen  zur Weltausstellung nach Wien schickte und dabei das Gebäude wie folgt beschrieb:

“Der Karlsbau (ist) ein im Jahre 1868 vollendetes, massiv von Stein ausgeführtes Gebäude von drei Stockwerken. Das untere Stockwerk enthält einerseits die Arbeitszimmer des Verwalters, eine Sammlung physikalischer Instrumente, die meterologische Beobachtungsstation,

ein chemisches Laboratorium, Vorratsräume und das Zimmer des Sammlungsdieners, andererseits in zwei großen Sälen die geognostische und geologische Sammlung. Das mittlere Stockwerk enthält einerseits in einem großen Saale die ornytognostische Sammlung und in einem kleineren anstoßenden Saale die anthropologische und ethnologische Sammlung, andererseits in zwei Sälen die zoologische Sammlung und das Herbarium.

Das obere Stockwerk enthält einerseits in einen mit Oberlicht beleuchteten Saale und einer Anzahl um denselben herumliegender kleiner Kabinette die Gemäldesammlung, eine wechselnde Ausstellung von Kupferstichen und Photographien und eine Anzahl Andenken an verstorbene fürstliche Familienmitglieder, andererseits in ganz gleicher Einteilung des Raumes die Sammlung von Gipsabgüssen nach Antiken und einzelne Gypsmodelle von modernen Künstlern“.