Der einstmals große, dreiflügelige Bau hatte auf dem historischen Karlsberg vielfältige Funktionen: Er bot neben seiner eigentlichen Aufgabe als Pflanzenhaus, um während der Überwinterung kälteempfindlicher Zitrusfrüchte zu schützen, auch Unterkünfte für Angehörige des Hofstaates sowie Bedienstete und beherbergte das Naturalienkabinett. Durch Umbauten im Jahre 1784 entstand darin zudem ein Theatersaal. Heute sind noch der mittlere Teil des Kellergeschosses sowie das steinerne Ringfundament des einstigen Ballsaales im Innenhof der Orangerie erhalten.
Die Ruine der Orangerie liegt auf dem prämierten Wanderweg der "Schlossbergtour" und lädt zum Verweilen ein.
