Pavilon byl vybudován za účelem instalace Braunových a Brokofových soch a znovuosazení fresky V.V. Reinera. Freska byla původně umístěna v Barokním hospitále s kostelem Nanebevzetí P. Marie, který nechal v roce 1728 vystavět Jan Josef z Valdštejna. Hospitál byl v roce 1958 zbořen a Reinerova freska byla přemístěna do nového pavilonu v zámecké zahradě. Pavilon byl postaven podle návrhu architekta Jana Sokola. Otevřen byl v roce 1983 pod záštitou UNESCO.