Als die preußischen Truppen im Jahr 1760, im Siebenjährigen Krieg, die Stadt mit Kanonen beschossen, zerstörten sie neben vielen anderen Gebäuden auch das Coselpalais. Oberlandbaumeister Julius Heinrich Schwarze baute es dann 1762 mit einigen Erweiterungen wieder auf.

Die Bombenangriffe im Februar 1945 legten - wie den gesamten Neumarktbereich - auch das Coselpalais in Schutt und Asche.

Im Jahr 1977 stellte man zunächst nur die beiden kleinen, den Hof begrenzenden Seitenflügel bzw. Torbauten wieder her. Der Wiederaufbau des Hauptgebäudes kam erst im Jahr 2000 zur Vollendung.