Pałac Brühla został wysadzony przez Niemców 18 grudnia 1944 roku, po upadku Powstania Warszawskiego w ramach operacji planowego wyburzania i palenia Warszawy.

„Zaciekłość niszczenia posunięto tak daleko, że osobno wysadzano nawet bramy Pałacu Ossolińskich, ozdobione rokokowymi rzeźbami. Przy wysadzaniu tego właśnie pałacu ujawnił się najwyraźniej świadomy i fachowy stosunek do niszczonych obiektów. Pośród bowiem budowli pałacowych z XVII i XVIII wieku znajdował się budynek nowy, pozbawiony wartości artystycznej – narożnik od ul. Wierzbowej i Fredry. Otóż ten właśnie budynek pozostał nienaruszony. Tak przeprowadzić zniszczenia mógł tylko architekt lub historyk sztuki, zdolny wybrać i ocenić istotnie wartościowe elementy budowli”.

– Warszawa oskarża, 1945