W miejscu dworu Tobiasza Morsztyna, Jan Andrzej Morsztyn zleca budowę rezydencji z dziedzińcem od Krakowskiego Przedmieścia.

Za projektanta powszechnie uważano Tylmana z Gameren, jednak pracami kierował najpewniej Giovanni Battista Gisleni. Pałac Morsztyna uzyskuje formę barokowego, prostokątnego, piętrowego korpusu z czterema dostawionymi wieżami. Dla budowy pałacu Jan Andrzej Morsztyn uzyskał nawet od króla Jana Kazimierza zgodę na rozbiórkę części Wałów Zygmuntowskich.