En 1782, l’architecte Pierre Rousseau entreprit la construction d’un hôtel particulier pour le prince Frédéric III de Salm-Kyrbourg, sur un terrain que ce dernier avait acheté au prince de Conti. Le prince venait de se marier et souhaitait acquérir une résidence plus grande que l’hôtel parisien qu’il louait jusqu’alors. Il s’y installa en 1788, alors que les travaux de décoration intérieure n’étaient pas encore terminés. Ce chantier s’avéra difficile, suspendu à de nombreuses reprises, faute de paiements de la part du prince. La construction de cet hôtel lui coûta si cher qu’il fut toute sa vie poursuivi par ses créanciers.