Усадьба князей Юсуповых на р. Фонтанке в середине XVIII века была одной из богатейших в городе. На участке существовал роскошный барочный дворец, в плане представлявший собой сильно распластанную букву Н. Здание на высоких погребах представляло собой сочетание центрального двухэтажного объема и одноэтажных поперечных ему крыльев, соединенных одноэтажными же корпусами. От реки усадьбу отделяла трельяжная решетка. По сторонам средней подъездной аллеи, ведущей от дворца к ул. Садовой располагалось по большому боскету, центры которых отмечали пруды фигурных очертаний, соединённые между собой каналом. Через канал по центральной оси комплекса переброшен мост. От прудов к граням и углам боскетов вели дополнительные окаймленные стриженной зеленью дорожки. Парк немного не доходил до ул. Садовой, и подъездная аллея проходила между строений небольших усадеб, обращённых к улице, принадлежавших другим владельцам. У р. Фонтанки перед Г-образной в плане оранжереей существовал небольшой партерный садик с беседками. Единственное известное сегодня изображение дворца того периода сохранилось на аксонометрическом плане де Сент-Илера.В связи с прокладкой сквозной набережной и завершением благоустройства берегов р. Фонтанки дворец в 1790-х гг. перестраивается для князя Николая Борисовича Юсупова архитектором Джакомо Кваренги. При этом зодчий сохранил основные объемные членения здания (повышенный центр и более низкие крылья), но полностью сменил в духе времени декоративное решение фасадов и интерьеров, получивших в результате классицистическое оформление. Со стороны реки архитектор возвел дополнительные службы и организовал новый замкнутый парадный двор с въездом с набережной. За место двух фигурных крылец он соорудил по центру фасада открытый тамбур с ведущим к нему пандусом. Угловые ризалиты стянуты с повышенным средним лоджиями, украшенными тосканскими колоннами. Противоположный садовый фасад украсился шестиколонным портиком на террасе в уровне первого этажа с ведущей к нему широкой одномаршевой лестницей . Парк перепланировали в пейзажном стиле изменив очертания береговой линии прудов на свободные и насыпав искусственный островок. На участке бывшей оранжереи Кваренги предусматривал строительство небольшого павильона с обращенной к р.Фонтанке открытой полуциркульной нишей, маленьким кабинетцем и залом со стороны сада, отделённого от остальной территории усадьбы оградой .С 1 ноября 1810 года — первое здание Института Корпуса инженеров путей сообщения.