Путевой дворец возведен в 1763-1778гг. на месте сгоревшего дома архиерея, на территории кремля, на берегу Волги рядом с собором Спасо-Преображения (собор уничтожен в 1930-х гг.) Дворец стал собственностью императорской семьи и предназначался для остановок на пути из одной столицы в другую. Здание строилось по проекту П.Р. Никитина и М.Ф. Казакова. В 1767 г. дворец был в основном готов, в 1778 г. закончили строительство и отделку его павильонов, соединенных с основным зданием открытыми галереями. В 1822г. дворец был перестроен по проекту архитектора К.И.Росси. При этом павильоны были объединены с главным зданием.