Здание Присутственных мест построено на холме, где стояла древняя крепость, в начале XIX века. В нем и в настоящее время размещается администрация города.