Мечеть построена, согласно преданию, первым правителем Касимовского ханства Касим-ханом в XV веке. По другим сведениям, её построил хан Шах-Али веком позже. В XVIII веке мечеть была разрушена, сохранился только минарет и фундамент. Новая одноэтажная мечеть на старом фундаменте была построена в 1768 году по указу Екатерины II. В 1835 году здание было надстроено вторым этажом. В советское время в здании мечети размещался краеведческий музей. В 2013 году оно было передано Духовному управлению мусульман Европейской части Росcии.