Дом, купленный для нужд университета в 1805 году. В нём расположилась канцелярия, приёмная и квартира ректора.
Двухэтажное здание предположительно конца XVIII века. Дом принадлежал казанскому коменданту Степану Николаевичу Кастелли (1753-1806). Кастелли был генерал-майором, участником Итальянского похода Русской армии в 1799 году.
В 1805 году Императорский Казанский университет приобрёл несколько зданий на улице Воскресенской (ныне — Кремлёвской), включая дом Кастелли с садом. На покупку трёх домов и строительные работы из казны выделили 66 тысяч рублей.
В здании на первом этаже располагалась канцелярия ректора, на втором — казенная квартира. С 1827 по 1846 год ей пользовался знаменитый математик, геометр Николай Иванович Лобачевский.
24 августа 1842 года в Казани произошёл крупный пожар. Огонь серьёзно повредил Ректорский дом. Ректор Лобачевский принимал непосредственное участие в обороне университета от огня, руководил переносом ценных книг и научного оборудования.
В августе 1846 года Лобачевский получил должность помощника Попечителя Казанского учебного округа и вынужден был оставить университет и казенную квартиру. Известно, что это событие тяжело ударило, как по душевному состоянию учёного, так и по материальному.
За домом на территории сада Кастелли ещё при первом владельце была построена каменная беседка, которая использовалась для нужд университета. В ней располагалась первая университетская обсерватория, затем — конюшня для выезда ректора. В середине XX века бывшая конюшня была квартирой для нескольких учёных. А сегодня в ней находится отделение Русского Географического общества в Татарстане.
В XX веке здание использовалось для занятий студентов-математиков. В 2017 году на втором этаже Ректорского дома был открыт Музей Николая Ивановича Лобачевского. На первом этаже располагается кафедра теоретической механики Института математики и механики Казанского Федерального университета.