По преданию, место для храма выбрал Сергий Радонежский: совершая паломничество из Троицкой лавры в серпуховский Высоцкий монастырь, он остановился на крутом берегу Нары, очарованный красотой пейзажа. Преподобный посадил дуб, от которого к концу XIX века остался один пень в тринадцать аршин обхватом. Век церкви оказался еще короче: Иванова Гора подверглась нашествию крымских татар, литовских интервентов и наполеоновских войск, и от постройки ничего не осталось.
В 1892-м местный фабрикант Диомид Митрофанович Хутарев решил воссоздать ее, вернее, построить заново . В том году исполнялось 500 лет с момента кончины преподобного Сергия, .Колокольня, по мысли мецената, должна была стать самой высокой в сельской России — 112 аршин, то есть 79,5 метра, — всего на полтора метра ниже колокольни Ивана Великого в Московском Кремле.