Строительство этого большого барского дома начал князь Н.С. Волконский - дед Толстого. Вначале были построены расположенные в одну линию два совершенно одинаковых каменных флигеля. В них поселилась семья князя, пока шло возведение основной части здания. Однако Н. С. Волконский успел только заложить фундамент и построить каменный первый этаж. Смерть помешала. Дом был достроен отцом писателя Н. И. Толстым.
Семья Н.И. Толстого быстро росла и уже не могла довольствоваться существовавшими помещениями. Были построены еще два этажа, но не каменных, а деревянных, оштукатуренных изнутри. К тому же Н. И. Толстой испытывал большую нужду в деньгах. Постройка была закончена в 1824 году. Дом получился большой, просторный. Л. Н. Толстой писал, что в нем было 42 комнаты.
Историю постройки этого дома писатель воспроизводит в романе "Война и мир": "Усадьба "Лысых гор" была вновь отстроена, но уже не на ту ногу, на которой была при покойном князе. Постройки, начатые во времена нужды, были более чем просты. Огромный дом стоял на каменном фундаменте, но большей частью был деревянный, оштукатуренный только изнутри".
Яснополянский дом возвели в стиле ампир начала XIX века. На нижнем цокольном этаже были поставлены высокие колонны, между ними - балкон. За колоннами - высокие парадные комнаты. Особенно тщательно был отделан бельэтаж: потолки украшены лепкой, пол устлан паркетом. В остальных комнатах пол был из обыкновенных некрашеных досок. В доме находились детская комната, классная, официантская, диванная, фортепьянная, комната для холостых, большая гостиная, малая гостиная и так далее.
В одной из этих комнат 28 августа (9 сентября по новому стилю) 1828 года родился Лев Николаевич Толстой.
Родительский дом, таким, каким он помнил его с детских лет, Толстой описал в трилогии "Детство", "Отрочество", "Юность"...
В начале 50-х годов Лев Николаевич служил в Крыму и на Кавказе. Некоторые места боевых действий, в которых он принимал участие, совпадают с районами проведения контртеррористической операции в наше время. Названия населенных пунктов за 150 лет не изменились. Не было тогда только селения Толстой-юрт.
Толстой был обыкновенным офицером. И его распорядок дня был обычным: в светлое время суток - походы и бои, в темное - карточные игры. Играли офицеры, разумеется, не в "дурака". Денежные долги молодого графа Толстого росли, как снежный ком. Когда в 1854 году задолженность перевалила за критическую отметку, Лев Николаевич послал заведовавшему в то время его имущественными делами своему родственнику В.П. Толстому письмо с просьбой продать доставшийся ему в наследство родительский дом, а вырученные деньги срочно выслать в воинскую часть. Просьба была выполнена. Дом продали на снос (то есть очень дешево) соседнему помещику Горохову и вывезли в село Долгое, в 20 верстах от Ясной Поляны.
Только через 43 года после продажи дома Толстой побывал в Долгом. В то время дом уже был необитаем. С грустным чувством ходил Лев Николаевич по пустым комнатам. Через два дня после посещения в дневнике от 6 декабря 1897 года он сделал запись: "Четвертого ездил в Долгое. Очень умиленное впечатление от развалившегося дома. Рой воспоминаний".
Память о проигранном родительском доме Толстой сохранил на всю жизнь. Во многих произведениях писателя в описаниях помещичьих усадеб нетрудно узнать большой яснополянский дом, в котором он родился. К сожалению, ни фотоснимков, ни рисунков этого дома в том виде, каким он был в Ясной Поляне, не сохранилось. Есть, правда, фотографии, сделанные уже на новом месте...
В 1913 году имение в Долгом было куплено местной крестьянской общиной. Пришедший в полную негодность дом по решению сельского схода был разобран... На месте, где стоял отчий дом, Толстой посадил деревья. Теперь им уже около 150 лет. Здесь растет и старая лиственница. "Когда кто-нибудь спрашивал отца, - вспоминал сын писателя Илья Львович, - где он родился, он показывал на высокую лиственницу, растущую на месте старого фундамента. - Вон там, где теперь макушка этой лиственницы, была маменькина комната, там я и родился, на кожаном диване, - говорил он".
На месте, где стоял большой яснополянский дом, теперь лежит небольшой камень с надписью: "Здесь стоял дом, в котором родился Л.Н. Толстой".