В Сергеевке дом для господ не достроен, но веселит даже это: «Окон и дверей нет, а удочки готовы». До исхода июля Сережа, отец и дядька Евсеич удят на озере Киишки, которое мальчик считает своим собственным; Сережа впервые видит ружейную охоту и чувствует «какую-то жадность, какую-то неизвестную радость». Лето портят только гости, правда нечастые: посторонние, даже ровесники, тяготят Сережу.
После Сергеевки Уфа «опостылела». Сережу развлекает только новый подарок соседа: собрание сочинений Сумарокова и поэма «Россиада» Хераскова, которую он декламирует и рассказывает родным разные выдуманные им самим подробности о любимых персонажах. Мать смеется, а отец беспокоится: «Откуда это все у тебя берется? Ты не сделайся лгунишкой». Приходят известия о смерти Екатерины II, народ присягает Павлу Петровичу; ребенок внимательно слушает не всегда понятные ему разговоры обеспокоенных взрослых.
Приходит известие о том, что дедушка умирает, и семья сразу собирается в Багрово. Сережа боится видеть умирающего дедушку, боится, что маменька от всего этого захворает, что зимой они замерзнут в пути. В дороге мальчика мучают печальные предчувствия, и вера в предчувствия укореняется с этих пор в нем на всю жизнь.
Дедушка умирает через сутки после приезда родных, дети успевают попрощаться с ним; «все чувства» Сережи «подавлены страхом»; особенно поражают его объяснения няньки Параши, почему дед неплачет и не кричит: он парализован, «глядит во все глаза да только губами шевелит». «Я почувствовал всю бесконечность муки, о которой нельзя сказать окружающим».
Поведение багровской родни неприятно удивляет мальчика: четыре тетки воют, повалившись в ноги брату – «настоящему хозяину в доме», бабушка подчеркнуто уступает власть матери, а матери это противно. За столом все, кроме Матери, плачут и едят с большим аппетитом. И тогда же, после обеда, в угловой комнате, глядя на незамерзающий Бугуруслан, мальчик впервые понимает красоту зимней природы.
Вернувшись в Уфу, мальчик опять переживает потрясение: рожая еще одного сына, чуть не умирает мать.
Став хозяином Багрова после смерти деда, отец Сережи выходит в отставку, и семья переезжает в Багрово на постоянное житье. Сельские работы (молотьба, косьба и пр.) очень занимают Сережу; он не понимает, почему мать и маленькая сестра к этому равнодушны. Добрый мальчик пытается жалеть и утешать быстро одряхлевшую после смерти мужа бабушку, которую он до того, в сущности, не знал; но ее обыкновение бить дворовых, весьма обычное в помещичьем быту, быстро отвращает от нее внука.
Родителей Сережи зовет в гости Прасковья Куролесова; отец Сережи считается ее наследником и потому ни в чем не перечит этой умной и доброй, но властной и грубоватой женщине. Богатый, хотя и несколько аляповатый дом вдовы Куролесовой поначалу кажется ребенку дворцом из сказок Шахерезады. Подружившись с матерью Сережи, вдова долго не соглашается отпускать семью назад в Багрово; между тем суетливая жизнь в чужом доме, вечно наполненном гостями, утомляет Сережу, и он с нетерпением думает об уже милом ему Багрове.
Вернувшись в Багрово, Сережа впервые в жизни в деревне по-настоящему видит весну: «я <...> следил за каждым шагом весны. В каждой комнате, чуть ли не в каждом окне, были у меня замечены особые предметы или места, по которым я производил свои наблюдения...» От волнения у мальчика начинается бессонница; чтобы он лучше засыпал, ключница Пелагея рассказывает ему сказки, и между прочим – «Аленький цветочек» (эта сказка помещена в приложении к «Детским годам...»).Осенью по требованию Куролесовой Багровы гостят в Чурасове. Отец Сережи обещал бабушке вернуться к Покрову; Куролесова не отпускает гостей; в ночь на Покров отец видит страшный сон и утром получает известие о болезни бабушки. Осенняя дорога назад тяжела; переправляясь у Симбирска через Волгу, семья чуть не потонула. Бабушка умерла в самый Покров; это страшно поражает и Сережиного отца, и капризную Куролесову.
Следующей зимой Багровы собираются в Казань, помолиться тамошним чудотворцам: там никогда не был не только Сережа, но и его мать. В Казани предполагают провести не больше двух недель, но все складывается иначе: Сережу ожидает «начало важнейшего события» в его жизни (Аксакова отдадут в гимназию). Здесь кончается детство Багрова-внука и начинается отрочество.