Андрей Иванович Желябов родился в 1851. О детстве своем Желябов сообщает:
"Мы из помещичьих дворовых, оба деда по отцу и по матери вывезены были своим барином, помещиком Штейном (получившим место по администрации), в Крым в первые годы этого столетия из Костромской губернии. По пути следования по Херсонской или Полтавской губернии, помещик, ехавший по-старинному с дворней и обозом, остановился для отдыха и веселья у родича — помещика. Здесь, дед по матери, Таврило Тимофеевич Фролов, женился на вольной казачке Акулине Тимофеевне. В Крыму Штейн роздал крестьян в приданое дочерям, иных продал.
Семейство Желябовых и Фроловых пошло в разные руки. Первое — за дочерью Штейна перешло к Нелидову, от которого освобождено в 1861 году. Второе досталось куплей греку, малоазиатскому выходцу Лампси, разбогатевшему продажей табунов лошадей, за деньги вышедшему в дворяне с правом иметь крепостных. От этого Лампси семейство Фроловых за дочерью его перешло к Лоренцову, отец которого — тоже выходец греческий — был простым каменщиком, изготовлял надгробные памятники, разбогател таинственно, сына обучил, определил на службу и купил дворянство. От Лоренцовых семейство Фроловых освобождено в 1861 г. Все члены семейства Желябовых и Фроловых наполняли разные дворовые службы: так, отец мой был отдан в обучение садовнику — немцу, дядя (Желябов) — повар, тетка (Желябова) — фрейлина, дядя (Фролов) — лакей, тетя (Фролова) — горничная. Имение Нелидова Султановка (первая почтовая станция от Феодосии, б. Феодосийского уезда, в 23 км от Керчи). Имение Лампси называется Ашбель (б. Феодосийского уезда). Имение Лоренцовых в 16 км от Феодосии называлось Кашки-Чекрак. Помещик Нелидов, состоя на военной службе, проживал в Симферополе. Отцу по делам экономии приходилось часто ездить из Султановки в Симферополь, обязательно через Ашбель (третья станция по той же Феодосийской дороге). Здесь приглянулась ему моя мать, дочь Фролова. После многократных приключений отец мой, плативший помещику Нелидову по тому времени большой оброк за нахождение в услужении у южнобережного садовода-немца, упросил Нелидова купить Варвару Гавриловну, мою мать. Купля состоялась. Часто отец, понукая мать, говорит и теперь: "Поворачивайся, ведь стоишь 500 руб. и пятак медный" (точная цена).
После женитьбы отца семейство Фроловых за дочерью Лампой переехало в Кашки-Чекрак. Все члены семейства Получили обязанность при дворе; деду за выслугой предоставлена свобода от обязательной работы, — он жил с бабкой Акулиной Тимофеевной на птичьем дворе, стоявшем особнякам. (Ведомство бабье). Здесь я провел детство свое (от 4 до 8 лет). Дед, высокий, седоволосый старик, всегда ходил в длиннополом сюртуке рыжего верблюжьего сукна. Как теперь помню вечно задумчивый взгляд, лицо, не знавшее улыбки, открытый лоб, седые кудри, падающие на воротник, румянец ко всю щеку (в 60–70 лет от роду) и громадную седую бороду. Насколько понимаю, он, вероятно, заражен был раскольничьим духом: вечно возился со старыми книгами в тяжелых переплетах, дважды Библию прочитал, как и теперь о нем говорят в семье, желая высказать почтенье. Это — мой учитель и воспитатель. У него я научился грамоте церковной, от (него перенял многие взгляды, поставившие меня в оппозицию с семейством родителей, по возвращении к ним. Только мать моя с радостью выслушивала моя глупости, говоря: "Не желябовский дух, а фроловский! Недаром дедушка тебя Фролёнком называет". Образ дедушки для меня милее всех, потому я и остановился на нем. Ровно 25 лет назад дедушка, осенив меня крестным знаменьем, посадил за книжку говоря: "Пора учиться! Прочти молитву и пусть господь поможет тебе, будешь учиться — будешь человеком". Учил меня дед по-старому— аз, буки, веди — да еще с титлами, но в ученье он влагал всю душу, и я к 7–8 годам знал Псалтырь наизусть. Велика была радость дедушки, когда, отправляясь со мною гулять в горы или в лес рубить дрова, он говорил: "Ну, Фроленок, псалом такой-то!" И Фролёнок барабанил без ошибок. Тогда повсюду ждали воли, считали каждый день, но с затаенным дыханием. Помещики, по словам дедушки (верно или нет), хотели выместить зло "напоследок: завели шпионство, пороли за всякую провинность. Помню, как бабушка, вечно плакавшая: "И зачем это пошла я в неволю!" — на цыпочках всегда подкрадывалась к окошку вечером, прислушиваясь, нет ли там Полтора-Дмитрия, приказчика и шпиона, прозванного за громадный рост "полтора". Впоследствии, до освобождения, ему, мой дядя Желябов, проживавший на оброке близ Кашки-Чекрака и чувствовавший себя полувольным человеком, за добродетель проломил голову. Что помещики пользовались властью до последних дней, — вот семейные воспоминания детства моего. Из дедушкина жилища я слыхал вопли дяди Василия (лакея), когда пороли его на конюшне… О детстве своем я никому не рассказывал, даже друзьям. Я помню, как поздней мочью, моя тетя Люба (швея) прибежала в наш дом и, рыдая, повалилась дедушке в ноги. Я видел распущенные косы, изорванное платье, слышал слова ее: "Тятенька! миленький тятенька, спасите!". Меня тотчас увели и заперли в боковой комнате. Слыша рыдания любимой тетки, я плакал и бился в дверь, крича: "За что мою тетку обижают?". Скоро послышались мужские голоса. Полтора-Дмитрий с людьми пришел взять Любу в горницу. Голоса удалились, что произошло там, я не знаю. Про меня забыли. Истомленный, я уснул. На другое утро бабушка украдкой отирала слезы; дедушки не оказалось дома, по словам бабушки, он ушел в город, мне гостинцев купить. Напрасно в тот день мы сидели с бабушкой на горе, над почтовой дорогой. Обыкновенно, увидав высокую фигуру дедушки и шайку на палке, я бежал ему навстречу версты за две от горы. Дедушка брал меня на руки и, подойдя к бабушке, оставлял меня и делал привал. На этот раз его не было двое суток; возвратился он какой-то особенный. Впоследствии, из разговоров старших я узнал, что помещик изнасиловал тетю, что дедушка ходил искать суда и воротился ни с чем, так как помещик в то же утро был в городе. Я был малым ребенком и решил, как вырасту, убить Лоренцова. Обет этот я помнил и был под гнетам его до 12 лет. Намерение мое было поколеблено словами матери: "Все они, собаки, — мучители". Отец готов был итти на компромиссы, но мать никогда… Она и теперь дышит к ним такой же ненавистью.
