Отец рассказчика занимает очень важную должность в губернском городе. Человек он тяжёлый, угрюмый, молчаливый и жестокий. Невысокий, плотный, сутуловатый, тёмный и большеносый, внешне он напоминает ворона. Отец давно вдовеет, детей у него двое — рассказчик и его маленькая сестра Лиля. Вся семья живёт в просторной казённой квартире.

Больше полугода рассказчик провёл в Москве, учился в Катковском лицее. Весной, окончив лицей, он приезжает домой и поражается переменам, произошедшим в жизни его семьи. Прежде холодный и тёмный дом озаряет присутствие новой няни восьмилетней Лили — бедной девушки Елены, дочери мелкого подчинённого отца, худенькой, белокурой, с тонким нежным лицом. Она рада, что хорошо устроилась сразу после гимназии, а также приезду рассказчика, появлению в доме сверстника. При отце она робеет, постоянно с тревогой следит за молчаливой, злой, резкой Лилей.

По вечерам отец всегда пьёт чай, а за самоваром сидит Елена. Отец говорит странные вещи, например, о том, что белокурым женщинам идут платья из чёрного или пунцового бархата с рубиновым крестиком. Он добавляет, что всё это только мечты, потому что отец Елены получает маленькую зарплату, а детей у него, кроме Елены ещё пять человек, и ей, скорее всего, придётся прожить в бедности. Рассказчику он говорит, что вряд ли он получит его наследство потому, что «не очень-то он папеньку своей любовью жалует».

Рассказчик с Еленой влюбляются друг в друга, обнимаются и целуются во время коротких встреч. Однажды отец видит это и высылает рассказчика в свою самарскую деревню на всё лето, а осенью велит найти себе службу в Москве или Петербурге и грозится в случае непослушания лишить наследства.

В ту же ночь рассказчик уезжает к одному из лицейских товарищей в деревню Ярославской губернии и живёт у него до осени. Осенью, по протекции отца товарища, рассказчик поступает в министерство иностранных дел в Петербурге. Он пишет отцу, что отказывается от наследства и всякой помощи.

Зимой рассказчик узнаёт, что отец оставил службу и переехал в Петербург «с прелестной молоденькой женой». Однажды рассказчик замечает их в ложе Мариинского театра. Жена отца Елена одета в платье из пунцового бархата, на шейке у неё сверкает рубиновый крестик.