На заре с барского конного двора выгоняют на луг лошадей. Из всего табуна выделяется серьёзным, задумчивым видом старый пегий мерин. Он не выказывает нетерпения, как все остальные лошади, покорно ждёт, пока его оседлает старик Нестер, и с грустью наблюдает происходящее, зная наперёд каждую минуту. Пригнав табун к реке, Нестер рассёдлывает мерина и чешет его под шеей, считая, что лошади это приятно. Мерин же не любит этого чесанья, но из деликатности притворяется благодарным человеку, закрывает глаза и мотает головой. И вдруг, безо всякой причины, Нестер больно бьёт мерина пряжкой узды по сухой ноге. Этот непонятный злой поступок огорчает мерина, но он не подаёт вида. В отличие от человека, поведение старой лошади исполнено достоинства и спокойной мудрости. Когда молодые лошади дразнят мерина и делают ему неприятности — бурая кобылка мутит воду перед самым носом, другие толкают и не дают проходу, — он прощает своих обидчиков с неизменным достоинством и молчаливой гордостью.

Несмотря на отталкивающие признаки дряхлости, фигура пегого мерина хранит в себе спокойствие былой красоты и силы. Его старость — величественная и гадкая одновременно. И это вызывает у лошадей негодование и презрение. «Лошади жалеют только самих себя и изредка только тех, в шкуре кого они себя легко могут представить». И всю ночь на конном дворе, повинуясь стадному инстинкту, весь табун гоняет старого мерина, слышатся удары копыт о худые бока и тяжёлое кряхтение. И мерин не выдерживает, останавливается в бессильном отчаянии и начинает рассказ о своей жизни. Рассказ длится пять ночей, а в перерывах, днём, лошади уже почтительно обращаются с мерином.

Он рождён от Любезного первого и Бабы. По родословной его имя — Мужик первый, а по-уличному — Холстомер. Так люди называют его за длинный и размашистый ход. С первых дней жизни он чувствует любовь матери и то удивление, которое вызывает у окружающих. Он пегий, необычный, не такой, как все. Первое горе в жизни — потеря любви матери, которая уже носит в себе меньшого брата. Первая любовь к красивой кобылке Вязопурихе обрывается, закончившись самой важной переменой в жизни Холстомера — его выхолащивают, чтобы не продолжать в роду пегости. Его отличие от всех порождает склонность к серьёзности и глубокомыслию. Молодой мерин замечает, что люди руководствуются в жизни не делами, а словами. И главное среди слов — «моё». Это слово изменяет поведение людей, заставляет их часто лгать, притворяться и не быть тем, чем они являются на самом деле. Это слово было виной тому, что мерина передают из рук в руки. Хотя он обходит знаменитого рысака Лебедя, Холстомера все-таки продают барышнику: из-за того, что он пегий и принадлежит не графу, а конюшему.

Его покупает гусарский офицер, у которого мерин проводит лучшее время своей жизни. Хозяин красив, богат, холоден и жесток — и зависимость от такого человека делает любовь к нему Холстомера особенно сильной. Хозяину нужна именно необьиная лошадь, чтобы ещё больше выделяться в свете, ездить к любовнице, нестись по Кузнецкому, чтобы все сторонились и оглядывались. И Холстомер служит беззаветно, думая: «Убей, загони меня,  я тем буду счастливее». Он любуется хозяином и собой рядом с ним. Но в один чёрный день любовница бросает офицера, уезжает с другим. Гусар, в погоне за ней, загоняет Холстомера. Тот дрожит всю ночь и не может есть. Наутро ему дают воды, и он навек перестаёт быть той лошадью, какою был. Холстомера продают барышнику, потом старушке, краснорядцу, мужику, цыгану и, наконец, здешнему приказчику.

Когда табун в следующий вечер возвращается с луга, хозяин показывает лучших, самых дорогих лошадей приехавшему гостю. Гость нехотя хвалит. Проходя мимо Холстомера, он хлопает его по крупу и говорит, что такой же «расписной» мерин был и у него когда-то. Холстомер узнает в обрюзгшем старике своего бывшего любимого хозяина-гусара.

В барском доме, в роскошной гостиной, за чаем сидят хозяин, хозяйка и гость. Бывшему гусару Никите Серпуховскому теперь за сорок. Когда-то очень красивый, сейчас он опустился «физически, и морально, и денежно». Он промотал состояние в два миллиона и ещё должен сто двадцать тысяч. И поэтому вид счастья молодого хозяина унижает Серпуховского. Он старается вести разговор о своём прошлом, когда был красив, богат, счастлив. Хозяин перебивает его и говорит о своей нынешней жизни, хвастая тем, что имеет. Этот скучный для обоих разговор, в котором они не слышат друг друга, продолжается до утра, пока Серпуховской не напивается и, шатаясь, не уходит спать. У него не хватает сил даже раздеться до конца — в одном неснятом сапоге он валится на кровать и храпит, наполняя комнату запахом табака, вина и грязной старости.

Ночью табунщик Васька на Холстомере едет в кабак и держит его до утра на привязи рядом с мужицкой лошадью, от которой к мерину переходит короста. Через пять дней Холстомера не гонят в поле, а ведут за сарай. Когда ему перерезают горло, ему кажется, что вместе с большой струёй крови выходит из него вся тяжесть жизни. С него снимают шкуру. Собаки, воронье и коршуны растаскивают конину, ночью приходит и волчица; через неделю у сарая валяются только кости. Но и эти кости уносит потом мужик и пускает их в дело.

«Ходившее по свету, евшее и пившее мёртвое тело Серпуховского убрали в землю гораздо после». И спрятать туда гниющее, кишащее червями тело в новом мундире и вычищенных сапогах, — было лишним, ненужным затруднением для людей.