В уездном городе в небольшом больничном флигеле находится палата № 6 для душевнобольных. Там «воняет кислою капустой, фитильной гарью, клопами и аммиаком, и эта вонь в первую минуту производит на вас такое впечатление, как будто вы входите в зверинец». В палате обитают пять человек. Первый — «худощавый мещанин с рыжими блестящими усами и с заплаканными глазами». Он, видимо, болен чахоткой и целый день грустит и вздыхает. Второй — Моисейка, весёлый дурачок, «помешавшийся лет двадцать назад, когда у него сгорела шапочная мастерская». Ему одному дозволяется покидать палату и ходить в город побираться, но все, что он приносит, отбирает сторож Никита (он принадлежит к числу тех людей, которые обожают во всем порядок, и потому нещадно бьёт больных). Мойсейка любит всем услуживать. В этом он подражает третьему обитателю, единственному «из благородных» — бывшему судебному приставу Ивану Дмитриевичу Громову. Он из семьи зажиточного чиновника, которого с определённого момента начали преследовать несчастья. Сначала умер старший сын — Сергей. Потом он сам был отдан под суд за подлоги и растрату и вскоре умер в тюремной больнице. Младший сын Иван остался с матерью без средств. Он с трудом выучился и получил должность. Но вдруг оказался болен манией преследования и попал в палату № 6. Четвёртый обитатель — «оплывший жиром, почти круглый мужик с тупым, совершенно бессмысленным лицом». Кажется, что он потерял способность мыслить и чувствовать; он не реагирует, даже когда Никита его зверски бьёт. Пятый и последний обитатель — «худощавый блондин с добрым, но несколько лукавым лицом». У него мания величия, но странного свойства. Время от времени он сообщает соседям, что получил «Станислава второй степени со звездой» или какой-то совсем редкий орден вроде шведской «Полярной звезды», но говорит об этом скромно, как бы сам удивляясь.

После описания больных автор знакомит нас с доктором Андреем Ефимычем Рагиным. В ранней молодости он мечтал быть священником, но отец, доктор медицины и хирург, вынудил его стать медиком. Наружность у него «тяжёлая, грубая, мужицкая», но манеры мягкие, вкрадчивые, а голос тонок. Когда он вступил в должность, «богоугодное заведение» находилось в ужасном состоянии. Страшная бедность, антисанитария. Рагин отнёсся к этому равнодушно. Он умный и честный человек, но у него нет воли и веры в своё право изменять жизнь к лучшему. Сначала он работал очень усердно, но скоро заскучал и понял, что в таких условиях лечить больных бессмысленно. «Да и к чему мешать людям умирать, если смерть есть нормальный и законный конец каждого?» От этих рассуждений Рагин забросил дела и стал ходить в больницу не каждый день. У него выработался свой образ жизни. Немного поработав, больше для вида, он идёт домой и читает. Через каждые полчаса выпивает рюмку водки и закусывает солёным огурцом или мочёным яблоком. Потом обедает и пьёт пиво. К вечеру обыкновенно приходит почтмейстер Михаил Аверьяныч, бывший богатый, но разорившийся помещик. Он уважает доктора, а прочих обывателей презирает. Доктор и почтмейстер ведут бессмысленные разговоры и жалуются на судьбу. Когда гость уходит, Рагин продолжает читать. Он читает все подряд, отдавая за книги половину жалованья, но больше всего любит философию и историю. Читая, он чувствует себя счастливым.

Однажды Рагин решил навестить палату № 6. Там он знакомится с Громовым, беседует с ним и скоро втягивается в эти беседы, часто навещает Громова и находит в разговорах с ним странное удовольствие. Они спорят. Доктор занимает позицию греческих стоиков и проповедует презрение к жизненным страданиям, а Громов мечтает покончить со страданиями, называет философию доктора ленью и «сонной одурью». Тем не менее их тянет друг к другу, и это не проходит незамеченным для остальных. Вскоре в больнице начинают судачить о посещениях доктора. Затем его приглашают на объяснение в городскую управу. Это происходит ещё и потому, что у него есть конкурент, помощник Евгений Федорыч Хоботов, завистливый человек, мечтающий занять место Рагина. Формально разговор ведётся о благоустройстве больницы, но на самом деле чиновники пытаются выяснить, не сошёл ли доктор с ума. Рагин понимает это и сердится.

В тот же день почтмейстер предлагает ему вместе поехать развеяться в Москву, Петербург и Варшаву, и Рагин понимает, что это также связано со слухами о его душевной болезни. Наконец ему прямо предлагают «отдохнуть», т. е. подать в отставку. Он принимает это равнодушно и едет с Михаилом Аверьянычем в Москву. По дороге почтмейстер надоедает ему своими разговорами, жадностью, обжорством; он проигрывает в карты деньги Рагина, и они возвращаются домой, не доехав до Варшавы.

Дома все опять начинают докучать Рагину его мнимым сумасшествием. Наконец он не выдерживает и гонит из своей квартиры вон Хоботова и почтмейстера. Ему становится стыдно, и он идёт извиняться к почтмейстеру. Тот уговаривает доктора лечь в больницу. В конце концов его помещают туда хитростью: Хоботов приглашает его в палату № 6 якобы на консилиум, затем выходит якобы за стетоскопом и не возвращается. Доктор становится «больным». Сначала он пытается как-то выйти из палаты, Никита его не пускает, они с Громовым начинают бунт, и Никита бьёт Рагина в лицо. Доктор понимает, что из палаты ему никогда не выйти. Это ввергает его в состояние полной безнадёжности, и вскоре он умирает от апоплексического удара. На похоронах были только Михаил Аверьяныч и Дарьюшка, его бывшая прислуга.