Роман написан от лица Пола Эджкума, который живёт в доме престарелых. Чтобы не растерять остатки разума, он записывает события 1932 года, которые изменили его жизнь.

Часть 1. Две убитых девочки

Пол служит начальником тюремной охраны в блоке смертников, который из-за зелёного линолеума называют Зелёной Милей. В прилегающем к Миле помещении находится электрический стул. В тот год к трём охранникам Мили добавляется ещё один — Перси. Этот жестокий молодой человек, родственник губернатора, мог получить любую работу, но выбрал блок смертников, и Полу приходится его терпеть.

Осенью на Милю переводят Джона Коффи, негра огромного роста и могучего телосложения, осуждённого на смертную казнь за убийство и изнасилование белых девочек-близняшек. Коффи ведёт себя очень кротко. Он боится темноты, кажется немного заторможенным и всё время плачет. В его странных глазах «выражение спокойного отсутствия», словно сам Коффи где-то далеко.

Из газет Пол узнаёт о его преступлении. Дочери владельца хлопковой фермы исчезли ночью с закрытой террасы. После долгих поисков с собаками их нашли на лесной поляне. Джон Коффи укачивал голеньких мёртвых девочек, плакал и твердил: «Я пытался вернуть всё назад, но было уже поздно». Никто не усомнился в виновности чернокожего, хотя во время поисков собаки нашли ещё один след.

Пол стремится сохранять на Миле спокойную обстановку, но с приходом Перси покой невозможен. Его ненавидят не только заключённые, но и охранники.

"Он напоминал порцию мышьяка, впрыснутую в свадебный пирог."

Начальник тюрьмы Мурс вызывает Пола и просит ещё немного потерпеть. Перси собирается перевестись в клинику для душевнобольных, но перед этим желает командовать казнью — это его условие. Пол согласен на всё.

Летом, ещё до прихода Коффи, на Миле появляется очень умная мышь. Зверёк регулярно обходит пустующие камеры, словно ищет кого-то. Перси пытается убить мышь, но она спасается в смирительной комнате для буйных, которая на Миле служит кладовкой.

Часть 2. Мышь на Миле

Мышь приходит на Милю только в отсутствие Перси. Вскоре на Милю переводят Эдуарда Делакруа, Полу кажется, что мышь ждала именно его. Маленький лысоватый Делакруа по кличке Дел осуждён за изнасилование, убийство и поджёг. Совершив преступление, он словно выплеснул скопившееся в нём зло и превратился в скромного и тихого человечка.

Перси ненавидит Дела и постоянно над ним издевается. Успокаивается Перси только когда Пол обещает, что тот будет командовать казнью Дела.

"Забавно, как меняются некоторые люди под воздействием верного стимула."

Дел называет мышонка Мистером Джинглсом. Мышь бегает по рукам Дела и катает деревянную катушку. Дел считает, что это он выдрессировал мышь, но охранники убеждены, что Мистер Джинглс умел это и раньше.

В то время как у Пола обостряется мочеполовая инфекция, а начальник тюрьмы Мурс узнаёт, что у его жены рак мозга, на Милю переводят Буйного Билла. Этот щуплый, белобрысый девятнадцатилетний парень из разряда «проблемных детей» успел натворить много зла. Едва появившись на Миле, Билл пытается придушить охранника, и его оглушают ударом по голове.

Часть 3. Руки Джона Коффи

В этот день Пол особенно сильно страдает от своей инфекции. Коффи, во время суматохи тихо сидевший в камере, подзывает его к себе. Правила это запрещают, но Пола словно притягивают «нездешние» глаза Коффи. Негр прижимает ладонь к паху Пола, и того пронизывает нечто вроде электрического заряда. Затем пульсирующая боль исчезает, а изо рта Коффи вылетает «облачко мелких чёрных насекомых». Они белеют и исчезают. Пол верит, что «получил исцеление, настоящее, чудесное, от Всемогущего Бога». Он расспрашивает Коффи, как он это делает, но тот отрицательно качает головой. Джон не помнит, что было с ним вчера, но умеет исцелять.

Пол не понимает, зачем Бог вложил чудесный дар в руки детоубийцы. Он едет на место преступления. Журналист, писавший об убийстве, убеждён в виновности Коффи.

"Такой, как ваш негр, способен укусить при первом удобном случае, как беспородный пёс может укусить, если это взбредёт ему в голову."

Приближается день казни Дела. Перси должен положить на его макушку намоченную в рассоле губку, которая проведёт ток прямо в мозг.

Нарушив правила, Перси слишком близко подходит к камере Буйного Билла, и тот его хватает. От страха Перси мочится в штаны. Дел замечает это и смеётся.

Ночью перед казнью Дел играет с Мистером Джинглсом, кидает ему катушку. Она выкатывается из камеры. Мышонок бежит за ней, Перси наступает на него и, довольный местью, уходит.

Часть 4. Ужасная смерть Эдуарда Делакруа

Коффи просит дать умирающую мышь ему, «пока ещё есть время». Он подносит Мистера Джинглса к лицу, резко вдыхает ртом, затем снова выпускает изо рта облако чёрных мошек, а мышонок невредимый возвращается к Делу.

Готовя Дела к казни, Перси кладёт под контакт сухую губку, и француз горит заживо. Пол не может выключить электричество, пока Делакруа жив, ведь тогда всё придётся начинать сначала. Наконец Дел затихает.

"Шлем сполз набок, но, когда мы снимали его, почти вся кожа с головы и оставшиеся волосы снялись вместе с ним, прочно приклеившись к металлу."

Испуганный Перси оправдывается, но Пол понимает: он хотел сотворить мелкую пакость, но не подозревал, каким будет результат. Пол велит не трогать Перси: из-за него их могут уволить, а найти работу во время Великой депрессии нелегко. Мистер Джинглс, пережидавший казнь в руках Коффи, чувствует через него мучения Дела и навсегда исчезает с Мили.

Пол докладывает о происшествии Мурсу, но тому не до неприятностей в тюрьме: его жена умирает. Пол считает, что Коффи может ей помочь, и собирает охранников Мили у себя дома.

Часть 5. Ночное путешествие

Охранники решают тайно привезти Коффи в дом Мурса и составляют подробный план.

Сначала они нейтрализуют Буйного Билла, подсыпав ему в напиток снотворное. Затем запаковывают Перси в смирительную рубашку и запирают в мягкой комнате. Коффи уже знает, что ему предстоит вылечить белую леди.

Буйный Билл находится в бессознательном состоянии, но когда Коффи проходит мимо его камеры, он встаёт и хватает того за руку.

"Удивительной была реакция Коффи. Он ... вскрикнул, выпуская воздух сквозь зубы, словно коснулся чего-то холодного и неприятного."

Друзьям удаётся незаметно вывести Коффи за тюремную ограду. К дому начальника его отвозят на стареньком грузовике. Мурс встречает их с пистолетом в руке, но Коффи спокойно проходит к его умирающей жене.

Подойдя к кровати, Коффи нагибается, прижимается ртом к губам женщины и делает глубокий вдох. Раздаётся странный крик. Коффи отстраняется, и Пол видит, что женщина здорова. На этот раз Коффи не выдыхает мошек. По дороге в тюрьму ему становится плохо.

Часть 6. Коффи проходит Милю

Охранники с трудом доводят Коффи до камеры. Затем они отпускают Перси и пытаются его запугать. Пол, однако, уверен, что молчать Перси не станет.

Освободившись, Перси направляется к выходу с Мили. Когда он проходит мимо камеры Коффи, тот хватает его, прижимается губами к его рту и выпускает чёрных мошек. Ничего не соображая, Перси подходит к камере Буйного Билла, стреляет в него шесть раз, затем из его рта вылетают мошки. С этого дня Перси не произносит ни слова и его признают умалишённым.

Пол снова едет туда, где арестовали Коффи, разговаривает с помощником шерифа. Тот берётся ему помочь, и встречается с отцом убитых девочек. Оказалось, незадолго до трагедии тот нанял помощника — Буйного Билла, который, по мнению Пола, и убил девочек. Коффи нашёл их, хотел оживить, но не успел. Негр узнал об этом, прикоснувшись к Биллу, и использовал Перси, как оружие. Из-за цвета кожи Пол не может ни открыть повторное слушание, ни организовать Коффи побег.

Наступает день казни. Коффи говорит Полу, что устал чувствовать боль окружающих его людей и хочет уйти. Во время разговора он берёт Пола за руку, и тот чувствует покалывание.

"Сейчас Джон не знал, что делает это. И вдруг я испугался ... Внутри меня как будто зажигались огни. Не только в мозгу, по всему телу."

Когда Коффи отпускает его руку, у Пола на некоторое время обостряются зрение и слух.

Во время казни Коффи охранники плачут. Пол уверен, что они убивают чудо Божье, и это зачтётся им после смерти.

Благодаря прикосновению Коффи Пол доживает до ста четырёх лет. В сарае возле дома престарелых живёт давно поседевший Мистер Джинглс. Пол нашёл эту самую старую в мире мышь на ступеньках чёрного хода. Там Мистер Джинглс умирает, а Пол живёт ещё очень долго.

"Мы все заслужили смерть, без исключения, я это знаю, но иногда, Боже, Зелёная Миля бывает слишком длинной."