Во вступительном очерке к роману повествуется о родном городе автора — Сейлеме, о его предках — пуританах-фанатиках, о его работе в сейлемской таможне и о людях, с которыми ему пришлось там столкнуться. «Ни парадный, ни чёрный ход таможни не ведёт в рай», и служба в этом учреждении не способствует расцвету хороших задатков в людях. Однажды, роясь в бумагах, сваленных в кучу в огромной комнате на третьем этаже таможни, автор нашёл рукопись некоего Джонатана Пью, скончавшегося восемьдесят лет назад. Это было жизнеописание Эстер Прин, жившей в конце XVII в. Вместе с бумагами хранился красный лоскут, при ближайшем рассмотрении оказавшийся изумительно расшитой буквой «А»; когда автор приложил её к груди, ему показалось, что он почувствовал ожог. Уволенный после победы вигов, автор вернулся к литературным занятиям, для которых ему весьма пригодились плоды трудов мистера Пью.

Из бостонской тюрьмы выходит Эстер Прин с грудным ребёнком на руках. На ней красивое платье, которое она сшила себе в тюрьме, на груди его алая вышивка в виде буквы «А» — первая буква слова Adulteress (прелюбодейка). Все осуждают поведение Эстер и её вызывающий наряд. Ее ведут на рыночную площадь к помосту, где ей предстоит стоять до часу дня под враждебными взглядами толпы — такое наказание вынес ей суд за её грех и за отказ назвать имя отца новорождённой дочери. Стоя у позорного столба, Эстер вспоминает свою прошлую жизнь, детство в старой Англии, немолодого сгорбленного учёного, с которым она связала свою судьбу. Обведя взглядом толпу, она замечает в задних рядах человека, который тотчас овладевает её мыслями. Человек этот немолод, у него проницательный взгляд исследователя и сгорбленная спина неутомимого труженика. Он расспрашивает окружающих о том, кто она такая. Они удивляются, что он ничего о ней не слышал. Но он объясняет, что он не здешний, долго был в рабстве у язычников, и вот теперь индеец привёл его в Бостон, чтобы получить выкуп. Ему рассказывают, что Эстер Прин — жена одного английского учёного, который надумал перебраться в Новую Англию. Он послал жену вперёд, а сам задержался в Европе. За два года жизни в Бостоне Эстер не получила от него ни одной весточки: вероятно, он погиб. Снисходительный суд принял во внимание все смягчающие обстоятельства и не осудил падшую женщину на смерть, а приговорил всего лишь простоять три часа на помосте у позорного столба, а затем до конца жизни носить на груди знак бесчестья. Но всех возмущает, что она не назвала имя соучастника греха. Старейший бостонский священник Джон Уилсон убеждает Эстер открыть имя соблазнителя, вслед за ним прерывающимся от волнения голосом к ней обращается молодой пастор Димсдейл, чьей прихожанкой она была. Но молодая женщина упорно молчит, крепко прижимая к груди ребёнка.

Когда Эстер возвращается в тюрьму, к ней приходит тот самый незнакомец, которого она видела на площади. Он врач и называет себя Роджером Чиллингуортом. Первым делом он успокаивает ребёнка, затем даёт лекарство Эстер. Она боится, что он её отравит, но врач обещает не мстить ни молодой женщине, ни младенцу. Было слишком самонадеянно с его стороны жениться на юной красивой девушке и ждать от неё ответного чувства. Эстер всегда была с ним честна и не притворялась, что любит его. Так что они оба причинили друг другу зло и квиты. Но Чиллингуорт хочет узнать имя возлюбленного Эстер, имя человека, причинившего зло им обоим. Эстер отказывается назвать его. Чиллингуорт заставляет её поклясться, что она никому не откроет его настоящего имени и своего с ним родства. Пусть все считают, что её муж умер. Он решает во что бы то ни стало узнать, с кем согрешила Эстер, и отомстить её возлюбленному.

Выйдя из тюрьмы, Эстер поселяется в заброшенном домике на окраине Бостона и зарабатывает на жизнь рукодельем. Она столь искусная вышивальщица, что у неё нет отбоя от заказчиков. Она покупает себе только самое необходимое, а остальные деньги раздаёт бедным, часто слыша в ответ оскорбления вместо благодарности. Ее дочь Перл красавица, но обладает пылким и переменчивым нравом, так что Эстер с ней нелегко. Перл не хочет подчиняться никаким правилам. Первым её сознательным впечатлением стала алая буква на груди у Эстер.

Печать отверженности лежит и на девочке: она не похожа на других детей, не играет с ними. Видя странности девочки и отчаявшись дознаться, кто её отец, некоторые горожане считают её дьявольским отродьем. Эстер никогда не расстаётся с дочерью и всюду берет её с собой. Однажды они приходят к губернатору, чтобы отдать заказанную им пару парадных расшитых перчаток. Губернатора нет дома, и они ждут его в саду. Губернатор возвращается вместе со священниками Уилсоном и Димсдейлом. По дороге они говорили о том, что Перл — дитя греха и следует забрать её у матери и передать в другие руки. Когда они сообщают об этом Эстер, она не соглашается отдать дочь. Пастор Уилсон решает выяснить, воспитывает ли её Эстер в христианском духе. Перл, которая знает даже больше, чем полагается в её возрасте, упрямится и на вопрос о том, кто её сотворил, отвечает, что её никто не сотворил, просто мать нашла её в розовом кусте у дверей тюрьмы. Благочестивые джентльмены приходят в ужас: девочке уже три года, а она не знает, кто её сотворил. Они решают забрать Перл у матери, и ей удаётся оставить дочь у себя только благодаря заступничеству пастора Димсдейла.

Познания в медицине и набожность снискали Чиллингуорту уважение жителей Бостона. Вскоре по прибытии он избрал своим духовным отцом преподобного Димсдейла. Все прихожане весьма почитали молодого богослова и были обеспокоены его здоровьем, резко ухудшившимся в последние годы. Люди видели в приезде в их город искусного врача перст Провидения и настаивали, чтобы мистер Димсдейл обратился к нему за помощью. В результате молодой священник и старый врач подружились, а потом даже и поселились вместе. Чиллингуорт, который взялся за расследование тайны Эстер с суровым беспристрастием судьи, все больше подпадает под власть одного-единственного чувства — мести, которая подчиняет себе всю его жизнь. Почувствовав пылкую натуру молодого священника, он хочет проникнуть в потаённые глубины его души и для этого не останавливается ни перед чем. Чиллингуорт все время провоцирует Димсдейла, рассказывая ему о нераскаявшихся грешниках. Он утверждает, что в основе телесного недуга Димсдейла лежит душевная рана и уговаривает священника открыть ему, врачу, причину его душевных Страданий. Димсдейл восклицает: «Кто ты такой, чтобы  становиться между страдальцем и его Господом?» Но однажды молодой священник крепко засыпает днём в кресле и не просыпается даже тогда, когда Чиллингуорт входит в комнату. Старик подходит к нему, кладёт руку ему на грудь и расстёгивает одежду, которую Димсдейл никогда не снимал в присутствии врача. Чиллингуорт торжествует — «так ведёт себя сатана, когда убеждается, что драгоценная человеческая душа потеряна для небес и выиграна для преисподней». Димсдейл чувствует к Чиллингуорту неприязнь и корит себя за неё, не находя для неё причины, а Чиллингуорт — «жалкое, одинокое существо, ещё более несчастное, чем его жертва» — всеми силами старается усугубить душевные муки Димсдейла.

Однажды ночью Димсдейл идёт на рыночную площадь и становится у позорного столба. На заре мимо проходят Эстер Прин и Перл. Священник окликает их, они всходят на помост и встают рядом с ним. Перл спрашивает Димсдейла, постоит ли он здесь с ними завтра днём, но он отвечает, что в день Страшного суда они будут стоять все втроём перед престолом великого судии, но сейчас ещё не время и дневной свет не должен видеть их втроём. Тёмное небо вдруг озаряется — вероятно, это свет метеора. Они видят недалеко от помоста Чиллингуорта, который неотрывно смотрит на них. Димсдейл говорит Эстер, что испытывает невыразимый ужас перед этим человеком, но Эстер, связанная клятвой, не открывает ему тайны Чиллингуорта.

Годы идут. Перл исполняется семь лет. Безупречное поведение Эстер и её бескорыстная помощь страждущим приводят к тому, что жители городка начинают относиться к ней со своеобразным уважением. Даже алая буква кажется им символом не греха, а внутренней силы. Как-то раз, гуляя с Перл, Эстер встречает Чиллингуорта и поражается перемене, произошедшей в нем за последние годы. Спокойное мудрое лицо учёного приобрело хищное, жестокое выражение, улыбка выглядит на нем гримасой. Эстер заговаривает с ним, это первый их разговор с того раза, когда он взял с неё клятву не раскрывать его настоящего имени. Эстер просит его не мучить Димсдейла: страдания, которым подвергает его Чиллингуорт, хуже смерти. Вдобавок он терзается на глазах своего заклятого врага, даже не зная, кто он такой. Эстер спрашивает, почему Чиллингуорт не мстит ей; тот отвечает, что за него отомстила алая буква. Эстер умоляет Чиллингуорта одуматься, он ещё может спастись, ведь это ненависть превратила его из мудрого справедливого человека в дьявола. В его власти простить, прощение людей, нанёсших ему обиду, станет его спасением. Но Чиллингуорт не умеет прощать, его удел — ненависть и месть.

Эстер решает открыть Димсдейлу, что Чиллингуорт её муж. Она ищет встречи со священником. Наконец она встречает его в лесу. Димсдейл говорит ей, как он страдает оттого, что все считают его чистым и непорочным, меж тем как он запятнал себя грехом. Его окружают ложь, пустота, смерть. Эстер открывает ему, кто прячется под именем Чиллингуорта. Димсдейл приходит в ярость: по вине Эстер он «обнажал свою немощную преступную душу перед взором того, кто тайно глумился над ней». Но он прощает Эстер. Оба они считают, что грех Чиллингуорта ещё страшнее, чем их грех: он посягнул на святыню человеческого сердца. Они понимают — Чиллингуорт, зная, что Эстер собирается раскрыть Димсдейлу его тайну, измышляет новые козни. Эстер предлагает Димсдейлу бежать и начать новую жизнь. Она договаривается со шкипером судна, плывущего в Бристоль, что он возьмёт на борт двух взрослых людей и ребёнка.

Судно должно отплыть через три дня, а накануне Димсдейл собирается прочесть проповедь в честь дня выборов. Но он чувствует, как у него мутится разум. Чиллингуорт предлагает ему свою помощь, но Димсдейл отказывается. Народ собирается на рыночной площади, чтобы услышать проповедь Димсдейла. Эстер встречает в толпе шкипера бристольского судна, и он сообщает ей, что Чиллингуорт также поплывёт с ними. Она видит на другом конце площади Чиллингуорта, который зловеще улыбается ей. Димсдейл произносит блестящую проповедь. Начинается праздничное шествие, Димсдейл решает покаяться перед народом. Чиллингуорт, понимая, что это облегчит муки страдальца, и чувствуя, что жертва ускользает от него, бросается к нему, умоляя не навлекать позор на свой священный сан. Димсдейл просит Эстер помочь ему взойти на помост. Он встаёт у позорного столба и кается в своём грехе перед народом. В заключение он срывает священнический шарф, обнажая грудь. Взор его угасает, он умирает, последние его слова — хвала Всевышнему. По городу ползут разные слухи: одни говорят, что на груди священника была алая буква — точное подобие той, которую носила Эстер Прин. Другие, наоборот, утверждают, что грудь священника была чиста, но, чувствуя приближение смерти, он пожелал испустить дух на руках падшей женщины, дабы показать миру, сколь сомнительна праведность самого непорочного из людей.

После смерти Димсдейла Чиллингуорт, потерявший смысл жизни, сразу одряхлел, духовная и физическая сила разом покинули его. Не прошло и года, как он умер. Все своё огромное состояние он завещал маленькой Перл. После смерти старого врача Эстер и её дочь исчезли, а история Эстер стала легендой. Через много лет Эстер вернулась и снова добровольно надела эмблему позора. Она одиноко живёт в своём старом домике на окраине Бостона. Перл, судя по всему, счастливо вышла замуж, помнила о матери, писала ей, посылала подарки и была бы рада, если бы Эстер жила с ней. Но Эстер хотела жить там, где свершился её грех, — она считала, что там же должно свершиться и искупление. Когда она умерла, её похоронили рядом с пастором Димсдейлом, но между двумя могилами был оставлен промежуток, словно даже после смерти прах этих двоих не имел права смешаться.