События повести «Знак четырёх» разворачиваются в Лондоне в 1888 г. Во время вынужденного безделья, связанного с отсутствием заказов, известный сыщик-консультант Шерлок Холмс, проживающий на Бэйкер-стрит в доме 221-6 вместе со своим другом доктором Ватсоном, излагает ему суть своего дедуктивного метода, который он использует при раскрытии преступлений. Шерлок Холмс убеждён, что по капле воды наблюдательный человек способен путём логических выводов доказать существование Атлантического океана и Ниагарского водопада, даже если никогда прежде их не видел и ничего о них не слышал. Необходимо замечать мельчайшие детали и факты, поскольку они способны внести неоценимый вклад в воссоздание полной картины событий, характера человека и обстоятельств преступления.

Являясь гениальным сыщиком, Шерлок Холмс обладает энциклопедическими познаниями в области уголовной хроники и химии, хорошо играет на скрипке, отлично фехтует и боксирует, разбирается в английских законах, сведущ в геологии, анатомии, ботанике, обладает незаурядным актёрским талантом, но зато в сфере литературы, философии, астрономии его знания равны нулю. В часы, когда ему нечем заняться, его охватывает убийственная скука и он находит утешение в морфии и кокаине.

Доктор Ватсон, друг и компаньон Шерлока Холмса, бывший военный врач, служивший при английской армии в войне Индии с Афганистаном и раненный в этой войне, проживает с Холмсом в одной квартире и является летописцем всех раскрытых его другом дел.

К великому удовольствию Шерлока Холмса, его временное безделье прерывается некоей мисс Морстен, особой двадцати семи лет с одухотворённым и добрым лицом, свидетельствующим о благородстве и отзывчивости души. Она рассказывает сыщику о странных событиях, случившихся недавно в её жизни, и просит у него помощи. В детстве она потеряла мать. Отец, служивший офицером в Индии, отправил дочку в пансион в Англию. В 1878 г., то есть десять лет назад, он приехал в Англию, о чем предварительно сообщил в телеграмме. Однако, когда мисс Морстен пришла в гостиницу, она узнала, что её отец неожиданно пропал. Не вернулся он и на следующий день, не вернулся больше никогда. Потом начиная с 1882 г., она вдруг стала ежегодно получать от кого-то по одной очень красивой и крупной жемчужине. А в день визита к Холмсу ей пришло письмо, в котором её просили приехать вечером к театру «Лицеум», сообщали, что с ней обошлись несправедливо и некто желает эту несправедливость исправить.

Шерлок Холмс и доктор Ватсон отправляются в указанное место вместе с ней. Перед выходом она показывает Холмсу странную записку, найденную в вещах пропавшего Морстена, на которой был изображён план какого-то помещения, с нарисованными там же в ряд четырьмя крестами, соприкасающимися друг с другом перекладинами и с претенциозной подписью: «знак четырёх». Встреченный ими человек везёт их в кэбе в южную часть Лондона. Там они знакомятся с маленьким рыжим человеком с блестящей лысиной на голове. Оказывается, что он — один из сыновей-близнецов скончавшегося шесть лет назад майора Шолто — Тадеуш Шолто. Его отец и отец мисс Морстен некогда вместе служили в Индии в колониальных войсках. Там майор Шолто, таинственным образом разбогатев, подал одиннадцать лет назад в отставку и вернулся в Англию с богатой коллекцией восточных редкостей и целым штатом туземных слуг. Тайну приобретения сокровищ и то, где они хранились, майор не открывал никому до самой своей смерти, Почувствовав её приближение, он позвал к себе сыновей и поведал им, как умер капитан Морстен. Оказалось, что, приехав десять лет назад в Лондон, он пришёл к Шолто и у них возник спор по поводу дележа сокровищ, о которых Морстен знал и половина которых ему причиталась. У него, страдавшего больным сердцем, случился приступ. После чего он упал и, ударившись головой об угол ларца с сокровищем, умер. Боясь,.что его обвинят в убийстве, Шолто скрыл тело капитана и ничего не сказал его дочери, когда несколько дней спустя, разыскивая пропавшего отца, она пришла к нему домой. Перед смертью он хотел открыть сыновьям также и то, где спрятан сам ларец, однако сделать это ему помешало страшное лицо за окном. Он умер, унеся тайну с собой в могилу. Его сыновья, чувствуя долг перед мисс Морстен и желая избавить её хотя бы от нужды, стали посылать ей ежегодно по одной жемчужине из жемчужных чёток, в своё время вынутых их отцом из ларца. До поры до времени Тадеуш Шолто и его брат Бартоломью даже не догадывались, где спрятаны сами богатства. Однако накануне, после многолетних безуспешных поисков, Бартоломью обнаружил их на чердаке своего дома, в потайном замурованном помещении. Он сообщил об этом Тадеушу. Тот, невзирая на возражения брата, унаследовавшего от отца его скупость, решил поделиться сокровищами с мисс Морстен. Все четверо едут к Бартоломью. Однако обнаруживают, что он убит пущенной ему в шею отравленной колючкой, что сокровища похищены и что на месте преступления оставлен клочок бумаги со «знаком четырёх».

Мелкие детали заставляют Шерлока Холмса предположить, что преступниками являются два человека — беглый каторжник по имени Джонатан Смолл, у которого деревянный протез вместо правой ноги, и Номер первый, дикарь с Андаманских островов, маленький, очень злобный и проворный. После того как он помог Смоллу вместе с ларцом спуститься из окна по верёвке, он закрыл ставни изнутри и выбрался через чердак. При бегстве он испачкал ногу в креозоте, и Холмс с помощью собаки-ищейки Тоби дошёл по его следам до реки. Там он узнал, что преступники сели на нанятый катер «Аврора». Когда план Холмса выследить катер с помощью нанятой им ватаги мальчишек срывается, он сам, переодевшись старым матросом, отправляется на поиски «Авроры» и пытается разыскать её в доках. Это ему удаётся. Он вызывает на помощь инспектора Скотленд-Ярда Этелни Джонса, расследующего это убийство, и они вместе с доктором Ватсоном пускаются в погоню на полицейском катере и догоняют преступников с ларцом. При погоне дикаря приходится убить, потому что он начинает стрелять в преследователей своими ядовитыми колючками. Доктор Ватсон отвозит ларец к мисс Морстен, однако в конце концов обнаруживается, что он пуст, чему доктор чрезвычайно рад, поскольку преграда, возникшая, по его мнению, между ним и молодой женщиной из-за её предполагаемого богатства, исчезает. Теперь он может свободно признаться ей в любви и предложить свою руку и сердце. Мисс Морстен находит его предложение весьма привлекательным. Смолл, поняв, что его неминуемо догонят, выбросил драгоценности в Темзу, ибо не хотел допустить, чтобы они достались кому-то другому. Смерть Бартоломью Шолто не входила в его планы, и убил его не он, а злобный дикарь без ведома Смолла. Чтобы убедить в этом Шерлока Холмса и Этелни Джонса, он рассказывает им историю своей жизни. В молодости он завербовался солдатом в полк, отправлявшийся в Индию. Однако вскоре со службой ему пришлось расстаться: когда он купался в Танге, крокодил откусил ему ногу выше колена, и он стал беспомощным калекой. Затем, когда он работал надсмотрщиком на плантации, в стране вдруг начался бунт. Смолл поспешил в Агру и присоединился к укрывшемуся в Агрской крепости отряду англичан, Ему было поручено охранять один из входов в крепость и дано в распоряжение два сикха. На третью ночь сикхи схватили Смолла и поставили его перед выбором: быть с ними или замолчать навеки. Они рассказали ему о своём плане: в северных провинциях жил один очень богатый раджа. Часть своих богатств он приказал слуге Ахмету спрятать в Агрской крепости до конца войны, чтобы в случае победы англичан сохранить хотя бы этот сундук. Сикхи и сопровождающий Ахмета их сообщник хотели его убить и завладеть ларцом. Смолл решил к ним присоединиться и поклялся им в верности. Свой план все четверо привели в исполнение. Убитого Ахмета они спрятали в одном из залов старой крепости, куда никто никогда не заходил. Ларец замуровали в стене того же зала. Каждый из них получил записку с планом и символизирующим их верность друг другу «знаком четырёх». Однако впоследствии их всех за убийство приговорили к пожизненному заключению. Отбывая наказание, они не могли воспользоваться своим богатством. Тогда Смолл договорился с Шолто и Морстеном, охранявшими тюрьму, что сообщит им, где спрятан ларец, они получат свою долю, а взамен организуют для четырёх заключённых побег. Шолто, отправившийся за ларцом, всех обманул и вернулся в Англию один. С тех пор Смолл стал жить только мыслью о мести. Он бежал из тюрьмы при помощи своего друга — туземца по имени Тонго. В Англии он установил контакт с одним из слуг майора Шолто и стал ждать подходящего момента. Это именно Смолл заглянул в окно к умирающему майору. Дождавшись своего часа, он похитил сокровища. За смерть Бартоломью он отстегал Тонго верёвкой. Такой оказалась история Джонатана Смолла.

Сокровища не достались никому. Доктор Ватсон получил в жены мисс Морстен, Этелни Джонс — славу за раскрытое преступление, а Холмс удовлетворился ампулой с кокаином.