К Шерлоку Холмсу обращается за помощью мистер Грант Монро. Три года назад он женился на женщине, которую искренне полюбил. Эффи, его жена, в юности уехала в Америку. Там она вышла замуж за адвоката, у неё родился ребёнок, но муж с ребёнком умерли от жёлтой лихорадки. Мистер Монро видел свидетельство о смерти мужа Эффи. Муж оставил Эффи хорошее наследство, и, вернувшись в Англию, она смогла жить безбедно. Сам мистер Монро торгует хмелем и имеет неплохую прибыль, так что нужды семья Монро не испытывает. Когда они поженились, Эффи против его воли перевела на его имя своё состояние. Всё это время они были счастливы, но несколько дней назад Эффи попросила крупную сумму, не объяснив, на что.

Вскоре в один из пустующих коттеджей напротив их дома заселились люди. В его окне мистер Монро случайно увидел жуткое, неестественно-жёлтого цвета лицо. Он из любопытства постучал в дверь таинственного дома. Ему открыла неприветливая женщина, отказалась от предложенной помощи и захлопнула перед ним дверь.

Дома он невзначай рассказал об этом жене. Ночью сквозь сон он увидел, как жена оделась и ушла. Утром она сказала, что ей стало душно, и она решила прогуляться, но муж понял, что она лжёт. В тот же день он заметил, что его жена выходит из коттеджа напротив. На его вопрос она отказалась отвечать, только сказала, что если он хочет, они уедут отсюда, и перед ним она честна. Тем не менее, жена продолжала посещать коттедж. Не выдержав, мистер Монро зашёл туда. В доме было пусто, но в комнате он увидел фотографию жены, сделанную недавно. Жена наотрез отказалась дать какие-либо объяснения.

Великий сыщик обдумывает сказанное. О прошлой жизни миссис Монро её мужу ничего неизвестно, он не видел даже фотографии её первого мужа, никаких связей с Америкой она не поддерживает. Лицо в окне произвело на мистера Монро неприятное впечатление странным цветом и неподвижностью. Холмс предполагает, что в коттедже, который снят на деньги миссис Монро, находится её первый муж, шантажирующий женщину.

По просьбе мистера Монро, Холмс вместе с ним заходит в коттедж. Там они видят маленькую девочку в перчатках с мертвенно-жёлтым лицом. Стоящая рядом миссис Монро просит не думать ничего плохого. Холмс снимает с ребёнка маску, и девочка оказывается негритянкой. Миссис Монро объясняет, что её первый муж был негр. Он и ребёнок заболели, муж умер, но ребёнок остался жив. Миссис Монро приехала в Англию, а дочь оставила в Америке, чтоб девочка окрепла после болезни. Она не думала отказываться от дочки, но встретила мистера Монро и побоялась признаться ему, что у неё чёрный ребёнок.

Поцеловав девочку, мистер Монро берёт за руку жену и говорит, что они всё обсудят дома.