Приступая к повествованию о приключениях своего героя, автор рассуждает о двух типах изображения действительности. «Историки», или «топографы», довольствуются тем, что занимаются «списыванием с природы». Себя же автор причисляет к «биографам» и свою задачу видит в том, чтобы описывать «не людей, а нравы, не индивидуума, а вид»

Джозефа Эндрюса в десятилетнем возрасте родители отдают в услужение сэру Томасу Буби. Пастор Абраам Адамс обращает внимание на одарённость ребёнка и хочет, чтобы мальчика отдали на его попечение, ибо, по его мнению, Джозеф, получив образование, сможет занять в жизни положение более высокое, чем должность лакея. Но леди Буби не хочет расставаться с красивым и обходительным Джозефом, которого она отличает от всех остальных слуг. После переезда в Лондон умирает супруг леди Буби, и она вскоре даёт понять Джозефу, которому уже минул двадцать один год, что неравнодушна к нему. В письме к своей сестре Памеле целомудренный юноша рассказывает ей о том, что его госпожа пытается соблазнить его. Он опасается, что из-за своей неуступчивости потеряет место. Увы, его опасения подтверждаются: сорокалетняя домоправительница леди Буби, уродливая и злоязычная миссис Слипслоп, которая также тщетно добивается взаимности юноши, оговаривает его перед госпожой, и Джозеф получает расчёт.

Джозеф покидает Лондон и отправляется в поместье леди Буби, где в приходе пастора Адамса живёт, пользуясь его любовью и покровительством, возлюбленная юноши Фанни. В дороге на Джозефа нападают грабители. Несчастный и израненный юноша находит приют на постоялом дворе, но ухаживает за ним только горничная Бетти, тогда как хозяин гостиницы, Тау-Вауз и его жена принимают Джозефа за бродягу и едва терпят его присутствие. Здесь юношу встречает пастор Адамс, который направляется в Лондон, чтобы издать там девять томов своих проповедей. Пастор — человек честный, наивный и добродушный, он не упускает случая поспорить на философские и богословские темы, однако его страстная натура не терпит несправедливости и он готов защищать её не только словом, но и крепким кулаком. Под влиянием пастора даже сварливая миссис Тау-Вауз проникается симпатией к Джозефу, а горничная Бетти теряет голову от страсти и откровенно добивается его любви, но юноша непоколебим и не поддаётся искушениям.

Адамс обнаруживает, что все девять томов своих проповедей по рассеянности оставил дома, и собирается сопровождать юношу в поместье, однако непредвиденные обстоятельства на некоторое время их разлучают. Пастор приходит на помощь девушке, которую пытается обесчестить какой-то негодяй. Расправившись с насильником, Адамс, к своему изумлению, видит, что девушка — его прихожанка Фанни. Она узнала о несчастье, постигшем её возлюбленного, и тотчас отправилась в путь, чтобы ухаживать за Джозефом. Тем временем злоумышленник, который стараниями пастора пребывал без сознания и походил на бездыханный труп, приходит в себя и, позвав на помощь случайно оказавшихся рядом местных крестьян, коварно обвиняет Адамса и Фанни в том, что они ограбили и избили его. Их приводят к судье, но тот, не вникая в суть дела и поверив злодею, предоставляет своему секретарю выяснить степень виновности Адамса и Фанни. Злоумышленник даёт показания и скрывается, а пастора и девушку выручает сквайр Буби, племянник леди Буби, который случайно оказывается в доме судьи.

Адамс и Фанни отправляются на поиски Джозефа и находят его в захудалой гостинице, где юноша пережидает грозу, застигнувшую его в пути. Влюблённые требуют от пастора, чтобы тот немедленно соединил их браком, но Адамс не намерен отступать от предписанной церковью формы — публичного оглашения. Влюблённые подчиняются и собираются покинуть гостиницу, когда выясняется, что им нечем уплатить хозяину по вине Адамса, большого любителя эля. Их неожиданно выручает бедный коробейник, и они наконец отправляются в путь.

Спасаясь от шайки овцекрадов, которых трое путешественников, заночевавших под открытым небом, принимают за разбойников, Джозеф, Адамс и Фанни находят приют в доме мистера Вильсона. Он рассказывает им историю своей жизни, полной взлётов и падений, и с горечью упоминает о том, что его старшего сына ещё мальчиком украли цыгане. Но даже по прошествии многих лет Вильсон мог бы узнать сына, у которого на груди — родимое пятно в виде земляники. Покинув дом Вильсона, друзья снова отправляются в путь.

Пастор едва не становится жертвой охотничьих собак сквайра Джона Темпла, который охотился с друзьями и забавы ради пустил своих псов по следу удиравшего от них толстяка Адамса. Джозеф, который отлично владеет дубинкой, выручает друга, а сквайр Темпл, человек богатый, жестокий и коварный, приметив красоту Фанни, намеревается завладеть девушкой и, извинившись перед Адамсом за грубость своих егерей, приглашает путешественников к себе в поместье. Сквайр и его друзья поначалу выказывают притворное дружелюбие, но потом начинают откровенно издеваться над добродушным пастором, и тот вместе с Джозефом и Фанни с негодованием покидает дом Темпла. Взбешённый Темпл, который вознамерился во что бы то ни стадо овладеть Фанни, посылает за ними в погоню своих слуг под началом капитана. Капитан настигает путешественников в гостинице и после жестокого побоища захватывает девушку и увозит её с собой. Однако по дороге в поместье Темпла он встречает коляску, в которой едет дворецкий леди Буби, Питер Пенс, в сопровождении вооружённых слуг. Один из них узнает девушку, и та умоляет спасти её от рук капитана. По приказанию Питера Пенса, который направляется в поместье леди Буби, капитана под конвоем доставляют в гостиницу, где произошла жестокая схватка. Девушка, столь счастливо избежавшая всех опасностей, снова вместе с любимым, и вскоре влюблённые вместе с Адамсом и Пенсом наконец добираются до поместья.

Леди Буби приезжает в своё поместье и узнает о том, что Джозеф и Фанни собираются пожениться, а пастор Адамс уже публично огласил предуведомление об их браке. Дама, терзаемая муками ревности и дав волю своему гневу, призывает к себе адвоката Скаута, который подсказывает ей, как с помощью судьи Фролика избавиться от Джозефа и Фанни. Их обвиняют в краже, и судья, который не решается идти против воли леди Буби, приговаривает их к тюремному заключению сроком на один месяц. Однако судья Фролик, в чьём чёрством сердце нашлась капля жалости к юным влюблённым, собирается устроить им побег по пути в тюрьму.

В это время в поместье леди Буби приезжает её племянник с сестрой Джозефа — Памелой, которая недавно стала женой сквайра. Мистер Буби узнает о несчастье, которое постигло брата его супруги, и спасает влюблённых от мести своей тётки. В разговоре с леди Буби он убеждает её в том, что отныне она безо всякого урона для своей чести может смотреть на Джозефа как на члена его семьи, коль скоро сестра её бывшего лакея стала женой её племянника. Леди Буби чрезвычайно рада такому повороту событий и мечтает о том, чтобы сделать Джозефа своим мужем. Для осуществления этой цели она убеждает племянника в том, что Джозеф достоин лучшей партии, чем простая крестьянка. Сквайр Буби вместе с Памелой пытаются отговорить Джозефа от брака с Фанни, но тот не намерен расставаться с возлюбленной ради того, чтобы сделать карьеру.

Тем временем в поместье приходит тот самый коробейник, который недавно выручил Адамса и его юных друзей, заплатив за них хозяину гостиницы. Он рассказывает историю своей давно умершей любовницы, которая перед самой кончиной призналась ему в том, что когда-то вместе с шайкой цыган занималась кражей детей. Много лет назад она продала покойному мужу леди Буби, сэру Томасу, трёхлетнюю девочку, которую она украла из семьи Энрюсов. С тех пор эта девочка воспитывалась в поместье Буби, и зовут её Фанни. Все потрясены тем, что Джозеф и Фанни — брат и сестра. Юноша и девушка в отчаянии.

В это время в поместье приезжают родители Джозефа и сэр Вильсон, который обещал пастору посетить его приход. Вскоре выясняется, что Джозеф — сын сэра Вильсона: цыганки украли мальчика, а потом, придя в дом Эндрюсов, подложили его вместо Фанни в люльку её матери, которая вырастила его как своего собственного ребёнка. У Вильсона не остаётся никаких сомнений, когда он видит на груди Джозефа родимое пятно в виде земляники.

Вильсон даёт согласие на брак Джозефа с Фанни. Сквайр Буби проявляет щедрость и даёт девушке приданое суммой две тысячи фунтов, и молодые супруги приобретают на эти деньги небольшое поместье в одном приходе с Вильсоном. Сквайр Буби предлагает Адамсу, который отчаянно нуждается в деньгах, чтобы прокормить свою многодетную семью, хорошо оплачиваемое место, и тот соглашается. Коробейник стараниями сквайра получает место акцизного чиновника и честно исполняет свои обязанности. Леди Буби уезжает в Лондон, где проводит время в обществе молодого драгунского полковника, который помогает ей забыть Джозефа Эндрюса, к которому она питала столь сильную страсть.