Книга Герцена начинается с рассказов его няньки о мытарствах семьи Герцена в Москве 1812 г., занятой французами (сам А. И. тогда — маленький ребёнок); кончается европейскими впечатлениями 1865 — 1868 гг. Собственно, воспоминаниями в точном смысле слова «Былое и думы» назвать нельзя: последовательное повествование находим, кажется, только в первых пяти частях из восьми (до переезда в Лондон в 1852 г.); дальше — ряд очерков, публицистических статей, расположенных, правда, в хронологическом порядке. Некоторые главы «Былого и дум» первоначально печатались как самостоятельные вещи («Западные арабески», «Роберт Оуэн»). Сам Герцен сравнивал «Былое и думы» с домом, который постоянно достраивается: с «совокупностью пристроек, надстроек, флигелей».

Часть первая — «Детская и университет (1812 — 1834)» — описывает по преимуществу жизнь в доме отца — умного ипохондрика, который кажется сыну (как и дядя, как и друзья молодости отца — напр., О. А. Жеребцова) типичным порождением XVIII в.

События 14 декабря 1825 г. оказали чрезвычайное воздействие на воображение мальчика. В 1827 г. Герцен знакомится со своим дальним родственником Н. Огаревым — будущим поэтом, очень любимым русскими читателями в 1840 — 1860-х; с ним вместе Герцен будет потом вести русскую типографию в Лондоне. Оба мальчика очень любят Шиллера; помимо прочего, их быстро сближает и это; мальчики смотрят на свою дружбу как на союз политических заговорщиков, и однажды вечером на Воробьёвых горах, «обнявшись, присягнули, в виду всей Москвы, пожертвовать  жизнью на избранную  борьбу». Свои радикальные политические взгляды Герцен продолжает проповедовать и повзрослев — студентом физико-математического отделения Московского университета.

Часть вторая — «Тюрьма и ссылка» (1834 — 1838)«: по сфабрикованному делу об оскорблении его величества Герцен, Огарев и другие из их университетского кружка арестованы и сосланы; Герцен в Вятке служит в канцелярии губернского правления, отвечая за статистический отдел; в соответствующих главах «Былого и дум» собрана целая коллекция печально-анекдотических случаев из истории управления губернией.

Здесь же очень выразительно описывается А. Л. Витберг, с которым Герцен познакомился в ссылке, и его талантливый и фантастический проект храма в память о 1812 г. на Воробьёвых горах.

В 1838 г. Герцена переводят во Владимир.

Часть третья — «Владимир-на-Клязьме» (1838 — 1839)«- романтическая история любви Герцена и Натальи Александровны Захарьиной, незаконной дочери дяди Герцена, воспитывавшейся у полубезумной и злобной тётки. Родственники не дают согласия на их брак; в 1838 г. Герцен приезжает в Москву, куда ему запрещён въезд, увозит невесту и венчается тайно.

В части четвёртой — «Москва, Петербург и Новгород» (1840 — 1847)«описывается московская интеллектуальная атмосфера эпохи. Вернувшиеся из ссылки Герцен и Огарев сблизились с молодыми гегельянцами — кружком Станкевича (прежде всего — с Белинским и Бакуниным). В главе «Не наши» (о Хомякове, Киреевских, К. Аксакове, Чаадаеве) Герцен говорит прежде всего о том, что сближало западников и славянофилов в 40-е гг. (далее следуют объяснения, почему славянофильство нельзя смешивать с официальным национализмом, и рассуждения о русской общине и социализме).

В 1846 г. по идеологическим причинам происходит отдаление Огарева и Герцена от многих, в первую очередь от Грановского (личная ссора между Грановским и Герценом из-за того, что один верил, а другой не верил в бессмертие души, — очень характерная черта эпохи); после этого Герцен и решает уехать из России.

Часть пятая («Париж — Италия — Париж (1847 — 1852): Перед революцией и после неё») рассказывает о первых годах, проведённых Герценом в Европе: о первом дне русского, наконец очутившегося в Париже, городе, где создавалось многое из того , что он на родине читал с такой жадностью: «Итак, я действительно в Париже, не во сне, а наяву: ведь это Вандомская колонна и rue de la Paix»; о национально-освободительном движении в Риме, о «Молодой Италии», о февральской революции 1848 г. во Франции (все это описано достаточно кратко: Герцен отсылает читателя к своим «Письмам из Франции и Италии»), об эмиграции в Париже — преимущественно польской, с ее мистическим мессианским, католическим пафосом (между прочим, о Мицкевиче), об Июньских днях, о своём бегстве в Швейцарию и проч.

Уже в пятой части последовательное изложение событий прерывается самостоятельными очерками и статьями. В интермедии «Западные арабески» Герцен — явно под впечатлением от режима Наполеона III — с отчаянием говорит о гибели западной цивилизации, такой дорогой для каждого русского социалиста или либерала. Европу губит завладевшее всем мещанство с его культом материального благополучия: душа убывает. (Эта тема становится лейтмотивом «Былого и дум»: см., напр.: гл. «Джон-Стюарт Милль и его книга «On Liberty» в шестой части.) Единственный выход Герцен видит в идее социального государства.

В главах о Прудоне Герцен пишет и о впечатлениях знакомства (неожиданная мягкость Прудона в личном общении), и о его книге «О справедливости в церкви и в революции». Герцен не соглашается с Прудоном, который приносит в жертву человеческую личность «богу бесчеловечному» справедливого государства; с такими моделями социального государства — у идеологов революции 1891 г. вроде Ба-бефа или у русских шестидесятников — Герцен спорит постоянно, сближая таких революционеров с Аракчеевым (см., напр., гл. «Роберт Оуэн» в части шестой).

Особенно неприемлемо для Герцена отношение Прудона к женщине — собственническое отношение французского крестьянина; о таких сложных и мучительных вещах, как измена и ревность, Прудон судит слишком примитивно. По тону Герцена ясно, что эта тема для него близкая и болезненная.

Завершает пятую часть драматическая история семьи Герцена в последние годы жизни Натальи Александровны: эта часть «Былого и дум» была опубликована через много лет после смерти описанных в ней лиц.

Июньские события 1848 г. в Париже (кровавый разгром восстания и воцарение Наполеона III), а потом тяжёлая болезнь маленькой дочери роковым образом подействовали на впечатлительную Наталью Александровну, вообще склонную к приступам депрессии. Нервы ее напряжены, и она, как можно понять из сдержанного рассказа Герцена, вступает в слишком близкие отношения с Гервегом (известным немецким поэтом и социалистом, самым близким тогда другом Герцена), тронутая жалобами на одиночество его непонятой души. Наталья Александровна продолжает любить мужа, сложившееся положение вещей мучает ее, и она, поняв наконец необходимость выбора, объясняется с мужем; Герцен выражает готовность развестись, если на то будет ее воля; но Наталья Александровна остаётся с мужем и порывает с Гервегом. (Здесь Герцен в сатирических красках рисует семейную жизнь Гервега, его жену Эмму — дочь банкира, на которой женились из-за ее денег, восторженную немку, навязчиво опекающую гениального, по ее мнению, мужа. Эмма якобы требовала, чтобы Герцен пожертвовал своим семейным счастьем ради спокойствия Гервега.)

После примирения Герцены проводят несколько счастливых месяцев в Италии. В 1851 г. — в кораблекрушении погибают мать Герцена и маленький сын Коля. Между тем Гервег, не желая смириться со своим поражением, преследует Герценов жалобами, грозит убить их или покончить с собой и, наконец, оповещает о случившемся общих знакомых. За Герцена заступаются друзья; следуют неприятные сцены с припоминанием старых денежных долгов, с рукоприкладством, публикациями в периодике и проч. Всего этого Наталья Александровна перенести не может и умирает в 1852 г. после очередных родов (видимо, от чахотки).

Пятая часть заканчивается разделом «Русские тени» — очерками о русских эмигрантах, с которыми Герцен тогда много общался. Н. И. Сазонов, товарищ Герцена по университету, много и несколько бестолково скитавшийся по Европе, увлекавшийся политическими прожектами до того, что в грош не ставил слишком «литературную» деятельность Белинского, например, для Герцена этот Сазонов — тип тогдашнего русского человека, зазря сгубившего «бездну сил», не востребованных Россией. И здесь же, вспоминая о сверстниках, Герцен перед лицом заносчивого нового поколения — «шестидесятников» — «требует признания и справедливости» для этих людей, которые «жертвовали всем,  что им предлагала традиционная жизнь,  из-за своих убеждений  Таких людей нельзя просто сдать в архив...». А. В. Энгельсон для Герцена — человек поколения петрашевцев со свойственным ему «болезненным надломом», «безмерным самолюбием», развившимся под действием «дрянных и мелких» людей, которые составляли тогда большинство, со «страстью самонаблюдения, самоисследования, самообвинения» — и притом с плачевной бесплодностью и неспособностью к упорной работе, раздражительностью и даже жестокостью.

Часть шестая. После смерти жены Герцен переезжает в Англию: после того как Гервег сделал семейную драму Герцена достоянием молвы, Герцену нужно было, чтобы третейский суд европейской демократии разобрался в его отношениях с Гервегом и признал правоту Герцена. Но успокоение Герцен нашёл не в таком «суде» (его и не было), а в работе: он «принялся  за „Былое и думы“ и за устройство русской типографии».

Автор пишет о благотворном одиночестве в его тогдашней лондонской жизни («одиноко бродя по Лондону, по его каменным просекам,  не видя иной раз ни на шаг вперёд от сплошного опалового тумана и толкаясь с какими-то бегущими тенями, я много прожил») ; это было одиночество среди толпы: Англия, гордящаяся своим «правом убежища», была тогда наполнена эмигрантами; о них преимущественно и рассказывает часть шестая («Англия (1852 — 1864)»).

От вождей европейского социалистического и национально-освободительного движения, с которыми Герцен был знаком, с некоторыми — близко (гл. «Горные вершины» — о Маццини, Ледрю-Роллене, Кошуте и др.; гл. «Camicia rossa» о том, как Англия принимала у себя Гарибальди — об общенародном восторге и интригах правительства, не желавшего ссориться с Францией), — до шпионов, уголовников, выпрашивающих пособие под маркой политических изгнанников (гл. «Лондонская вольница пятидесятых годов»). Убеждённый в существовании национального характера, Герцен посвящает отдельные очерки эмиграции разных национальностей («Польские выходцы», «Немцы в эмиграции» (здесь см., в частности, характеристику Маркса и «марксидов» — «серной шайки»; их Герцен считал людьми очень непорядочными, способными на все для уничтожения политического соперника; Маркс платил Герцену тем же). Герцену было особенно любопытно наблюдать, как национальные характеры проявляются в столкновении друг с другом (см. юмористическое описание того, как дело французов дуэлянтов рассматривалось в английском суде — гл. «Два процесса»).

Часть седьмая посвящена собственно русской эмиграции (см., напр., отдельные очерки о М. Бакунине и В. Печерине), истории вольной русской типографии и «Колокола» (1858 — 1862). Автор начинает с того, что описывает неожиданный визит к нему какого-то полковника, человека, судя по всему, невежественного и вовсе нелиберального, но считающего обязанностью явиться к Герцену как к начальству: «я тотчас почувствовал себя генералом». Первая гл. — «Апогей и перигей»: огромная популярность и влияние «Колокола» в России проходят после известных московских пожаров и в особенности после того, как Герцен осмелился печатно поддержать поляков во время их восстания 1862 г.

Часть восьмая (1865 — 1868) не имеет названия и общей темы (недаром первая ее глава — «Без связи»); здесь описываются впечатления, которые произвели на автора в конце 60-х гг. разные страны Европы, причём Европа по-прежнему видится Герцену как царство мёртвых (см. главу о Венеции и о «пророках» — «Даниилах», обличающих императорскую Францию, между прочим, о П. Леру); недаром целая глава — «С того света» — посвящена старикам, некогда удачливым и известным людям. Единственным местом в Европе, где можно ещё жить, Герцену кажется Швейцария.

Завершают «Былое и думы» «Старые письма» (тексты писем к Герцену от Н. Полевого, Белинского, Грановского, Чаадаева, Прудона, Карлейля). В предисловии к ним Герцен противопоставляет письма — «книге»: в письмах прошлое «не давит всей силой, как давит в книге. Случайное содержание писем, их лёгкая непринуждённость, их будничные заботы сближают нас с писавшим». Так понятые письма похожи и на всю книгу воспоминаний Герцена, где он рядом с суждениями о европейской цивилизации попытался сберечь и то самое «случайное» и «будничное». Как сказано в XXIV гл. пятой части, «что же, вообще, письма, как не записки о коротком времени?».