Действие разворачивается в начале XX столетия (в годы, непосредственно предшествовавшие началу первой мировой войны) в Швейцарии, в расположенном близ Давоса туберкулёзном санатории. Название романа вызывает ассоциации с горой Герзельберг (Греховная, или Волшебная, гора), где, согласно легенде, миннезингер Тангейзер провёл семь лет в плену у богини Венеры.

Герой романа, молодой немец по имени Ганс Касторп, приезжает из Гамбурга в санаторий «Берггоф» навестить своего двоюродного брата Иоахима Цимсена, проходящего там курс лечения. Ганс Касторп намерен провести в санатории не более трёх недель, но к концу намеченного срока чувствует недомогание, сопровождающееся повышением температуры. В результате врачебного осмотра у него обнаруживаются признаки туберкулёза, и по настоянию главного врача Беренса Ганс Касторп остаётся в санатории на более долгий срок. С самого момента приезда Ганс Касторп обнаруживает, что время в горах течёт совсем не так, как на равнине, а потому практически невозможно определить, сколько дней, недель, месяцев, лет прошло между теми или иными описываемыми событиями и какой срок охватывает действие всего романа. В самом конце романа, правда, говорится, что Ганс Касторп провёл в санатории в общей сложности семь лет, но даже эту цифру можно рассматривать как определённую художественную условность.

Собственно говоря, сюжет и события, случающиеся в романе, совершенно не важны для понимания его смысла. Они лишь повод для того, чтобы противопоставить различные жизненные позиции персонажей и дать автору возможность высказаться их устами по многим волнующим его проблемам: жизнь, смерть и любовь, болезнь и здоровье, прогресс и консерватизм, судьба человеческой цивилизации на пороге XX столетия. В романе чередой проходят несколько десятков персонажей — в основном пациенты, врачи и обслуживающий персонал санатория: кто-то выздоравливает и покидает «Берггоф», кто-то умирает, но на их место постоянно поступают новые.

Среди тех, с кем Ганс Касторп знакомится уже в первые дни своего пребывания в санатории, особое место занимает господин Лодовико Сеттембрини — потомок карбонариев, масон, гуманист, убеждённый сторонник прогресса. При этом, как истинный итальянец, он страстно ненавидит Австро-Венгрию. Его необычные, подчас парадоксальные идеи, высказанные к тому же в яркой, часто язвительной форме, оказывают огромное влияние на сознание молодого человека, который начинает почитать господина Сетгембрини как своего наставника.

Важную роль в истории жизни Ганса Касторпа сыграла и его любовь к русской пациентке санатория мадам Клавдии Шоша — любовь, которой он в силу полученного им строгого воспитания в кальвинистской семье поначалу противится всеми силами. Проходит много месяцев, прежде чем Ганс Касторп заговаривает со своей возлюбленной — это происходит во время карнавала накануне великого поста и отъезда Клавдии из санатория.

За время, проведённое в санатории, Ганс Касторп серьёзно увлёкся множеством философских и естественнонаучных идей. Он посещает лекции по психоанализу, серьёзно штудирует медицинскую литературу, его занимают вопросы жизни и смерти, он изучает современную музыку, используя для своих целей новейшее достижение техники — грамзапись и т. д. По сути дела, он уже не мыслит своей жизни на равнине, забывает о том, что там его ждёт работа, практически порывает связи со своими немногочисленными родственниками и начинает рассматривать жизнь в санатории как единственно возможную форму существования.

С его двоюродным братом Иоахимом дело обстоит как раз наоборот. Он давно и упорно готовил себя к карьере военного, и потому рассматривает каждый лишний месяц, проведённый в горах, как досадное препятствие на пути осуществления жизненной мечты. В какой-то момент он не выдерживает и, не обращая внимания на предостережения врачей, покидает санаторий, поступает на воинскую службу и получает офицерский чин. Однако проходит совсем немного времени, и его болезнь обостряется, так что он вынужден вернуться в горы, но на этот раз лечение ему не помогает, и он вскоре умирает.

Незадолго до этого в круг знакомых Ганса Касторпа попадает новый персонаж — иезуит Нафта, вечный и неизменный оппонент господина Сеттембрини. Нафта идеализирует средневековое прошлое Европы, осуждает само понятие прогресса и всю воплощающуюся в этом понятии современную буржуазную цивилизацию. Ганс Касторп оказывается в некотором смятении — слушая долгие споры Сеттембрини и Нафты, он соглашается то с одним, то с другим, потом находит противоречия и у того, и у другого, так что уже не знает, на чьей стороне правда. Впрочем, влияние Сеттембрини на Ганса Касторпа столь велико, а врождённое недоверие к иезуитам столь высоко, что он всецело стоит на стороне первого.

Меж тем в санаторий на некоторое время возвращается мадам Шоша, но не одна, а в сопровождении своего нового знакомого — богатого голландца Пеперкорна. Почти все обитатели санатория «Берггоф» попадают под магнетическое влияние этой безусловно сильной, загадочной, хотя и несколько косноязычной, личности, а Ганс Касторп чувствует с ним некоторое родство, ведь их объединяет любовь к одной и той же женщине. И эта жизнь обрывается трагически. Однажды неизлечимо больной Пеперкорн устраивает прогулку к водопаду, всячески развлекает своих спутников, вечером они с Гансом Касторпом пьют на брудершафт и переходят на «ты», несмотря на разницу в возрасте, а ночью Пеперкорн принимает яд и умирает, Вскоре мадам Шоша покидает санаторий — на этот раз, видимо, навсегда.

С определённого момента в душах обитателей санатория «Берггоф» начинает ощущаться какое-то беспокойство. Это совпадает с приездом новой пациентки — датчанки Элли Бранд, обладающей некоторыми сверхъестественными способностями, в частности умеющей читать мысли на расстоянии и вызывать духов. Пациенты увлекаются спиритизмом, устраивают сеансы, в которые вовлекается и Ганс Касторп, несмотря на язвительные насмешки и предостережения со стороны своего наставника Сеттембрини. Именно после таких сеансов, а может быть, и в результате их былой размеренный ход времени в санатории оказывается нарушенным. Пациенты ссорятся, то и дело возникают конфликты по самому ничтожному поводу.

Во время одного из споров с Нафтой Сеттембрини заявляет, что тот своими идеями развращает юношество. Словесная перепалка приводит к взаимным оскорблениям, а потом и к дуэли. Сеттембрини отказывается стрелять, и тогда Нафта пускает пулю себе в голову.

И тут грянул гром мировой войны. Обитатели санатория начинают разъезжаться по домам. Ганс Касторп также уезжает на равнину, напутствуемый господином Сеттембрини сражаться там, где близкие ему по крови, хотя сам господин Сеттембрини, похоже, в этой войне поддерживает совсем другую сторону.

В заключительной сцене Ганс Касторп изображён бегущим, ползущим, падающим вместе с такими же, как он, молодыми людьми в солдатских шинелях, попавшими в мясорубку мировой войны. Автор сознательно ничего не говорит об окончательной судьбе своего героя — повесть о нем закончена, а его жизнь интересовала автора не сама по себе, а лишь как фон для повествования. Впрочем, как отмечается в последнем абзаце, надежды выжить у Ганса Касторпа небольшие.