Исследователь творчества великого поэта Джеффри Асперна приезжает в Венецию, чтобы познакомиться с его бывшей возлюбленной Джулианой Бордеро, которая живёт с незамужней племянницей Тиной в большом доме и ни с кем не общается. У Джулианы есть письма Асперна, которыми герой рассказа мечтает завладеть, но она прячет их от всех и пресекает всякие попытки биографов и почитателей Асперна завязать с ней знакомство. Зная, что она живёт в бедности, герой решает снять у неё несколько комнат. Одержимый мыслью заполучить письма, он готов приволокнуться за племянницей, чтобы достичь цели. Его старая приятельница миссис Прест, которой он поверяет свои планы, восклицает: «О, вы на неё сперва посмотрите!» Чтобы не вызвать у Джулианы подозрений, герой является в дом в качестве американского путешественника, который мечтает снять квартиру с садом, а сад в Венеции — редкость. Тина принимает его с робким недоумением, но любезность героя, его напористость и обещание привести сад в порядок приводят к тому, что она обещает поговорить с тётей. Герой с замиранием сердца ждёт встречи с легендарной Джулианой, которая оказывается подозрительной и алчной старухой, больше всего интересующейся деньгами. Она запрашивает с героя непомерную плату за комнаты, и он даже боится, что, согласившись на неё, выдаст себя: ни один нормальный путешественник столько бы не заплатил. Но убедившись, что, говоря о деньгах, Джулиана забывает обо всем на свете, герой соглашается. Джулиана гордо демонстрирует перед непрактичной и беспомощной Тиной своё умение вести дела. Деньги она предназначает Тине, обожающей её и преданно ухаживающей за ней. Племянница относится к герою с симпатией, и он надеется найти в ней помощницу. Герой поселяется у Джулианы, но за полтора месяца жизни в доме он всего один раз видит Тину — когда приносит деньги, а Джулиану не видит ни разу. Он нанимает садовника и надеется добиться расположения хозяек дома, посылая им букеты цветов. Однажды, вернувшись домой в неурочный час, он встречает в саду Тину. Герой боится, что смутил её своим появлением, но она рада его видеть, и неожиданно оказывается весьма словоохотливой. Он пытается расспросить Тину об Асперне и в конце концов признается, что занимается его творчеством и ищет новые материалы о нем. Тина в смятении уходит. С тех пор она избегает героя. Но вот однажды он встречает Тину в большой зале, и она приглашает его поговорить с Джулианой. Герой обеспокоен, но Тина говорит, что ничего не сказала Джулиане о его интересе к Асперну. Джулиана благодарит героя за цветы, и он обещает посылать их впредь. Герой все время пытается разглядеть в жадной старухе облик прежней Джулианы — вдохновительницы Асперна, но видит лишь древнюю старуху, которая прячет глаза под уродливым зелёным козырьком. Джулиана хочет, чтобы герой развлёк её племянницу, и он охотно соглашается прогуляться с ней по городу. Не избалованная вниманием Тина все больше привязывается к герою. Она чистосердечно рассказывает ему все, что знает о письмах Асперна, но знает она только то, что они существуют. Она не соглашается забрать у Джулианы письма и отдать герою — ведь это значило бы предать тётю. Герой боится, как бы Джулиана не уничтожила письма. Джулиана предлагает герою продлить своё пребывание в их доме, но он уже потратил столько денег, что не может больше платить так дорого за жилье. Она соглашается на разумную цену, но герой не хочет платить за полгода вперёд и обещает платить помесячно. Словно для того, чтобы подразнить героя, Джулиана показывает ему миниатюрный портрет Асперна, который будто бы собирается продать. Герой притворяется, будто знать не знает, кто это, но ему нравится мастерство художника. Джулиана с гордостью говорит, что художник — её отец, подтверждая тем самым догадку героя о её происхождении. Она говорит, что меньше чем за тысячу фунтов не расстанется с портретом. Таких денег у героя нет, вдобавок он подозревает, что в действительности она и не собиралась продавать портрет.

Через несколько часов Джулиане становится плохо, и Тина боится, что она вот-вот умрёт. Герой пытается выяснить у Тины, где Джулиана хранит письма Асперна, но в Тине борются два чувства — симпатия к герою и преданность тёте. Она искала письма, но не нашла, а если бы и нашла, то сама не знает, отдала ли бы их герою: она не хочет обманывать Джулиану. Вечером, видя, что дверь в комнату Джулианы открыта, герой входит и протягивает руку к секретеру, где, как ему кажется, могут храниться письма, но в последнюю минуту оглядывается и замечает на пороге спальни Джулиану. В этот миг он впервые видит её необыкновенно горящие глаза. Она с яростью шипит: «Гнусный писака!» — и падает на руки подоспевшей племянницы. Наутро герой покидает Венецию и возвращается только через двенадцать дней. Джулиана умерла, и её уже похоронили. Герой утешает Тину, расспрашивает её о планах на будущее. Тина в растерянности и ещё ничего не решила. Она дарит герою портрет Асперна. Герой спрашивает про его письма. Он узнает, что Тина помешала Джулиане сжечь их. Они теперь у Тины, но она не решается отдать их герою — ведь Джулиана так ревниво оберегала их от посторонних глаз. Тина робко намекает герою, что если бы он не был чужим человеком, если бы он был членом семьи, то она могла бы отдать ему письма. Герой вдруг понимает, что эта неуклюжая старая дева любит его и хотела бы стать его женой. Он бросается вон из дома и никак не может прийти в себя: выходит, он невольно внушил бедной женщине надежды, осуществить которые он не в силах. «Не могу я ради связки истрёпанных писем жениться на жалкой, нелепой, старой провинциалке», — решает он. Но за ночь он понимает, что не может отказаться от сокровищ, о которых так долго мечтал, и утром Тина кажется ему помолодевшей и похорошевшей. Он готов на ней жениться. Но прежде, чем он успевает сказать это Тине, Тина сообщает ему, что сожгла все письма, листок за листком. У героя темнеет в глазах. Когда он приходит в себя, чары рассеиваются, и он вновь видит перед собой неказистую, мешковато одетую пожилую женщину. Герой уезжает. Он пишет Тине, что продал портрет Асперна и посылает довольно крупную сумму, которую не мог бы выручить, вздумай он действительно продать его. На самом деле он оставляет портрет себе, и, когда он глядит на него, у него щемит сердце при мысли о том, что он потерял, — разумеется, имеются в виду письма Асперна.