После смерти Варвары Петровны Анна Яковлевна с мужем становятся владельцами большой доли лутовиновского наследства. Жизнь лифляндской немки потекла совсем в ином русле.

Теперь Анна Яковлевна с Николаем Сергеевичем часто бывают за границей, посещают западные курортные городки. Анна Яковлевна расцвела.

В письме из Парижа от 17 мая 1859 года, адресованном дяде Николаю Николаевичу, Тургенев сообщает: «<…> видел брата с его женою, которые оба очень потолстели и поздоровели, однако на днях едут в Вюрцбург к своему доктору».

В 1863-64 годах Анна Яковлевна с мужем живут в Дрездене. В это время выходит наружу история, связанная с именем сестры Анны Яковлевны – Екатерины Яковлевны Шварц, и та неблаговидная роль, которую сыграла в ней Анна Яковлевна.

В марте 1864 года Тургенев пишет брату Николаю Сергеевичу в Дрезден: «Я не успел переговорить с тобой о просьбе сестры Анны Яковлевны, которую я, впрочем, никогда в глаза не видел».

Просьбу о пособии излагала в своём письме другая сестра Анны Яковлевны Юлия Яковлевна Фёдорова, О том, какая драма разыгралась в семье Николая Сергеевича Тургенева после получения этого письма, рассказывает Иван Сергеевич в письме П.В. Анненкову: «<…> сделайте одолжение, поезжайте к Ф.Я. Ф<уксу>», <…> узнайте от него адрес Екатерины Яковлевны Шварц, сестры жены моего брата. Эту несчастную, полумёртвую чахоточную девушку брат (или, вернее, жена его) прогнал из своего дома без всякой причины на другой день после того, как я в Дрездене вручил ему письмо от другой сестры его жены с просьбой о пособии, и теперь это злополучное существо без всякого призрения и без паспорта гибнет в Петербурге». Тургенев не сомневался, что именно по инициативе Анны Яковлевны её больная сестра была отослана в Россию без документов и средств к существованию. На попытку Николая Сергеевича защитить и оправдать жену, Тургенев отвечает письмом от 26 февраля 1865 года: «Я сейчас получил письмо от Анненкова, через которого я послал ей (Екатерине Яковлевне) 100 руб. – и эти деньги дали возможность этой несчастной девушке поступить в госпиталь, где она, по приговору докторов, вероятно, месяца через два скончается <…> В твоём письме ты говоришь мне о “деликатности” Анны Яковлевны, состоящей будто бы в том, что она не утруждает тебя своими родственниками, я бы согласился с тобою, если б она из собственных  денег им помогала – а то, воля твоя – эта деликатность сбивается на эгоизм – и, во всяком случае, не стоит больших усилий».