В марте 1776 года Екатерина, чьи отношения с Потемкиным так до сих пор и не были полностью завершены, интимно сблизилась с Завадовским. Двор и дипломатические круги были в недоумении: если не считать того, что Завадовский теперь намного чаще Потемкина сопровождал Екатерину в ее покои под вечер, казалось, ничто не изменилось. Потемкин продолжал жить в Зимнем дворце и присутствовал везде, где появлялась Екатерина. На публике они с Екатериной вели себя все так же нежно, между нынешним и прошлым фаворитом не наблюдалось никаких признаков напряженности или ревности. Более того, Потемкин был приветлив с Завадовским и относился к нему почти как к младшему брату.
Завадовский оправдал надежды Екатерины и принес в ее жизнь радость. Он был страстным и совершенно уникальным среди ее любовников, поскольку не жаждал ни почестей, ни богатства. Их общение было полно страсти: Екатерина обращалась к нему в уменьшительной форме, а он называл ее Катей и Катюшей. Когда Завадовский только переехал в Зимний, все могло сложиться вполне благополучно, если бы им не овладела одержимая любовь к Екатерине, а вслед за ней – жестокая ревность к Потемкину. Он хотел, а впоследствии и стал требовать, полной близости и жаловался, что тень предшественника всегда преграждала ему путь. Екатерина пыталась объяснить ситуацию и свои чувства. Но Завадовский не хотел ее слушать. Это и стало причиной его падения.
28 июня Завадовский стал официальным фаворитом. Несколькими днями ранее Потемкин покинул столицу и отправился в Новгород. Он отсутствовал четыре недели. Все это время Завадовский чувствовал себя несчастным: он не был придворным, и дворцовая жизнь утомляла его. Завадовский слишком плохо говорил по-французски, чтобы участвовать в светских беседах. Потемкин также был несчастен. Вернувшись в конце июля, он пожаловался императрице на свое одиночество и на то, что ему некуда было идти. Екатерина ответила: «Мой муж сказал мне только что: «Куда мне идти, куда мне деваться?» Мой дорогой и горячо любимый супруг, придите ко мне: вы будете встречены с распростертыми объятиями».
Потемкин, который прежде утвердил кандидатуру своего последователя, теперь понял, что Завадовский начал представлять угрозу не только его личной жизни, но и публичному положению. Он пожаловался Екатерине. Она, надеявшаяся обрести умиротворение в своем окружении, поняла, что теперь ей придется мириться с ревностью и Завадовского, и Потемкина. Весной 1777 года Потемкин не присутствовал на дне рождения Екатерины, он удалился в загородное поместье. В безапелляционной форме он потребовал отставки Завадовского. Екатерина отказала:
«Просишь ты отдаления Завадовского. Слава моя страждет всячески от исполнения сей просьбы. Плевелы тем самым утвердятся и только почтут меня притом слабою более, нежели с одной стороны. И совокуплю к тому несправедливость и гонение на невинного человека. Не требуй несправедливостей, закрой уши от наушников, дай уважение моим словам. Покой наш восстановится. Буде горесть моя тебя трогает, отложи из ума и помышления твои от меня отдалиться. Ей Богу, одно воображение сие для меня несносно, из чего еще утверждается, что моя к тебе привязанность сильнее твоей».
Потемкин оказался непреклонен: Завадовский должен был уйти. Летом 1777 года после менее чем восемнадцати месяцев пребывания в качестве фаворита, он ушел, ожесточенный и безутешный, приняв прощальный подарок императрицы – восемнадцать тысяч рублей – и заперся в своем имении в Украине. Той же осенью Екатерина предприняла вялую попытку вернуть его, но в 1777 году разразился политический кризис. К тому времени Потемкин как наместник управлял южной частью империи Екатерины, и его поддержка была слишком важна для нее, чтобы рисковать ею из-за перипетий личной жизни. Завадовский жил вдали от двора в течение трех лет и вернулся в Санкт-Петербург в 1780 году, когда получил назначение в качестве тайного советника. В 1781 году он стал директором государственного банка, который был организован на основании предложенного им же плана. Впоследствии он стал сенатором и закончил карьеру в должности министра народного просвещения при внуке Екатерины Александре I.
Новые отношения между Екатериной и Потемкиным давали им свободу в выборе сексуальных партнеров, но позволяли сохранять при этом нежные чувства друг к другу и тесный политический союз. Екатерина часто скучала без него: «Сгораю от нетерпения увидеть вас, мне кажется, что мы не виделись уже год. Целую вас, мой друг. Возвращайтесь счастливым и в добром здравии, и мы будем любить друг друга… Целую вас и так хочу увидеть, потому что люблю вас всем сердцем». В своих письмах она также сообщала ему, что ее новый фаворит – кем бы он на тот момент ни был – шлет ему выражение любви и признательности. Она также заставляла своих любовников писать ему. В основном это были льстивые заверения в том, как они скучают, восхищаются или даже преклоняются перед ним. Молодые люди подчинялись, поскольку они знали, в сравнении с влиянием Потемкина на Екатерину, их собственное – являлось ничтожным.