Деятельность Андрея Михайловича Фадеева в его должности гражданского губернатора не получила должного одобрения у высокого начальства в Петербурге. Тревоги и служебные неприятности, как тогда говорили, были предвестием серьезных изменений в его чиновничьей карьере. Нашла коса на камень – так можно охарактеризовать его отношения с новым непосредственным начальником – министром внутренних дел Львом Алексеевичем Перовским, в наше время больше известным в связи со своей внучатой племянницей, революционеркой-народницей Софьей Львовной Перовской.
Конфликты с министрами заканчиваются либо отставкой нижестоящего чиновника, либо назначением его на новую должность. Все зависит от того, есть ли у жертвы начальственного произвола вельможные заступники.
А. М. Фадеев не выдержал несправедливых придирок желчного Л. А. Перовского и подал прошение об отставке, которую немедленно получил. Он надеялся на хорошее к себе отношение графа Павла Дмитриевича Киселева, министра государственных имуществ, любимца двух императоров – Александра I и Николая I. До обострения конфликта с Перовским тот неоднократно приглашал А. М. Фадеева перейти в его министерство. Однако на этот раз граф полностью устранился от судьбы отправленного в отставку губернатора. Он только что возвратился из-за границы и узнал, что его жена графиня София Станиславовна Киселева, урожденная Потоцкая, выслана из Петербурга за свои выступления против властей и симпатию к революционной польской эмиграции. Вот почему, как можно предположить, он не делал лишних телодвижений, предпочитая на какое-то время затаиться, быть в отдалении от императора.
Так оно происходило или по-другому, но макиавеллизм и свой эгоизм по отношению к А. М. Фадееву он проявил в полной мере. А. М. Фадеев вспоминал: «Он давал мне деликатным образом понять, что не может для меня сделать ничего, потому что Государь не любит, чтобы министры помещали у себя тех высших чиновников, коих не желают иметь другие министры, где они состояли на службе; и также не любит, чтобы они защищали таковых чиновников, сколь бы им ни была известна их невинность. Одним словом, он боялся высказать Государю правду из опасения, чтобы не подвергнуться за то кривому взгляду. Хорош патриотизм государственного человека».