В 1955 году сын Серовой угодил в трудовой исправительный интернат под Нижним Тагилом. Все к тому и шло: Анатолий с 12 лет стал выпивать, водился преимущественно с хулиганами. Те его обожали, поскольку мальчик всегда был при деньгах и частенько кормил их за свой счет. Делал он это оригинально. У них на даче в Переделкине родители по выходным собирали шумные компании, которые гуляли всю ночь. Потом всей гурьбой взрослые уезжали догуливать в Москву. Так вот Анатолий дожидался этого момента, потом созывал своих приятелей из близлежащих дач, и они доедали и допивали все, что оставалось на столах (а оставалось там, как правило, много). После одной из таких попоек ребята подожгли чью-то дачу. После этого случая родители отправили Анатолия в интернат, думая, что там парня исправят.
Спустя примерно год после отъезда Анатолия в Нижний Тагил, в 56-м, Симонов ушел от Серовой. Это был год Обезьяны, и в гороскопе Козы про него сказано: «Коза чувствует себя одураченной и покинутой. Ей грустно…» А вот у Кота все наоборот: «Хитрой Обезьяне вряд ли удастся одурачить Кота. Он не поддается на ее провокации…»
Н. Пушнова пишет: «Связь с Серовой становилась для него тягостно-неуместной. Человеку его ранга невозможно оставаться с такой женщиной. Невостребованная, никому, по сути, уже не нужная стареющая актриса. Это было непрестижно в тех кругах, в которых он вращался. Тем более что от прежней красоты жены оставалось все меньше. Время от времени красивая в прошлом женщина уступала место обычной тетке, вульгарной и малосимпатичной. И это было безобразнее обыкновенного и естественного старения. Шло уже явное самоуничтожение, и звалось оно алкоголизмом…»