Позднее в этом же году он на два года перебрался в Женеву, где женился во второй раз (в ноябре 1521 года). Его жена-француженка до своей смерти в 1529 году родила ему четырех сыновей и дочь. Дочь и один сын умерли в юности. По крайней мере три сына (Аймон, Анри и Жан) пережили его, обосновавшись во Франции. После смерти второй жены он писал: «Если между нами возникало чувство гнева, оно прекращалось до захода солнца». Ранее он называл ее благородной и прекрасной и говорил, что не знает, какая из его двух жен была более любящей и покорной20. Это замечание обнаруживает его традиционное отношение к женщинам.
Ему казалось, что он нашел более прибыльное ремесло, которое он и искал, когда в 1524 году он был приглашен к французскому двору и избрал себе местом пребывания Лион, где стал личным врачом Луизы Савойской, королевы-матери21. Он провел там почти четыре года (самое длительное его пребывание в одном месте со времен его детства). Первые два года были достаточно приятными, но потом он сумел обидеть свою покровительницу отказом составить гороскоп для короля. Время было для Франции напряженным: Франциск проиграл битву при Павии и был взят в плен испанцами в 1525 году, Луиза в его отсутствие управляла страной в 1525–1526 годах, действенно защищая его интересы. Едва он вернулся на трон, как королева-мать попросила Агриппу составить гороскоп для сына. Агриппа не только отказался, предложив королеве-матери найти своим талантам лучшее применение, чем «астрологи ческие суеверия», но он открыто высказал предположение (в письме, показанном королеве-матери), что, если бы он составил гороскоп, тот был бы неблагоприятен для короля и благоприятен для его соперника герцога Бургундского. Откровенность Агриппы включала в себя предсказание о том, что король умрет в течение шести месяцев22. Неудивительно, что его удалили от двора и что последний год во Франции он прожил в большой бедности и с возрастающим чувством горечи.