Древние предания называют основательницей монастыря императрицу Пульхерию, дочь императора Аркадия. На берегу до сих пор стоит «башня Пульхерии» (450–457). Монастырь получил своё название по имени святого Павла Ксиропотама, человека царского происхождения, жившего здесь отшельником. Император Роман восстановил монастырь императрицы Пульхерии по его ходатайству.
Над дверью здешнего храма до сих пор сохранилась надпись на греческом языке: «Царевна Пульхерия, дочь Аркадия, первая построила этот святой монастырь; Вторым строителем был Роман вместе с иноками из Симонопетра, Святая Гора, 969–70».
Имя святого Павла мы находим уже в первом типиконе Святой Горы (971 год). Он не одобрял идею создания крупных монашеских общин, которую старался воплотить в жизнь преподобный Афанасий, видел идеал пустынножительства в маленьких изолированных скитах и отшельнических кельях. Император Константинопольский же принял сторону святого Афанасия, тем не менее Павел продолжал подвизаться, ведя строго аскетический образ жизни.
Но после кончины святого его община стала общежительным братством и к одиннадцатому веку превратилась в одно из богатейших на Святой Горе монашеских сообществ. С началом латинской оккупации и пиратских набегов Ксиропотам начал приходить в упадок.
В XIII веке, после Флорентийского собора, по указанию императора Михаила Палеолога монастырь принял унию с Римом. Однако, во время первой же совместной литургии монахов Ксиропотама и представителей римского духовенства мощное землетрясение уничтожило монастырь. Присутствовавшему при этом императору Михаилу Палеологу удалось спастись, а монахи погибли, все до единого!
Сын императора, Андроник, восстановил Ксиропотам как православный монастырь. Интересный факт: турецкий султан Селим I, завоеватель Египта (1512–20), щедро жертвовал на афонские монастыри и особенно Ксиропотаму. По словам самого султана, ему явились во сне Сорок Мучеников и повелели помогать этому монастырю.