Но в среде всех этих ставших опять изолированными общин возникла одна старая проблема. Хотя Джеймс Нейлер в 1660 году умер раскаявшимся и вернувшимся в лоно движения, его ранняя ересь проявилась заново в крайне обаятельном Джоне Перроте. Некоторые авторы были до такой степени сбиты с толку на первый взгляд ничтожной природой расхождений Перрота с Фоксом, что отстранились от этого случая как от незначительного или даже обвинили Фокса в чрезмерной жесткости по отношению к сравнительно безобидному нарушителю.
Поводом этого знаменитого «спора о шляпах» было водительство Перроту во время молитвы о том, что ему не следует снимать свою шляпу, когда он (или кто-то другой) проповедует вслух на молитвенном собрании. Это было вдохновением, «которое я получил, выполняя заповедь от Господа Бога небесного». Причиной, по которой позиция Перрота не была расценена как пустячная, служит то, что она прямо напоминала действия Нейлера. Фокс пишет: «Но Джеймс Нейлер и иже с ним, могли не вставать на собрании, а шляпы их были надеты, когда я проповедовал. И они были первыми, кто подал этот плохой пример среди Друзей». В этой привычке Нейлер не был одинок. В осуждении (1681 г.) тех, кто не снимает шляп, Фокс отмечает, что эта традиция была отличительной чертой рантеров: «А также все такие же, как вы носят шляпы, когда возносят молитвы, и пребывают в давней дрянной привычке рантеров, которые устроили это ношение против власти бога».
Как можно было ожидать, Перрот занял нишу, которая подходила Нейлеру и рантерам, укрывшимся в квакерстве, и среди своих энтузиастов он наблюдал «большинство тех, кто когда-то был с Джеймсом [Нейлером]». В основе всего этого лежит представление о том, что отдельному Другу следует поступать в соответствии с собственными водительствами, не обращая внимания на то, чего придерживаются другие, даже если его водительства прямо противоположны соглашениям Друзей. Перрот верил, что: «Господь во мне более достоин внимания и подчинения, чем голос любого посредника возле меня; и поэтому пока я слышу голос Бога во мне, хотя я слышал трубный зов у себя, мне следует оставаться в покое и ждать определенных знаний, эхом проходящих через долину моей души, как найденных ответов Божьего мнения во мне».