李贄在麻城時，住在龍湖寺芝佛院中。
在那裡幽居，李贄的思想是苦惱而矛盾的，他對世事有火熱心腸，卻過著隱居生活；他住在僧院，讀經談佛，卻供奉孔子；他自稱和尚，但酒肉皆入。其實，他既不信孔，也不信佛，這樣做不過是表示「玩世不恭」罷了。閑著無事時，他就在芝佛院著書講學，「儒釋從之者，幾千萬人」（沈瓚《近事叢殘》），以至「一境如狂」（顧炎武《日知錄》）。李贄喜歡引見求學者，不論誰請教他，提出什麼疑難問題，他都耐心儘力解答，因此，他的聲名和影響遍及麻城和黃安之間。有時，也有一些名門婦女來聽講就學。有人說：「女人見識短淺，不能學道呀！」李贄立即說：「講人有男女性別之分，可以；講見識有男女之分，哪行？講見識有長有短，可以；但講男子見識都長，女子見識都短，可以嗎？況且那些為學法而來的女子，甚至比男子還強啊！」他愈說愈激昂，使大家都很驚訝。李贄說的「男子不如」者，是指梅國楨（曾任兵部右侍郎、總督宣大山西軍務）的女兒譫然，她寡而信佛，歸依李贄，李贄把她比作男子，為她著《觀音問》等書。
由於李贄主張學道不分男女，因此，麻、黃間的士大夫們大嘩，流言蜚語鋪天蓋地，他們攻擊李贄，詆毀他「左道（偏道）惑眾」，想驅逐他。李贄對此卻付之輕蔑一笑，說：「我左道嗎？那給加冠好啦！」於是，他穿起舊日的官服，以示反抗。