程子的門人，專做「去人慾」的工作，即是專做「去怵惕」的工作。門人中有呂原明者，乘轎渡河墜水，從者溺死，他安坐轎中，漠然不動，他是去了怵惕的人，所以見從者溺死，不生惻隱心。程子這派學說傳至南渡，朱子的好友張南軒、其父張魏公，苻離之戰，喪師十數萬，終夜鼾聲如雷，南軒還誇其父心學很精。張魏公也是去了怵惕的人，所以死人如麻，不生惻隱心。
孟子曰：「同室之人斗者救之，雖被發攖冠而救之可也。」呂原明的從者、張魏公的兵士，豈非同室之人？他們這種舉動，豈不是顯違孟子家法？大凡去了怵惕的人，必流於殘忍。殺人不眨眼的惡賊，往往身臨刑場，談笑自苦，是其明證。程子是去了怵惕的人，所以發出「婦人餓死事小，失節事大」的議論。故戴東原曰：宋儒以理殺人。
有人問道：怵惕心不除去，遇著大患臨頭，我只有個畏死之心，怎能幹救國救民的大事呢？我說：這卻不然，在孟子是有辦法的，他的方法，只是集義二字，平日專用集義的工夫，見之真，守之篤，一旦身臨大事，義之所在，自然會奮不顧身的做去。所以說：「生，亦我所欲也，義，亦我所欲也，二者不可得兼，捨生而取義者也。」孟子平日集義，把這種至大至剛的浩氣養得完完全全的，並不像宋儒去人慾，平日身蹈危階，把那種畏死之念去得乾乾淨淨的。孟子不動心，宋儒亦不動心。孟子之不動心，從積極的集義得來；宋儒之不動心，從消極的去欲得來，所走途徑，完全相反。
孟子的學說：以我字為出發點，所講的愛親敬兄和怵惕惻隱，內部都藏有一個我字。其言曰：「老吾老，以及人之老，幼吾幼，以及人之幼。」又曰：「人人親其親長其長，而天下平。」吾者我也，其者我也，處處不脫我字，孟子因為重視我字，才有「民為貴君為輕」的說法，才有「君之視臣如草芥，則臣視君如寇讎」的說法。程子倡「去人慾」的學說，專作剝削我字的工作，所以有「婦人餓死事小，失節事大」的說法。孟子曰：「賊仁者謂之賊，賊義者謂之殘，殘賊之人謂之一夫。聞誅一夫紂矣，未聞弒君也。」這是孟子業已判決了的定案。韓昌黎曰：「臣罪當誅兮，天王聖明。」程子極力稱賞此語。公然推翻孟子定案，豈非孟門叛徒？他們還要自稱承繼孟子道統，真百思不解。
孔門學說，「已欲立而立人，已欲達而達人」，利己利人，合為一事。楊子為我，專講利己，墨子兼愛，專講利人。這都是把一個整道理，蒙著半面，只說半面。學術界公例：「學說愈偏則愈新奇，愈受人歡迎。」孟子曰：「天下之言，不歸楊，則歸墨。」孔子死後，未及百年，他講學的地方，全被楊墨奪去，孟子攘臂而起，力辟楊墨，發揮孔子推己及人的學說。在我們看來，楊子為我，只知自利，墨子兼愛，專門利人，墨子價值，似乎在楊子之上。乃孟子曰「逃墨必歸於楊，逃楊必歸於儒」，反把楊子放在墨子之上，認為去儒家為近，於此可見孟子之重視我字。
楊子拔一毛而利天下不為也，極端尊重我字，然楊子同時尊重他人之我。其言曰：「智之所貴，存我為貴，力之所賤，侵物為賤。」不許他人拔我一毛，同時我也不拔他人一毛，其說最精，故孟子認為高出墨子之上。然由楊子之說，只能做到利己而無損於人，與孔門仁字不合。仁從二人，是人與我中間的工作。楊子學說，失去人我之關聯，故為孟子所斥。
墨子摩頂放踵以利天下，其道則為損己利人，與孔門義字不合。義字從羊從我，故義字之中有個我字在；羊者祥也，美善二字皆從羊。由我擇其最美最善者行之，是之謂義。事在外，擇之者我也，故曰義內也。墨子兼愛，知有人不知有我，故孟子深斥之。然墨子之損我，是犧牲我一人，以救濟普天下之人，知有眾人之我，不知自己之我，此菩薩心腸也。其說只能行之於少數聖賢，不能行之於人人，與孔門中庸之道，人己兩利之旨有異，自孟子觀之，其說反在楊子之下。何也？因其失去甲乙二圖之中心點也。孟子曰：「天之生物也，使之一本。」一本者何？中心點是也。 墨子之損我，是我自願損之，非他人所得干預也；墨子善守，公輸九攻之，墨子九御之，我不欲自損，他人固無如我何也。墨子摩頂放踵，與「腓無肱，脛無毛」之大禹何異？與「棲棲不已，席不暇暖」之孔子何異？孟子之極口詆之者，無非學術上門戶之見而已。然墨子摩頂放踵，所損者外形也，宋儒去人慾，則損及內心矣，其說豈不更出墨子下？孔門之學，推己及人，宋儒亦推己及人，無如其所推而及之者，則為我甘餓死以殉夫，遂欲天下之婦人，皆餓死以殉夫，我甘誅死以殉君，遂欲天下之臣子，皆誅死以殉君，仁不如墨子，義不如楊子。孟子已斥楊墨為禽獸矣，使見宋儒，未知作何評語？