最近，參謀伊東在隊里的人緣變得非常好。
近藤如果知道隊員有違紀行為，大約只會說兩個字：「殺了。」
正因為近藤、土方實行如此毫無人道的統治方式，自從新選組成立以來，他們成功統治了各地前來參加組織的亡命之徒。可是自從伊東加入新選組以來，近藤再要說殺人，旁邊的伊東會來勸解：「算了算了。」因為伊東這句話保住小命的隊員，不在少數，伊東的崇拜者也越來越多。這種慈悲行動當然是伊東的性格使然，但這也可以認為他在放交情，在新選組裡培植自己的勢力。
土方歲三從一開始就冷眼旁觀伊東這種「挖牆腳」行為，但是到了慶應二年，伊東的行動終於到了他忍無可忍的露骨地步。
伊東推說「為了遊說」，放下隊里的隊務不管，單身到廣島、名古屋、九州島旅行，並趁著這趟機會，和各地的勤王家頻繁見面，鞏固了自己的勢力範圍。其中最讓人覺得可疑的就是他在廣島和長州藩建立了親密關係，有人看見他進出今出川的薩摩藩邸，還有人說他和中村半次郎（後來的桐野秋利）不清不楚。這在京都成了公開的秘密。
「那人遲早變成清川，總有一天，他要拉出去一批人，造我們的反。」
土方對近藤這麼說，近藤早就注意到清川和伊東相貌相同，眼角露出的高傲眼神更是有幾分神似。
「那就好好查一查，最好在他還沒有鬧事之前，悄悄地的把給做了。」
「有您這話我就放心了，伊東和我同等級別，樹大招風，我以前聽到這話的時候，還以為是別人造謠哪！所以一直隱瞞到現在。」
「你我之間，何必這麼客氣。」
近藤微微朝土方點了點頭，臉上的表情除了土方，不會有第三個人看見。
伊東也不是省油的燈，也感覺到了漸漸逼近的危險。
他倒不是警惕性太低，他和近藤的心腹藤堂平助將心裡的懷疑都說了，並要求藤堂告訴他近藤的動向。他做好心理準備，如果近藤準備動手，他肯定先把近藤放倒。
但是伊東為什麼不離開這個虎穴哪？主要他認為還沒到離開新選組的時機。
直到江戶時代就開始盟友筱原泰之進贊同他離開新選組，他才真正決心離開新選組。伊東這樣做事猶豫不決的知識分子，一定要泰之進這樣豪放的野小子在後面推他一把。
泰之進覺得伊東最近很奇怪，就在慶應二年二月的二月二十五日這天，請他到九條村自己家裡吃豚汁，酒過三巡，他突然向伊東提問：「伊東先生，你現在考慮什麼。」
伊東被問了個措手不及，其實他早就有所行動了。最近他剛和薩摩藩的中村半次郎商量要搞一個「御陵衛士」浪士團。這個組織的勤王色彩很濃，這事辦的很秘密，對外說斡旋的是個沒有任何政治背景的老和尚（五條大橋附近戒覺院長老，戡然。）沒有露出半點他們的後台是薩摩藩，他們小團體的運營經費也是從薩摩藩京都藩邸支出的。但是他們面臨的最大問題還是怎樣逃離紀律如鐵的新選組。
伊東考慮再三，還是將這個心裡的秘密告訴了泰之進。
泰之進聽完伊東的話哈哈大笑：「我就知道是這件事，說實話土方已經開始行動了，什麼秘密都瞞不過他那雙光棍眼。先下手為強，還不如堂堂正正說清楚，離開這個鬼地方。」
「原來如此，壯士本色，但這是沒有辦法的辦法。」
「我這麼想，與其耍小聰明，還不如把這層窗戶紙捅破算了，弄不好這樣做反而會出乎他們的意料，打他一個措手不急。」
「明白了，筱原那你準備怎麼辦？準備跟著我們一塊幹嗎。」
「當然。」泰之進平靜的回答，一聽到泰之進這話，伊東馬上露出了笑容，情不自禁地擊節稱快。
「說得好！我知道你怎麼想的我才敢下決心干這一番回天動地的大事業。我記著你的好。」
「哪裡，別給我帶高帽子了。」
泰之進微微一笑，又寒暄了幾句，伊東就離開了。等伊東一走出家門，泰之進就大叫：「阿京，阿京，今後我終於可以做一個堂堂正正赤膊出去乘涼的男人啦！」
這是泰之進的心裡話，從某種意義上來說，伊東脫離新選組，泰之進背上的傷口起了很大作用。