新選組屯營的隊員宿社，靠東牆有根木柱。柱子後面不遠就是幹部的房間，再往裡走就是近藤，土方的起居住所。普通隊員阿部十郎從來沒有光臨過柱子的背後那些房間，對他來說近藤和土方是遙不可及的天人。（在新選組駐紮壬生村時，那的房子又窄又小，大家睡覺時都市摩肩接踵，上下打成一片，和現在完全不一樣了。
細究起來，上下關係的疏遠和眼前的這座建築多少有些關係。花昌町屯營是按照藩王府邸規格進行設計及建造的，外觀極盡奢華是為了造成權威狀態，壓制京都的老百姓。內部結構按照等級分割，由上至下層次分明，此時近藤和土方對普通隊員來說已是遙遠的存在。
阿部十郎自從壬生屯營時期，就和近藤土方沒什麼交往，也沒有打小報告的機會。
他作為隊里火炮的負責人和會津番常來常往，會津番主管火炮的林權助曾經和他透露了自己對新選組某人的不滿。
那是他聽說了大林在巨椋池試射大炮之後，林權助對這個新發明很感興趣。可是阿部將試射詳細情況，如火藥配方，射程增大的現象向林權助報告之後。林權助一臉的掃興。
「也是個棒槌！」
林權助說多加火藥，射程肯定會加大。
「不過這是拔苗助長的做法，照這個配方發射下去，炮管總有一天要破裂的。」
當時的炮管都是使用銅八成，錫二成混合的青銅炮管，青銅看上去好看，可並不堅實。調配大炮發射葯時一定要根據炮管的材質，酌情加減。
「這小子運氣不錯，到現在都沒出現炸膛的事故。」林權助搖頭嘆道。
「這個，這個叫大林什麼，的炮術專家，我怎麼沒聽說過？對了，新選組召集的都是四方的豪俠劍客，有些人難免會用假名。他的師承是誰，您總該知道吧？」
「非常遺憾，這我還真不知道。不過據山崎監察說，安野均是他的老師。」
「啊，」林權助比起阿部就知道多了，「水戶鄉士安野均原本是位劍客，他也是半路出家後學操炮。」
安野的劍術和大林一樣，門派上屬於神道無念流。雖然是同一門派，但是師承不同，安野的老師是齋藤彌九郎。
現在齋藤彌九郎早已隱居，改名為篤信實。他主持的神道無念流道場在江戶赫赫有名，位列鼎甲，門下遍布全國各地。
齋藤不單是個劍客，對時代的變化也異常敏感。他受了洋學家江川太郎入門之後，作為老師的齋藤對江川研究的火炮技術發生了興趣，反而折節下交，拜江川為師學習火炮技術。齋藤不但自己學，而且號召自己的學生一塊學。安野就是響應號召學生中的其中之一。
不過，這位安野數年前就駕鶴西去了。
「原來如此。」
言者無心，聽者有意。阿部一會新選組，就把這事彙報給了監察山崎聽。
山崎立即把這事報告給了土方。
「這小子，不會和長州有一腿吧？」
土方說這話不是無中生有，由於齋藤崇尚革新的風氣，有很多常州過激的藩士投到了他的門下。當時以高杉晉作，品川彌二郎，山尾庸三都是齋藤的高足，桂小五郎甚至當過齋藤道場的塾頭。
「不過。」山崎又說。
「大林的劍術和齋藤是同一門派，不過他的師傅是他的親哥哥山澤忠兵衛，他和齋藤那一個派別沒有半點關係。他只是和齋藤的弟子安野學過火炮，硬說他們有關係，多少有些捕風捉影。」
「好了，我知道了。」
土方也認為大林不像是姦細。
「此人就是好大喜功，愛吹個牛。」
大林的劍術水平可比不上他那張三寸不爛之舌，不過大林的劍術水平之差，土方也是最近才知道。
大林很少去新選組的劍術道場練習，有天他鬼使神差般地來到劍術道場，和普通隊員練習擊劍，很不巧，土方正好在場。
土方一眼就看出大林的腳法完全沒有章法，根本不像他自己吹得那樣，「我的劍術是經過千錘百鍊的！」。
不久之後，土方遇見永倉時，略帶揶揄地說「永倉君，大林的那點本事教你，對你這個劍客來說，可真是屈才啊！」
「額？他還行吧。」永倉可沒看見道場里大林的狼狽像。
「怎麼你還要為他辯護？」
「不是，他呀，就會扯著虎皮當大旗，屁用也沒有。」
「你嘴巴可真毒啊！」土方笑得上氣不接下氣。
「說實話，他那兩下子，和阿部十郎差不多。」
「你是說操炮的阿部？」
「恩。」
讓兩個操縱大炮的人比試劍術，這在土方看來，實在太有意思了。
翌日，他命令大林和阿部到劍術道場集合。
負責裁判的是三支隊的隊長，沖田，列席的還有永倉新八，新選組劍術總教頭齋藤一。
阿部十郎也會使劍，他的「鐵人十手流」的家傳劍術，大家從來沒聽說過。阿部本人對竹刀練習也不太熟悉，不過他對大林的不滿已經積蓄了很久，正向借著這個機會發泄一下。他想：「雖然耍槍弄棒不是我的長項，但我也要試一試，只要我猛追猛打，就能彌補我技術上的缺失。」
可拿起竹刀，和大林面對面一看，他才發現大林不知怎麼的變得殺氣騰騰了。
這麼一分神不要緊，阿部立即在氣勢上輸了大林一成。也就是他這一發愣，大林的竹刀毫不留情地砸到了他的頭盔上。
阿部喉嚨發腥，眼冒金星，手腳都不聽使喚了，他被砸暈了。
「面」坐在裁判席上的齋藤舉手喊道。
「媽的，臭狗屎！」
可是阿部心頭的怒火再旺，可就是抵擋不住大林手中竹刀的攻勢，毫無辦法。
所有的一切都在按工余心計的大林計畫在進行著，劍術是兩個人的實力角逐，某一方氣勢上輸了對手一籌，就毫無反擊之力了。
「籠手，籠手。」大林高聲喊道。
阿部隔著面具都能感覺到大林的獰笑，果然，大林手中的竹劍不偏不倚正中阿部的籠手（護手）上。
「我這是怎麼啦？」
阿部覺得全身上下僵直，冷汗森森。
「喂，看著啊！面，面！」
大林的竹刀在空中飛舞，阿部卻無法移動自己的手腳。
大林又擊中了阿部的膝蓋。
「下面就是胴啦！」
大林的劍術和他的為人一樣，見著便宜就占，而且便宜佔得越多，他越是得意洋洋，越戰越勇。相比之下阿部就太慘了。本來就是他不擅長的竹刀，比賽從一開始就被大林控制著。
「操！」
大林雖然怒火滿腔，但是氣勢還是無法復原。雖然他的鬥志不減，但是他的手腳並不聽話。因為他越生氣，全身的氣力越往肩上集中，結果反而讓他手腳不能充分發揮應有的功能了。
大林依然閑庭信步一般，將刀高高舉過了頭。
說是遲，那時快，只見竹刀不偏不倚砍在阿部的右胸上。
阿部被打得差點沒背過氣，可是齋藤剛要舉手宣布阿部的失敗時，阿部扔掉了竹刀，發了瘋一般沖向大林，想和大林進行扭打。可大林用竹刀點了點阿部的右肩，腳一偏，給阿部使了個老鼠盤根。
阿部摔了一個漂漂亮亮的狗吃屎，可他一個鯉魚打挺又站了起來。
他對著大林大聲喊道：「大林，有本事咱們在大炮上比試比試。」
話音剛落，周圍響起一片鬨笑聲。鬨笑的含義非常清楚，這是譏諷阿部作為一個操炮技師，比武輸後的言行也像個操炮的。這沒有惡意的嘲笑改變了阿部十郎的命運。他知道這種嘲笑並不代表兵庫一個人，而是代表了整個新選組的權威，也就是說嘲笑阿部他的是整個新選組。
「我要脫離這個組織。」阿部心想。
時機很巧。
參謀伊東甲子太郎原本非常推崇尊王攘夷論，他公開表示要離開新選組。參加他這一派的人，有伊東江戶時期起的門人，同志，志同道合的朋友，以及對新選組前途感到不安的隊員等等。
阿部十郎離開新選組的動機，不屬於上述任何一種。
他向伊東的盟友筱原泰之助懇求「把我帶上，離開這裡吧！」
「好！」
久留米人筱原對別人的請求一向是先做結論，再問理由。阿部什麼都沒說，只是一再強調「我在這受夠了。」
阿部的加入讓筱原非常高興，阿部不管怎麼說也是個技術人材，他的操炮技術總會派上用處的。
慶應三年，伊東離開了新選組，他先來到五條橋東面的長圓寺。後來經過伊東的奔走，薩摩藩的斡旋，他帶著自己同志，來到東台山山麓內的高台寺山內真院駐屯，對外自稱是御陵衛士。
阿部在這段時間裡，據說在薩摩藩藩邸里學習英語。