沒過幾天，國枝就被安排到近藤身邊當了一名警衛，平時跟著近藤熟悉隊里的事務，到了戰時他就是近藤直接指揮的近衛軍。
在這個位置上他和幹部接觸的機會自然多了起來。
他經常看見那位一團和氣的老人，畢恭畢敬，彎著腰來到近藤的辦公室彙報工作，時不時還會稱近藤為「老師」。近藤對這位老人的態度和別人也不一樣，總顯得有些小心翼翼地，時不時在談話中聊些家鄉的事。但細研究之下也不過是「井上師兄，我很想念家鄉的納豆。」這類話而已。
隊伍里都害怕副組長土方歲三，背後都說他就是《韓非子》里提到的酷吏。但這位不苟言笑的土方對井上的態度也是和藹可親。
國枝想：「這個老頭肯定有什麼勢力吧？」
可仔細觀察沒多久，國枝又否定了自己的想法。
近藤和土方對井上如此尊敬，但是井上並沒有顯得趾高氣揚，和隊里的派系鬥爭一概無關。
此人平時沉默寡言，為人行事可以說是飄然，但是又不是那種道骨仙風，倒是更像在家做老封君的退休老人。
「這人真有意思。」國枝這麼想。
有時國枝和井上在走廊里遇見，國枝低頭對井上致敬，井上總會伸伸懶腰：「哦，是你啊。」他似乎想起了黑書院事，隔了半天，說了下半句「是不是你問過我是什麼宗旨（門派）的？」
國枝答道：「對不起，那個時候我只是想問問您劍術的門派，可是我不知道您是井上先生，對您失禮了。」
「是這樣嗎？」井上微微一笑，飄然而去。
看著他的背影，國枝心想：「真是個怪人。」
新選組一共有十支部隊，各隊的指揮官都是由沖田總司，原田左之助，藤堂平助，永倉新八，齋藤一等等高手擔任的。唯獨六支隊是由井上這個平凡的老人擔任的，國枝想到這裡總有些莫名其妙，更對他產生了好奇。
局長付 福澤圭之助（後來升任為伍長）原本是常州鄉士的二兒子，也和國枝一樣曾經做過近藤的護衛。
有次兩人聊天聊到了井上，為人伶俐，消息靈通的福澤知道的可比國枝多。
新選組從組織上來說地域性很強，最初拉起這個隊伍的人大部分都是武州南部，多摩地區盛行的天然心理流劍術門徒。近藤親自主持過一家劍術道場，土方、沖田都是這個道場出身。
「近藤先生算起來是天然心理流的第四代掌門人。」
第三代掌門人近藤周助，在近藤勇十六歲時，看中了他的身手，收他做了養子。到了二十五歲時，就將整個門派交個了近藤勇掌管。
在繼承儀式上，進行了一場很風光的野外比武，地點就選在府中的明神神社的東面的廣場上。比武的雙方分為紅、白兩隊，紅隊的主帥是御岳堂虯，白隊的主帥是土方的盟兄佐藤彥五郎。
近藤擔任比武總裁判，他把各支部隊分為旗本、軍師、軍奉行、軍目付等職務。
比武出動了整個門派近一百個門徒。
當時土方只有二十四歲，在紅隊里擔任旗本。沖田這年十五歲，在近藤的身邊負責擊鼓。
井上老頭，這天負責在近藤身邊打鑼。
「什麼？打鑼！」
打鑼倒是沒什麼稀奇，讓國枝吃驚的事，打鑼原本是個安排閑散人員乾的職務。筆者向大家解釋一下，新選組比武是以沖田擊鼓開始，眾人聽到井上的鑼聲結束。井上只是個報信的人而已，他甚至連參加比武的機會都沒有。
「可是。」福澤話鋒一轉。「最近我和近藤先生去了一次江戶，順道去牛入二十騎町的周齋老爺家裡去拜訪，正巧看見了一本弘化年間的門徒名冊，上面寫著井上源三郎和他哥哥井上松五郎一俊的名字。我掐指一算，當時近藤先生只有十一歲，土方先生只有十歲，他們還沒有入門，沖田先生那就更別提了，估計還沒養出來哪！」
經福澤這麼一解釋，國枝想：「原來井上是近藤，土方，沖田的大師兄。說不定，三個人的劍術還是井上手把手教出來的哪！」
但是這位大師兄入門多年，武藝卻鮮有長進。眼看著自己的師弟，近藤當了掌門人，土方做了師範代 ，劍術天才沖田總司十幾歲就有了免許皆傳 ，但井上直到四十歲時，名字都沒有上正式的名冊。
但井上並沒有放棄劍術，只是在道場默默地努力。
近藤被幕府徵召時，從情理上來說自然不能放棄這位老學長。
「井上師兄，您怎麼想？」
井上本來想拒絕，但最後還是答應了，默默跟著近藤一行人，前往京都。他就是這麼個老實人。
新選組成立之後，近藤和土方把井上升為助勤 ，後來隊伍進行整編時，又把他安排成六支隊的隊長。井上知道這是近藤和土方兩位師弟，對師兄盡義務，為了報答他們，他也幹得格外賣力。
井上也參加了元治元年六月的池田屋事件，至於他在事件中的表現，只能用「平常」來形容。因為事件之後，在近藤寫給養父周齋的信里，濃墨重筆地描寫了土方、沖田、藤堂的戰鬥表現，但通篇對井上卻隻字未提。
井上和國枝真正開始交往，是從慶應元年七月間開始的。
七月的某天，國枝接受近藤的命令，被分配到了井上所屬的六支隊。
井上一看見國枝，如同見到久違的老友一般，開口就說：「你知道，我們這支隊伍是幹什麼的嗎？」
這話當時國枝不懂，過了一段時間，觀察周圍才明白井上的話的意思。新選組的一流劍客，都被派到一、二、三、八、十支隊。六支隊的隊員只能算是二流的劍客，每天去固定的地域巡邏，其他隊伍出去出生入死時，他們看家。不當班時，所有隊員就在屯營里苦練劍術。說白了他們就是新選組的預備隊。
到了昭和初年，子母寬澤 採訪碩果僅存的新選組隊員八木為三郎時。八木提到井上時，提起了一件趣事。
（前略）當時沖田總是帶著附近的孩子，和我們這些半大孩子捉迷藏。我們經常在壬生寺里到處亂躥，有時迎頭碰上井上，沖田總是半開玩笑的問：「井上師兄，你又去練武啦？」
這位年近不惑，少言寡言的老好人，居然板起臉，沒好氣的說：「知道了還問！你悄悄的來不就得了！」
新選組規定，沖田、永倉、池田小太郎、田中寅雄、新井忠雄、吉村貫一郎、齋藤一這些高手，負責所有隊員的劍術訓練。但是，眼見的隊伍日漸忙碌，這些人也難得對大家進行劍術指導。這項任務後來便分配給了井上，不當班時，他就經常去劍術道場指導大家。近藤也再三提到：「（我）信得過的人，只有他（井上）了。」
井上這個平凡的老頭，更適合在農閑時，呆在家裡編繩子過活。不過，劍術和編繩子根本不是一回事。自從井上當上這個教頭之後，就吃盡了苦頭，經常在練習中被年輕的隊員打得落花流水，有時甚至籠手 被打掉，手中的劍也會被崩出很遠。每逢遇到這種令人狼狽的場面時，井上嘴裡就會發出：「嚯，嚯」的怪聲，這種聲音既時對自己失敗的惋惜，也是感嘆對方的武藝高過他很多。
不過這非但不會讓大家輕視井上，反而使大家更喜歡這個性格平和的老頭。
土方非常擔心井上這種教育方式，他的擔心不無道理。從組織上來說，一位指揮官，三天兩頭被年輕的部下給打敗，會對今後辦事指揮，造成障礙的。
他屢次向井上提起：「井上師兄，不當班的時候您沒必要三天兩頭往道場跑，我怕累壞了您，讓我這個做師弟的擔待不起。」
井上非但沒有理解土方的心意，反而回答：「哈哈，阿歲，過去我也不是長年累月住在道場，這也算是我的工作啊！」
國枝自從來到六支隊就沒有和井上交過手，他很怕萬一自己和井上交手時，打敗了了井上怎麼辦？國枝的身手一般，他學得是日本中部非常流行的利方得心流居合 ，另外他還學得中西派一刀流也只晉級到第四級別，這兩門武功學得都只能算得了些皮毛，實在是上不了檯面。
不過看著井上笨拙的身手，國枝就知道他那兩下，跟井上有得一拼。
時間一長，井上還給國枝起了個略帶揶揄的綽號——「宗旨 」。
井上有時會對國枝說：「我最近忙得很，沒空指導你的劍術，有機會肯定要教導教導你。」
「請您多關照。」國枝雖然口頭這麼答應，但總是藉機躲著井上。不過老好人井上還是一點沒有放棄的打算。井上不是個有能力的指揮者，但是也正因此他在隊員間的口碑很好，國枝有時甚至想，為了保護這個好老頭，即使犧牲自己他也會在所不惜。
其實只要稍懂劍術的人就知道，井上的弱點在腳法上。
他進攻時，左足朝前一邁，兩腿間就露了破綻。別說千葉地區的天然心理流，國枝學的中西派一刀流也忌諱這種壞習慣，並稱之為「撞木足」。因為腳步間