楊玄感採取的是下策。他說：「今百官家口並在東都，若先取之，足以動其心。且經城不拔，何以示威！公之下計，乃上策也。」
楊玄感為何認為李密所出的下策是上策？
首先，百官的家口都在東都洛陽，一旦拿下洛陽，把這些人當作人質，就可以動搖隋煬帝的軍心。
其次，如果我們連近在咫尺的洛陽都拿不下來，那還有什麼威風可言，誰還跟我們再去打別處呢？
戰略方向一旦確定，接下來就是具體戰術問題了。楊玄感把手下士兵分成兩路，直奔洛陽城而去。
第一路由他的弟弟楊積善率領，一共三千人，從偃師沿洛水向西推進。
第二路由他的另一個弟弟楊玄挺率領，一千多人，由白司馬坂越過北邙山，向南推進。
此外，他還親自率領三千兵馬，作為楊玄挺的後援，跟著楊玄挺走。
大戰在即，楊玄感這幾路大軍實力如何？一句話，樣樣不行。
首先，兵源不行，不是船夫，就是老百姓，都是臨時抓來的，沒有受過任何軍事訓練。
其次，裝備也不行，按照史書的記載，他的這些士兵「皆執單刀柳楯，無弓矢甲胄」。每個人就是一把大刀，一個柳條編的盾牌，弓箭、鎧甲統統沒有，也就是說，既沒有頂用的進攻用具，也沒有頂用的防守用具。
就這麼一支軍隊，能打贏嗎？那就看跟誰打了。
他們的對手是誰呢？隋煬帝出征之前，派自己的孫子，也就是死去的元德太子的兒子越王楊侗駐守東都，但是，楊侗這時候還只是一個十歲的孩子，所以，真正主持工作的是民部尚書、東都留守樊子蓋。此人在隋朝一直以清廉著稱，曾經當過武威太守，治軍也頗為嚴整。
楊玄感派兩路大軍進犯，樊子蓋也派兩路大軍還擊。其中，由河南縣令達奚善意率領五千軍隊，抵抗楊積善；再由河南贊治裴弘策率領八千軍隊，抵抗楊玄挺。按道理，他們率領的都是正規軍，裝備精良，人數上也佔優勢，對抗楊玄感應該不成問題，但結果卻讓人大跌眼鏡。
先看達奚善意這邊，他一看見楊積善部隊氣勢洶洶，居然不戰而逃了，而且，不是一般意義上的撤退，而是狼狽逃竄，鎧甲、兵仗都丟了一地。楊玄感這邊正缺裝備，立刻就都接收了過去。
再看裴弘策這邊，他倒是和楊玄挺打了一仗，但也沒打贏，最後還是丟盔棄甲地逃跑了，這樣一來，楊玄挺這邊的士兵也都用撿來的裝備武裝起來了。不過，就在他們撿裝備的時候，裴弘策這邊已經慢慢地收住了陣腳，又集結成一個軍陣。這個軍陣就在前面三四里地的地方等著楊玄挺。
在這個時候，整體形勢依舊對官軍有利。但楊玄挺畢竟是將門之子，頗有韜略。他一看官軍已經在前面布上陣了，馬上收住腳步，嚴禁自己的士兵往前沖，相反，倒是先讓他們都坐下來休息。兩軍對峙，裴弘策的軍隊虎視眈眈地盯著楊玄挺。但是，盯來盯去，楊玄挺這邊一直端坐不動，裴弘策那邊的士兵逐漸盯得不耐煩了，越來越鬆懈。這時候，楊玄挺率軍忽然一躍而起，衝殺了過去。裴弘策這邊一路敗退，一直退到洛陽城東邊的城門太陽門。最後，裴弘策只帶著身邊的十幾個人逃進了城裡，其餘七千多人，除了戰死的，剩下的全都投降了楊玄感。
為什麼隋朝官軍這邊兵源充足，武器精良，卻打不過楊玄感手下那幫裝備奇差的船夫呢？一言以蔽之，兩邊的士氣不一樣。楊玄感這邊的船夫都是被隋煬帝強征來的民夫，懷著對隋煬帝的滿腔怒火，所以造反既是自救，也是救人，當然士氣旺盛。而官軍這邊其實也對隋煬帝頗為不滿，和叛軍觀點倒基本一致，當然也就無心打仗了。
就這樣，楊玄感依靠著民心民意，旗開得勝，不但很快就衝到了洛陽城下，而且軍隊的人數不斷增加，裝備也大大改善了。
這還不算，還有更好的事情等著楊玄感。大軍壓城，隋朝的一大批官僚子弟居然都投降了。怎麼回事呢？說起來，這還算是東都留守樊子蓋送給他的。樊子蓋出生在南方，他爸爸那一輩逃到北齊，北齊滅亡之後又進入北周，給北周效力。後來，北周被隋朝滅亡，他又成了隋朝的官員；在平陳戰爭中立過功，又在涼州當過刺史，居官之處都以清廉著稱；個人能力很強，很得隋煬帝的賞識。
大業六年（610），他到江都朝見隋煬帝，隋煬帝對他說：「富貴不還故鄉，真衣綉夜行耳。」你現在已經當上涼州刺史了，算是個大官。這是光宗耀祖的事情，為何不回家鄉炫耀一番？為此，隋煬帝還專門賜給他六千石米面，讓他到老家廬江（今安徽廬江）祭祖。這可是莫大的榮耀。
總而言之，樊子蓋在隋煬帝面前頗為討喜，所以隋煬帝才讓他輔佐楊侗，留守東都。他對隋煬帝感恩戴德，也一心一意想要為朝廷出力。
問題是，他想出力，可東都官員並不買賬。他出身不高，又不是一直在朝廷當官，不過是剛剛從涼州這麼一個偏遠地方調過來的空降兵，哪裡來的威信！特別是敗軍之將裴弘策，本來品級和他差不多，更不甘心受他指揮。裴弘策剛打了敗仗，本來心裡就怯，這時候樊子蓋又讓他出戰，他就拒不從命。怎麼辦呢？樊子蓋為了嚴肅軍紀，居然絲毫不講情面，把他推出去斬了。這樣一來，樊子蓋的威風倒是有了，令行禁止，可他也把城外住著的那些隋朝官僚子弟嚇壞了。
這些子弟的父祖都跟著隋煬帝出征去了，臨走之前，把他們留在了洛陽周邊的別墅里，其實也算人質。現在楊玄感作亂，這些子弟本來應該進城和樊子蓋一起保家衛國才是。但是一看樊子蓋殺人立威，這些人都怕了。樊子蓋這個蠻子翻臉不認人，可別撞在他的槍口上，成了下一個刀下鬼！於是誰也不敢進去了。
既然不敢進去，那就投降楊玄感吧，反正楊玄感也是關隴貴族出身，這些官僚子弟之中不少人跟楊玄感的交情比跟樊子蓋要好。互相攀扯著投降的一共四十多人，四大名將之一韓擒虎的兒子、隋初四大宰相之一觀王楊雄的兒子、隋煬帝的宰相裴蘊的兒子、虞世基的兒子，還有水軍大將來護兒的兒子都在其中。這樣一來，楊玄感原來設想的通過控制官僚的兒子來擾亂隋煬帝軍心的目的就達到了。
這還不算，隨著戰果的擴大，不光官僚的兒子投降了，官僚本身也投降了。投降的官僚之中，有兩個人最為重要，一個是隋朝的內史舍人韋福嗣，還有一個是大將李子雄。
韋福嗣出身京兆韋氏，是當時數一數二的大族，和楊家又是世交，所以他一投降，楊玄感馬上就把他任命為機要秘書，凡有大事都跟他商量。
李子雄在隋煬帝手下當過右武衛大將軍，那是最高級別的武官了，屬於難得的專業人才，所以，他一投降，楊玄感就把軍事上的事情都託付給他了。有了這一文一武，楊玄感覺得自己手下人才濟濟，整個軍隊的士氣也提振了不少。
眼看形勢一片大好，楊玄感內心空前豪邁，真的升起一股為民請命、再造山河的豪情。他就在洛陽城的上東門外發表演說：「我身為上柱國，家累鉅萬金，至於富貴，無所求也。今不顧破家滅族者，但為天下解倒懸之急，救黎元之命耳！」我作為上柱國，家有萬金，不貪求什麼富貴。現在不顧及被滅族的後果斷然起兵，只是為了解民於倒懸啊！
一番話說到了痛處，老百姓也跟著熱血沸騰，爭著獻上牛、酒犒軍。洛陽周邊子弟要求參軍的每天都有一千多人。這樣一來，楊玄感手下的士兵很快就發展到五萬人，比開始起兵的時候嚴整多了。