楊玄感一聽這個決定，真是大喜過望，這簡直比讓他領兵出征還好。為什麼？
首先，糧食是軍隊的命脈，隋煬帝讓他督運軍糧，就等於把自己的脖子交到了他的手裡。
其次，隋煬帝的遠征軍固然需要糧食，楊玄感起兵造反也需要糧食呀。有了這個美差，他造反的後勤保障問題就迎刃而解了。
最後，不光是督運軍糧這個差事好，黎陽這個地方也好，它遠在後方，跟隋煬帝隔山隔水，自成一體，隋煬帝無從監視，不管搞什麼活動都很方便，遠比帶一支軍隊在隋煬帝眼皮子底下活動自由多了。
所以，這個任命一下來，楊玄感心裡直念佛，自己暗中準備了這麼多年，不就是為了等到這個機會嗎？「天予不取，反受其咎」，這樣的好機會再不抓住，老天都要不容的。
既然天時、地利、人和俱全，楊玄感一上任，就緊鑼密鼓地開始準備造反了。
楊玄感乾的第一件事，就是把運往遼東的糧草截留了。隋煬帝讓他督運糧草，本來期待他能夠充分利用大運河的運力，把糧草一船一船地運到遼東前線去。沒想到，這糧食左等不來，右等也不來，眼看前方的糧食都快斷頓了，楊玄感的大船還是不見蹤影。隋煬帝急得跳腳，趕緊派人催他。
楊玄感對使者解釋說：沒辦法，現在路上不太平，匪盜多啊。我怕這麼一船一船地走遇上劫匪，所以想要多等幾條船過來，把它們集結成一批，再武裝押運過去。為了安全起見，為了減少損失，還是請陛下再等幾天吧！這話說得入情入理，連隋煬帝都信以為真了。
楊玄感為什麼這樣做？很簡單，這是希望把前線的士兵餓死，就算餓不死，至少也能動搖軍心。而且，通過不斷截留，楊玄感手裡也聚集了大量的糧草，這是第一個準備。
楊玄感乾的第二件事，是集結官兵。要造反，光有糧食不行，還得有兵。可是，楊玄感只是一個運糧官，不是領兵官，手裡並沒有軍隊，怎麼辦呢？楊玄感使了一條賊喊捉賊的妙計。他先安排了一個僕人偽裝成使者，假裝從東邊，也就是隋煬帝那邊過來，交給楊玄感一封密信，信上說，水軍將領來護兒因為未能如期攻打高句麗，害怕追究責任，起兵造反了，因此，皇帝命令楊玄感集結隊伍，準備鎮壓！
這封信一到，楊玄感馬上公開宣讀，緊接著就把黎陽城佔領了，佔領之後，關上城門，滿街抓青壯年男丁。這樣一來，黎陽城裡可就亂套了，無論你剛才是在種地還是在做買賣，哪怕你只是在街上閑逛，總之從被抓之時起，你就是楊玄感手下的兵了。
可是，就這麼掃地為兵，也還是不夠，於是，楊玄感又以討伐來護兒的名義給周圍各郡寫信，讓他們把本郡的留守部隊都集中起來，一律開到黎陽城。可是，各處留守人馬本來就少，而且也不會都聽他的安排，就算增加了一些力量，兵力也還是遠遠不夠。隋煬帝那邊有百萬大軍，要想造反，兵力相差太懸殊也不行。
還能怎麼辦呢？楊玄感又開動腦筋了。他原來督運糧草，手下雖然沒有士兵，但是有船夫，這也都是壯勞力。乾脆，直接轉換身份，當兵吧。於是，幾千漕運船夫和篙梢手也進入了戰鬥序列。這就是造反的軍事基礎了。
光有兵也不行，還得有官，否則誰帶著這些士兵攻城略地？打下了地盤，又讓誰來鎮守？兵都是抓來的，官從哪裡來？楊玄感的官是騙來的。他假借運糧的名義，把周圍郡縣一些有才能、入他法眼的官員都召集到了黎陽郡，來了之後立馬任命，原來是縣尉、縣主簿的，現在都能當州刺史，只要你能把那個州打下來，可以就地當官。若是有人不接受任命，那也好辦，直接殺頭了事。
就這樣，經過幾天緊鑼密鼓的折騰，楊玄感終於官兵齊備了。到這時候，楊玄感再也不提什麼來護兒造反之類的事情了，而是宰殺豬羊、祭天誓師。他說：「主上無道，不以百姓為念。天下騷擾，死遼東者以萬計。今與君等起兵，以救兆民之弊，何如？」主上昏庸無道，都不管百姓的死活了，把我們的子弟兒郎都押送到了遼東戰場，死者數以萬計！現在我想和諸位一起起兵，解民於倒懸，你們覺得好不好？
這段話可比打來護兒有號召力。隋煬帝兩征高句麗，大肆徵發兵役勞役，老百姓早就煩透了，一聽楊玄感這麼宣傳，立刻歡呼起來。這樣一來，楊玄感就算正式揭竿而起了。