建德六年（五七七年），周武帝任命楊堅為定州總管，進位柱國。定州總管是主政河北地區的封疆大吏，柱國則是最高級別的軍事統帥，楊堅這兩個身分兼而有之，是不折不扣的親信加重臣。能夠得到這樣重要的位置，楊堅滿懷喜悅。
當年，楊堅在隨州當刺史時，朋友龐晃說他有天命，讓失意的楊堅備感安慰。現在，楊堅當上定州總管，而龐晃也正好出任常山郡太守，常山郡和定州毗鄰，兩個老朋友又見面了。這對楊堅來說更是意外之喜。
但是，就在楊堅喜上加喜時，有些對他不利的說法出現了。什麼說法呢？定州城的西門長久以來一直是封閉的。當年，北齊皇帝高洋當政時，曾經有人建議把西門打開，方便行人往來。結果，高洋不僅不允許，還說了句奇怪的話：「當有聖人來啟之。」會有聖人來打開這扇門。現在，楊堅升任定州總管，就把西門打開了。結果，定州父老馬上聯想起當年的傳說，一下子傳得沸沸揚揚。說楊堅就是傳說中的聖人。
聖人可不能隨便叫，這在當時也是皇帝的代名詞。這個說法一傳出去，立刻有人犯嘀咕。誰呢？當朝皇帝周武帝。這些年來，不少人在周武帝面前說楊堅相貌不尋常。難道楊堅真有天命不成？
那麼，城門一開一關，是不是那麼神聖呢？其實未必。為什麼高洋時期，定州城不開西門？因為那時北齊和北周處于軍事對抗狀態，高洋唯恐敵人從西邊突破，所以不開西門。但是楊堅不一樣，他本身就從西邊過來，而且，既然北齊和北周已經統一，當然要採取措施，便利東西向的交流，便把西門打開了。這本來沒有什麼神秘之處，當年高洋所謂「當有聖人來啟之」恐怕不過是個說法而已。
但是，周武帝可不這麼想。為什麼呢？因為除了定州城的傳說之外，在此之前，已經有一些關於楊堅相貌的說法，說楊堅有反相。誰說的呢？第一個就是齊王宇文憲。
早在建德四年（五七五年），即北周第一次伐齊前，宇文憲曾對周武帝說：
普六茹堅相貌非常，臣每見之，不覺自失。恐非人下，請早除之。
普六茹堅相貌非凡，我每次看見他都深感震撼，甚至都不知道自己是誰了，這樣的人不會久居人下，陛下還是除掉算了！
第二年，北周的內史王軌也對周武帝說：「皇太子非社稷主，普六茹堅貌有反相。」皇太子不是個有本事的人，普六茹堅倒是面有反相。這個外戚不尋常，陛下要為今後打算啊！要知道，齊王宇文憲是周武帝的親弟弟，而內史王軌是武帝近臣，兩個人都深受武帝信任。這兩個人說楊堅有反相，周武帝不可能不重視。
可是，怎麼重視呢？這兩人提出的都不是什麼真憑實據，而是比較主觀的「反相」，周武帝也無法調查研究，只能以虛對虛，找相面專家給楊堅相面。周武帝找的面相專家是誰呢？來和。
當年宇文護執政時，楊堅就請他相過面。那時，正是來和說楊堅有帝王之表。現在，周武帝又來問同樣的問題，來和怎麼說呢？他說：
隨公只是守節人，可鎮一方。若為將領，陣無不破。
隨公只是個守節的臣子，能夠鎮守一方而已。如果讓他當將領，倒是戰無不勝，但是，別的就沒什麼了。
可能有人會問，來和為什麼不對周武帝說實話？很簡單，兩個原因。
第一、來和在政治上傾向於楊堅，願意幫楊堅擺脫困境。
第二、來和也不敢說實話。如果對周武帝說楊堅有帝王相，周武帝必定要審楊堅，一審問，就會牽連出當年他為楊堅算命，預言楊堅要當皇帝一事，那來和不是自討苦吃嗎？所以，來和不敢說，索性一口咬定，楊堅就是當將軍、當大臣的料，不會有反心。
來和算是當時首屈一指的面相專家，聽他這麼一說，周武帝也就沒有繼續追究，而且還讓楊堅參加兩次平定北齊的戰爭。楊堅也確實像來和說的那樣，陣無不破，立了大功。正因為如此，武帝才讓他當定州總管府總管。可是，現在定州出現了這樣的傳說，武帝心裡又不踏實了。
問題是，怎麼處理楊堅呢？置之不理？不可能。因為身處亂世，周武帝見過太多權臣篡權之事，他父親宇文泰就是權臣，他家的江山就是從西魏篡來的；而且，他當皇帝的頭十二年，不也一直受制於權臣宇文護嗎？現在楊堅位高權重，又是太子的岳父，皇親國戚，再有這樣的天命傳聞，讓他不得不提高警惕。
那直接殺了楊堅？也沒必要。周武帝號稱一代雄主，並非疑神疑鬼之人。楊堅畢竟沒有任何出格的舉動，而周武帝本人才三十多歲，年富力強，平定北齊後，聲望更是如日中天，楊堅在他手下，能翻起多大的風浪呢？周武帝也不相信。
既不能全信，又不能不信，怎麼辦呢？周武帝採取折中原則，給楊堅換位置。定州在北方，又是北齊故地，又臨近突厥，地位太過敏感，楊堅政治不完全可靠，不適合待在這裡。所以，建德六年（五七七年）十二月，楊堅當定州總管十個月之後，周武帝又任命他擔任南兗州（安徽亳州）總管。雖然級別相同，但是，南兗州的重要性不及北方的定州，讓楊堅到這裡來，周武帝比較安心。
可是，周武帝安心，楊堅卻不安心了。本來，從小到大都有人說他相貌非常，他也不是完全沒動過心，但是，到此為止，並未有造反之謀。可是現在不一樣，他為北周的事業立下赫赫戰功，本來自視甚高，而周武帝居然無緣無故地猜忌他、壓制他，楊堅一下子覺得怒不可遏。
現在，他有兵權、有地盤，難道就任由周武帝欺負？楊堅的野心一下子被激發起來。事實上，不僅楊堅覺得不甘心，還有一個人也覺得不甘心。
誰呢？楊堅的老朋友龐晃。龐晃本來就是野心家，現在實力大增，他更不安分了。聽到楊堅接到新任命後，龐晃又來為他送行。酒過三巡，龐晃躍躍欲試地說：「燕、代精兵之處，今若動眾，天下不足圖也。」什麼意思？現在我們手握大兵，不如動手吧！
朋友說到了自己的心坎上，楊堅怎麼回應？他握著龐晃的手說：「時未可也。」我不是不想，只是，還沒到時候啊！毫無疑問，楊堅是一個穩健的政治家，他不是不想造反，他只是在評估自己的實力。
現在，他的實力還遠遠不足以挑戰周武帝，他可不想貿然出手，只能繼續養精蓄銳、等待時機。就這樣，楊堅懷著滿腹的心思往南兗州赴任了。