2003年11月，微軟的CEO史蒂夫·鮑爾默來北京。這一次，他的行程中重要的一項是會見溫家寶總理。在張亞勤陪同前往的路上，史蒂夫·鮑爾默表露了一個新的想法——進入移動領域，並表示他和比爾·蓋茨都覺得張亞勤是領導這個團隊的最佳人選。最後，鮑爾默問他：「你有興趣嗎？」
張亞勤聽了鮑爾默一番話，倒是有些矛盾。研究院發展勢頭正猛，張亞勤的家也剛剛搬回了國內，他傾向於留在國內。但他內心裡卻還是想嘗試一下這個新領域。
張亞勤本身對手機、移動通訊，還有CE平台很感興趣，這一工作可以稱之為做軟體、電子器件以及做通訊的融合，這結合了他過去很多年工作的不同方面，也代表了微軟未來的一個方向，所以當時覺得挺有意思的。
兩個星期後，張亞勤到了總部。聖誕節降至，美國一片節日氣氛，他來到華盛頓的雷蒙德微軟總部，與比爾·蓋茨會面。
在微軟的5年，每年張亞勤都會飛到總部向蓋茨展示有關移動計算技術的研究成果，而微軟Windows CE部門的業務進展實在讓蓋茨有些失望。張亞勤在數字影像和視頻技術、多媒體通訊及互聯網方面都是世界級專家，他在通信和多媒體技術方面的研究經驗和每年的彙報成績，都令蓋茨嘆服。於是，蓋茨突然產生了一個念頭，為什麼不讓張亞勤來做這件事情呢？
「張，我告訴你，手機會成為移動技術很重要的平台。」
「這是當然。IT、通信和多媒體一直是人們生活和工作離不開的，而手機，恰恰將這三方面融合在一起。」
「不，還有一點更重要，特別是在發展中國家，很多人第一次接觸計算終端，不是個人電腦而是手機，所以，張，我需要你來做這件事情。」
2004年初，時任微軟亞洲研究院院長的張亞勤出任微軟全球副總裁，征戰微軟總部雷蒙德，負責微軟移動通信及嵌入式系統在全球的開發業務。
張亞勤面對的不單單是一個全新的領域，Windows CE部門在他接手時死氣沉沉，毫無起色，看上去像一潭激不起浪花的死水。
他開始思考這個部門死氣沉沉的原因。這裡長期沿襲了PC操作系統的開發模式，所以產品更新周期緩慢，面對已經開始出現加速跡象的移動計算市場，Windows CE完全處於被動狀態。因此這個部門還被稱為「粘在駱駝上的一隻蝸牛」。
早在三年前，他就在微軟中國研究院開闢了一個新的研究小組，研究無線網路，一直在做Windows CE的產品轉化工作。這無疑有助於他工作的展開，也堅定了他冒險嘗試產品研發的信心。雖然，前方充滿了挑戰。
對微軟來講，PC一直是強項，但計算已經進入了新的領域，包括手機、電視、汽車等。張亞勤分析，有電的地方都會有計算，有計算的地方都會有智能，有智能的地方都會有互聯網，所以未來是一個互聯網的世界，一個多平台的世界，所以非PC是微軟未來戰略的要點。
他說：「移動是非PC業務中最重要的一塊核心，這也是我人生中最有挑戰的一個任務。」
移動業務部分剛剛啟動時，缺人也缺資金，而且由於公司事先在該領域沒有建立任何信譽，從頭做起的難度超乎想像。張亞勤將其簡單歸結為三個一，即一個模式，一個人才，一個合作夥伴。
面對一個新的領域，如何去制定戰略模式？團隊里都是學歷高的IT精英，大家各有各的看法，不少人提出學習蘋果，做手機。
張亞勤還面臨招兵買馬的難題，怎麼樣去找到最優秀的人才。好在比爾·蓋茨對他說，你放手去做，想雇多少人就雇多少人，沒有約束和限制。但一下子要找那麼多精英人士，而且是在這個新領域內，如果想從PC領域找跨領域的具有前瞻性的人才，也很難。
第三個難題就是怎樣和運營商、手機製造商合作。他們的觀念可能認為，微軟是PC領域的霸主，佔90%以上的市場，一旦進入這個領域，會不會將他們吞併？因此，微軟移動團隊的首要任務就是消除他們的疑慮，建立一種信任。
再次回到美國的張亞勤，孤身一人，家還安在國內。他記得，那時自己做了很多決定，每天腦子裡都在琢磨這些事，到了深夜還面對著電腦，做技術架構，構思戰略版圖。有時很晚了，他一個電話或一封Email召集下屬開會，一開就是幾個小時，一群人集體熬夜，第二天個個都很憔悴。在美國很少晚上開會，張亞勤的做法引起了一些同事的抱怨。
比爾·蓋茨對他說：「這是我們公司的未來，我等於把未來交給你了。我給你資源，你可以做任何決定，唯一的要求是你要把這個工作做好。」張亞勤感覺到了自己肩上的壓力，公司交給他一個重要的使命，他必須以最快的效率理清發展方向，加強執行力。
但這個任務不是那麼輕易可以完成的。有一次，幾個大公司的CEO不斷給張亞勤打電話——張亞勤他們的產品要晚兩個月才能出來。因為這個業務在產業中屬於比較上游的，一旦延遲，就會影響到很多人。當時這個產品晚了兩個月，意味著錯過了聖誕節這個重要商機。
張亞勤那天正在國內出差，早晨四點，一個多普達的CEO打來電話。多普達是張亞勤他們當時最大的客戶。那位CEO打電話時都快哭出來了，說產品要是晚兩個月，公司今年的銷售就泡湯了，整個公司的業績也會大受影響。
張亞勤接到電話時，心情很複雜。他說：「我一輩子都沒有晚過，做什麼事情都是提前完成任務。這是第一次，我切身體會到如果我們的產品晚了，對運營商將會產生多大的影響，對合作夥伴的業績、數據服務以及運營庫產生多大的影響。」
那三個月，張亞勤幾乎天天失眠。從公司回到家裡，他整個腦袋都還停留在工作的狀態。孩子和他講話，他也根本沒有感覺；他太太跟他說事，他也沒有任何回應，他太太索性不理他了。
這樣的狀態，張亞勤還經歷過一次，那是寫博士畢業論文的時候。那時滿腦子是解碼，他感覺那段時間是處於一種飄浮的狀態。現在做Windows Mobile項目，又回歸了這種狀態。
當時張亞勤的移動團隊1000多人，原先分屬於不同的幾塊部門。張亞勤下面有四個總經理，都是公司的元老級人物。這些資深人士投入討論的時候，特別堅持己見，彼此之間常常就某個問題不能達成共識。大家不知道該怎麼做，團隊有很多不同的意見，這是好事也是壞事，但是大家的意見往往是對立的，完全不同。有幾次，張亞勤開經理會議，看到大家板著臉生氣，自己氣不打一處來，就會拍桌子、扔筆，有時甚至扔到別人頭上去。
好在這都是一個必要的磨合過程。大家互相較真卻也沒受傷，只是討論問題、做決定的時候，氣氛相當緊張。後來大家意識到這個問題，做了規定，不準扔東西。
磨合期過了之後，張亞勤總結出了一些東西，並對自己團隊的成員做了闡釋。他認為一個領導者需要具備以下幾個能力：首先是洞察力，對這個產業的洞察力；其次是簡化問題的能力，把一個很難的、大家看起來十分複雜的概念，用簡單的語言講出來；第三點就是判斷的能力，做到CEO這個重要的位置，你作為聰明的人大家都有不同的意見，這個能力考驗你到底會選擇哪個。缺的不是辦法，缺的是選哪一個人的辦法。此外，還有一點，心態很重要，時刻保持好的心態。
張亞勤說，自己現在的心態相對而言還是好的，但做Windows Mobile項目時還是明顯感覺到壓力很大。現在想來，那時他對自己要求過高，逼自己在最短的時間內交出成績。主要是當時沒有很清楚的方向，儘管比爾·蓋茨給了他一個上方寶劍，但拋給他的不是解決方案，而是一個新問題，一個比爾自己也不知道該怎麼去做的問題。
新業務的開拓用了兩年，一切終於漸漸有了起色，微軟已經在這個領域排名第二，Windows Mobile已佔據全球窗體頂端智能手機操作系統25%的份額。微軟移動平台的合作夥伴已有55個國家的47家設備製造商與115家移動運營商。後來，張亞勤回到國內，從來沒有睡不著覺的，一般頭一靠在枕頭上5分鐘就睡著了。
2006年4月，胡錦濤主席訪美，第一站在西雅圖，訪問了微軟公司以及比爾·蓋茨的家。張亞勤作為公司高層，與比爾·蓋茨一起接待了胡主席。
張亞勤記得很清楚，那天下午胡主席去了微軟的「未來之家」。比爾·蓋茨十分重視胡主席的這次訪問，他安排了張亞勤作技術演示，並花了將近兩個小時的時間，和張亞勤一起排練。胡主席來了要站在哪裡接待，每個地方需要站多長時間。張亞勤第一次看到比爾·蓋茨念稿子，直到胡主席抵達前的兩三個小時，比爾·蓋茨還在準備。
張亞勤準備了兩個演示，時間都做了嚴格的分鐘規劃