當被要求用百分比體現自己身上中國教育和西方教育的影響時，張亞勤毫不猶豫地說：「我自己認為，中國教育給我的影響要大些，超過50%。我的知識基礎、做人的性格，都是在中國形成的。」
張亞勤坦言，如果留在中國，即使讀到了博士，自己也不大可能搞研究，因為「在中國作研究，沒有辦法做到最好。」這句話很殘酷，一針見血，也透露出了張亞勤對中國教育的擔憂。
「我對目前中國的教育很有些擔憂。十年前我非常有信心，希望看到國內的科研水平與歐美的差距越來越小，但現在感覺這個可能性比較渺茫。現在有種說法：『中國大學裡大樓越來越多，大師越來越少，教授越來越像明星，明星越來越像教授。』學校的很多硬體基礎設施比歐美都好，但缺少大師級教授，需要更多學者從事尖端研究。在這個關乎大學根本的層面，雖然不能說我們和國外的差距拉大了，但至少差距沒有縮小。」
張亞勤對中國教育的擔憂並非杞人憂天，教育界的浮躁心態在各大高校都明顯存在。朱清時院士就提出「官本位導致學術倒退」，他在接受《南方周末》採訪時就不無擔憂地說：「現在大學最大的毛病，就是都追求官位了，官位就是地位，因為在大學裡你只要是官位高了什麼東西都有了，這十多年我就知道大學裡的領導都很容易評成教授。」
經歷過中西方教育的張亞勤對朱清時院士的擔憂有自己的體會：「把學校行政化，教授分級別，學校管理者分成廳級、副部級，對學校的創新是很不利的。教育要有理想，教育家要有理想。目前的教育評估機制是一種急功近利、過度量化、應試的體制。」張亞勤認為，培養學生的思維方式與創新意識遠比知識本身來得重要，「最重要的教育應該是產生思想，學校理應是產生思想的地方。」
正是基於這些清醒的認識和對國內教育現狀的擔憂，張亞勤一直努力為中國教育建言獻策。另外，他也通過在中國多個知名高校擔任客座教授和校董的機會，為改進中國教育、科研以及其他方面的發展而作各種努力。
張亞勤也認為對於作研究，高校與企業應該明確分工，扮演好各自的角色。企業是創新的主體，應該更加面嚮應用。而對於國家的投入方向與大學的研究目標，應該偏向更具長遠效益的基礎研究：「但現實的情況是，大學忙著做產品，想做公司掙錢，而公司開發的技術又不夠市場化。基礎研究不夠基礎，應用技術不夠應用。但整體來看，我還是很樂觀的，否則我不會在中國建微軟全球除美國以外最大的研發機構，不會把那麼多重要的研究、項目放在這兒。我們擁有高素質與數量龐大的工程人才、經濟發展的活力以及龐大的市場，這些都是優勢所在。」
亞勤的話：
現在部分高校過於浮躁，追求短期目標，看重指標和量化。我經常看到有些大學和科研機構宣稱他們的發展目標就是培養諾貝爾獎獲得者。一旦把拿諾貝爾獎作為目標，就已經出問題了。作為大學的教師和研究者，首先你要喜歡教學生，喜歡你所從事的專業，這樣才能為之投入，而這些絕不是可以用一些短期的量化指標來衡量的。現在，一些大學講求文章發表在什麼刊物上、被引用了多少次、參加過多少國際會議，這些東西一旦量化成考核標準，就會形成一種體制問題。長期用這些數量指標來考評，教育是要出問題的。