生長於特殊家庭環境的謝靈運，對晉宋易代的政治氣候非常敏感：「鼻感改朔氣，眼傷變節榮。」（《悲哉行》）剛演完受禪把戲的劉宋王朝，對他這個東晉數一數二的世胄子弟恩威並至，一方面將他的封爵由公降為侯，一方面又起用他為散騎常侍和太子左衛率。此刻，如何與這個新王朝相處這一難題擺到了謝靈運面前，明末張溥對他在這個問題上的態度很不以為然：「涕泣非徐廣，隱遁非陶潛，而徘徊去就，自殘形骸。」 謝氏之所以在改朝換代之際「徘徊去就」，是由於這個問題涉及人生道路的價值抉擇，而恰巧價值委身問題又困擾著他的一生。謝靈運的時代，漢代傳統的價值規範和人生信念受到了普遍的質疑，而新的價值規範還在形成之中，他在這樣的文化背景下汲取各家各派的學說思想時，自然難存信奉和踐履它的虔誠感。他常常景仰提倡自然無為的老莊，在山水詩中也禁不住談玄論道；又不時遠瞻外域的釋伽牟尼，樂於同佛教徒一起論佛譯經，《辯宗論》至今還被認為是佛教史上的寶貴資料。綜觀其一生的行藏出處，他又遠沒有看破紅塵或無為淡泊，倒更近於一個不能忘情俗務的儒家弟子。這種文化構成的駁雜而又缺乏主導信念，沒有辦法讓他確立一種價值規範作為自己安身立命的行為準則，找不到何處是自己的精神歸宿：是爭取像祖輩那樣在政治舞台上大出風頭，還是終生享受遨遊山水的樂趣？是滿足現實的物質慾望，還是去過一種淡泊的悟道生涯？是迎合世俗以邀時譽，還是虔誠地去追求某種人生的永恆價值？
劉宋王朝兩次命他做京官，一次是在宋武帝劉裕的時候，一次是在宋文帝劉義隆的時候，每次他都沒有拒絕朝命，而且還為這兩位皇帝的登基大唱讚歌，所以方虛谷尖銳地指出：「靈運之為人，非靜退者。」但如果說他沒有一丁點企希山林的念頭，恐怕連謝靈運自己也感到冤枉，他的詩集中差不多首首有欽羨嘉遁的句子。令人費解的是，在東晉還未「禪讓」時就多次表白早存退隱宿心的謝靈運，居然還會接受新王朝的朝命。事後他辯解說自己本來「偶與張邴合，久欲還東山」的，只因為「聖靈昔回眷，微尚不及宣」 。言外之意是在朝做京官實屬身不由己的感恩圖報，徜徉山林才是自己的本心。有一次他還說自己同官場的氣氛很不協調，深感自己像被囚禁起來的小鹿。謝靈運身為朝官卻「意不平」，「多稱疾不朝直，穿池植援，種竹樹果，驅課公役，無復期度」。
他企希歸隱嚮往山林的心情很複雜，既有不滿劉宋王朝對自己的政治待遇，以此顯示不願與新政權合作的憤激，也有對隱逸本身那種逍遙生活的羨慕；既有遠災避禍以求明哲保身，也不可否認其中含有對獨立不移的個體人格的追求。「人生誰雲樂，貴不屈所志」 ，很容易使人想起「三軍可奪帥也，匹夫不可奪志也」的儒家遺訓。《登永嘉綠嶂山》說：「《蠱》上貴不事，《履》二美貞吉。幽人常坦步，高尚邈難匹。」四句詩中兩處引用了《周易》中的典故，《周易·蠱卦》上九：「不事王侯，高尚其事」，同書《履卦》九二：「履道坦坦，幽人貞吉。」詩人用典的本意在於表白自己「不事王侯」的孤高脫俗的操守，所以詩後四句接著說：「頤阿竟何端，寂寂寄抱一，恬如既已交，繕性自此出。」 他甘願不為人知地抱朴守道（「抱一」）。也不願「喪己於物，失性於俗」 。
然而，我們看到的還只是謝靈運的一個方面。不錯，他的確有過對理想人格的追求，但一旦與現實利益相抵牾時，他就會毫不可惜地放棄它。他不是說身在京朝有如野鹿被囚嗎？他被外放為永嘉郡守時的那份凄慘模樣，又使人懷疑他的表白是否真誠：「述職期闌暑，理棹變金素。秋岸澄夕陰，火旻團朝露。辛苦誰為情，遊子值頹暮。」 他在《過白岸亭》中說自己想「長疏散」：「榮悴迭去來，窮通成休戚。未若長疏散，萬事恆抱朴。」 才說過注重內心的適意任情而視富貴如浮雲不久，他很快又在《君子有所思行》中津津樂道地品味物質享受：「總駕越鍾陵，還顧望京畿。躑躅周名都，游目眷忘歸。市廛無厄室，世族有高闈。密親麗華苑，軒甍飾通逵。孰是金張樂，諒由燕趙詩。」
當在仕途被弄得疲倦不堪時，他就覺得「貞觀丘壑美」的隱遁生涯或許更適合自己的本性，並把烏紗帽看成是扭曲自我的桎梏，「顧己雖自許，心跡猶未並」 ，痛恨隱逸之「心」與隱逸之「跡」的分離，要求心跡合一，當一個名副其實的隱士。那麼，離開了官場走向山水之中，他是不是就真的找到了自我，重新獲得了自己的本性呢？寫於罷官後的《富春渚》一詩真實地表現了詩人進退失據的兩難心境：
宵濟漁浦潭，旦及富春郭。定山緬雲霧，赤亭無淹薄。溯流觸驚急，臨圻阻參錯。亮乏伯昏分，險過呂梁壑。洊至宜便習，兼山貴止托。平生協幽期，淪躓困微弱。久露干祿請，始果遠遊諾。宿心漸申寫，萬事俱零落。懷抱既昭曠，外物徒龍蠖。
該得遂了山水的樂趣吧，可又化不開遠離政壇的憂鬱；似乎找到了人生的歸宿，卻像又一次失落了自我；剛才還有「兼山貴止托」的充實，馬上又浮起「淪躓困微弱」的空虛；是「宿心漸申寫」和「始果遠遊諾」了嗎？但又切切實實地感到「萬事俱零落」的悲哀。
因為不知道何處是自己的真正歸宿，所以無論是在政壇，還是在山林，無論是在群居，還是在獨處，他時時處處都感到無所適從。羈留政壇覺得政治扭曲了自己的本性，身處山林又感到寂寞難熬。政治既不合他的胃口，山水也不是他的知音。一個本來就沒有獲得自我的人，一個情感結構分裂矛盾的人，在山水中也不可能發現自我，完整和諧的山水與他之間自然不存在任何契合點，因而難以將自己對象化于山水之中。這樣，山水與他之間永遠是對峙的，描繪山水與表現情感不可能同一，這使他的山水詩在描繪山水之外，還要另發一套與山水毫不相干的議論。於是，詩人自身情感結構的分裂，造成了詩人與山水之間的分離，並進而造成他筆下山水詩藝術形式結構的割裂。