畢竟，彼得·施托伊弗桑特是在鄉下長大的。而且，軍事基地不是讓孩子學走路的地方，也不是女人該待的地方。於是，在1650年左右，施托伊弗桑特帶著他的妻子和兩個年幼的兒子坐上一輛馬車，沿著大路北上。五分鐘後他們就來到了一片曠野，草地和牧場上零零星星點綴著幾片樹林。路突然往右一拐，拐進他的秘書范·廷霍芬經營的鮑威利農場的邊緣，然後向北，轉彎穿過一片荒地，左面的空地前方是一大片耕地，一群獲釋的奴隸在這裡耕種。不久之後，這裡就會形成一個叫「諾德韋克」（Noortwyck）或者「北區」（North Distint）的村莊，後來長島的格林韋克村（松區）的一名移民搬到了這裡，並據此給他的這塊地取了名。（由此，我們似乎看出，格林威治村的名字來源於此，和英國並無關係。）
從當時被稱為鮑威利路的這條小徑右轉，施托伊弗桑特帶著他的家人踏上了一條小路，這條小路通往島上的一片他正在開墾並打算收為己用的土地。這裡有一大片濕地，四周靜悄悄的——鷸和野鴨子飛落在濕軟的池塘邊。強風向河面襲來，水草紛紛壓低了腰。青紫色的天空下，一群奶牛靜靜地匍匐在岸邊——此情此景也許令他想起了自己的家鄉。這裡離他那問題不斷的領地首府不過2英里，但那似乎是遠在天邊的事情了。西印度公司把這塊地劃給殖民地的總督，讓其工人來耕種，因此基夫特和他前面的幾任總督都用過這塊地。施托伊弗桑特有其他的想法。他現在有了家室，他想在這裡紮根。因此，他計畫年內就從公司手中買下整個「鮑威利一號」農場，然後再買下農場兩側的土地，這樣他的種植園面積將達到近300英畝，從「東河」西岸一直延伸到曼哈頓島的中心。 他在這裡建了一座莊園和一座小禮拜堂。他將在這裡度過餘生，並於此地長眠。在未來幾個世紀的變幻中，摩登女郎、猶太難民、嬉皮士和朋克族——托洛茨基（Trotsky）、奧登（Auden）、查利·帕克（Charlie Parker）、喬伊·雷蒙（Joey Ramone）等人都曾在此居住——都將從他的墓前 經過。
每天，施托伊弗桑特把兩個淘氣的孩子（巴爾塔薩和尼古拉斯）留給朱迪斯後，就會騎馬離開這個世外桃源，進入紛亂的塵世。他一路上經過公司的果園和墓地，一邊走進鎮上縱橫交錯的街道，一邊向人們揮手示意，這些人里有家庭主婦、印第安人、酒保、走私者、水手、非洲人、惡棍、野孩子、難民、行為端正的市民，也有斜著肩膀、蒙著眼罩的不法分子，他們都是他的子民。人們一眼就會認出他，他身穿鐵甲，手持長劍，在馬上一副威風凜凜的貴族派頭。人們因為自己的政見要麼誠摯地問候他，要麼低聲咒罵他。然後，他那如橡木般堅實的身影消失在堡壘中，準備開始工作。他已是不惑之年，這些年來，來自各個方面的災難與挫折困擾著他，但他一直擁有不屈不撓的品性。
不過外界對施托伊弗桑特的中傷並未停止，其中有很大一部分壓力來自范·德·鄧克，即便他還在海外。事實上，這段時間以來，每次有掛著荷蘭國旗的船隻進港時，總會帶來新的消息，其中有不少就是關於施托伊弗桑特的負面新聞。1650年2月，西印度公司的董事們在給施托伊弗桑特的信中提及：「科內利斯·梅林和阿德里安·范·德·鄧克這群煽風點火的人真是無所不用其極，要讓每一屆政府不得安生！」 到了4月，這些董事顯然得知了施托伊弗桑特以前曾和范·德·鄧克交好一事，他們大為光火，認為是他與此人走得太近，導致范·德·鄧克利用這種親密關係達到了一些政治目的。「我們認為你過去太信任這群罪魁禍首，和他們太熟了，」他們寫道，「現在這些人終於露出了他們忘恩負義、奸險狡詐的本性，對付他們你得像狐狸一樣狡猾……」
聽到董事們如此責備自己，施托伊弗桑特覺得十分氣惱，但更令他憤怒的是，范·德·鄧克不知用了什麼方法說服了荷蘭議會，讓他們轉而支持此人及其盟友。他還聽說議會已經為殖民地重組一事發布了幾條臨時命令，不過他還未接到執行的命令。不僅如此，對范·德·鄧克造成的威脅，他並沒有儘力去調和緩解，反而選擇了快刀斬亂麻。施托伊弗桑特終於受夠了不服管的副總督范·丁克拉根。把他送進了監獄。此外，施托伊弗桑特還在九人委員會和他們的同夥中安插了眼線。他幾乎已經放棄了允許人們在他們的政府機構中擁有發言權的新奇理念，越來越獨斷專行。奧古斯丁·赫爾曼和其他反對派的領導人一直在與范·德·鄧克通信，讓他可以隨時了解事態進展。其中有一份急件如此寫道：「我們現在的處境就像落入狼群的綿羊，同伴之間無論說什麼都會引起別人的猜疑。」 另一份文件則說：「施托伊弗桑特現在根本不用語言或文字治理，而是用逮捕和刑罰。」 看到一封封批評施托伊弗桑特的信件，可以感受到他嚴酷的背後如同開閘泄洪般的憤怒，這並非沒有緣由的。曾經有個孝順的兒子眼睜睜地看著他那正直的、對神十分虔誠的牧師父親再婚並急不可耐地投入新婚妻子的懷抱；曾經有個年輕人太過壓抑自己的感情，一直不敢向心上人求婚，以至於那女子的兄長斷定他沒有執子之手、與子偕老的勇氣；最終，這位管理者完全信任一位年輕的門徒，結果遭到背叛，在經歷天翻地覆的變化後，他遭到驅逐。
在此期間，施托伊弗桑特還得處理一些其他的問題，因為新來的船里裝滿了乘客，他們在長途旅途中忍受了暈船、無法洗漱的問題，但還是準備好在這裡住下了。這也是代表團帶來的結果：「會有許多人乘這艘船來到新大陸……許多人乘這兩艘船……似乎每艘船都會裝滿人……」 不過從董事們的信中，施托伊弗桑特讀出了一絲煩惱的意味：「這些新來的人都做著不切實際的貴族夢，以此來激勵自己。」不過他們也不得不承認，「抱著這樣的想法也未必是一件壞事」。
具有諷刺意味的是，當范·德·鄧克滿腔熱忱想要罷免施托伊弗桑特的總督一職時，後者做出了一些絕妙的外交工作——抵禦北部英國人的進攻，從而保證了殖民地的穩定。事實上，正是由於這兩個死對頭的努力，紐約才會成為如今的模樣。倘若兩人中有任何一方失敗了，也許在荷蘭人建立自己的機構前，英國人就佔領了這裡，紐約會成為像新英格蘭的波士頓那樣的港口城市，而美國的文化也將不會是今日形態。
在曼哈頓的三年間，施托伊弗桑特多次催促新英格蘭的總督們協同解決邊界爭端問題，後者雖表示願意會面磋商，但每次談到正題時就東拉西扯，不願深談。更糟糕的是，1649年，這些清教徒中他最依賴的支持者——年邁的約翰·溫斯羅普去世了。不過施托伊弗桑特的一大法寶就是厚顏無恥，他一直認可這樣一條準則，即武力可以令頑固不化的對手妥協，事實上他也將此法付諸實踐。施托伊弗桑特偶然發現一位長居阿姆斯特丹的義大利商人將他的荷蘭商船開進了紐黑文港口。他斷定這艘船——「聖伯尼尼奧號」（St. Benini）在從事走私活動。在荷蘭人看來，紐黑文市本是荷蘭領土，現在卻有許多英國人來此定居，這實在是不成體統。不過這艘船出現的時機正好，這樣他接下來引人注目的行動就有了理由。之前施托伊弗桑特曾經賣了一艘西印度公司的船給紐黑文的副總督，並承諾會交付。現在施托伊弗桑特想出了一個大膽的計謀——一面給總督送去外交信函以示友好，一面暗地籌劃將「聖伯尼尼奧號」劫出港口——這個計畫頗有戰時的勇猛風格。在船出發之前，他安排了許多士兵如特洛伊木馬般藏在船艙內，並將船駛進了紐黑文港。當船長將船開進紐黑文港口時，施托伊弗桑特事先埋伏在「聖伯尼尼奧號」附近，他的士兵一躍而出，登上船，切斷了「聖伯尼尼奧號」的繩索，迅速佔領了這艘船，並將其開回了新阿姆斯特丹。
果然不出所料，性格暴躁的紐黑文總督、清教徒西奧菲勒斯·伊頓（Theophilus Eaton）一聽說這個消息就暴跳如雷，火速發函宣稱施托伊弗桑特侵犯了他殖民地的領土並劫走了一艘從事非軍事營運的商船，怒火讓他的信語句不通 。 對於西奧菲勒斯·伊頓的指責，施托伊弗桑特假裝無辜（「也許是我在信中的言辭，或者是我的行為有一點兒冒犯到了您……」）。但與此同時他又據理力爭聲稱「聖伯尼尼奧號」是荷蘭船隻，他們的行為違反了荷蘭法律，至於這塊有爭議的土地，鑒於荷蘭人最先發現，理應視為荷蘭的領土。 在接下來的信件中，他還友善提醒新英格蘭的總督們，荷蘭海軍的力量是如何強大，但他沒有提及事實上沒有一支海軍隊伍是歸他指揮。
與此同時，施托伊弗桑特還安撫了馬薩諸塞的行政長官、溫斯普羅的繼任者約翰·恩迪科特（John Ee）（我們「向您致以衷心的祝賀，我們認為英國選您是一個十分明智的決定」 ），他希望約翰·恩迪科特在處理與曼哈頓有關的問題上可以沿襲溫斯普羅的作風。施托伊弗桑特的努力確實獲得了回報—