細小的身子、頂著一顆大腦袋、走路搖搖晃晃的小志摩是徐家的長孫獨子。雖然那張小臉不拉自長，但徐志摩自小天資聰穎，深得全家人寵愛，尤其是祖母。他的祖母勤勞、溫和，而且精明能幹。祖母雖然不識字，但很能講故事。夏天清涼的晚上，小志摩常和比他大2歲的表兄沈叔薇一起，圍在祖母身旁，聽她講民間故事，如飛磚造塔、鐵牛鎮海等。徐志摩稱頌她是「愛我疼我寵我的好祖母」，說自己是祖母「最鍾愛的孫子」。多少次，他因調皮而闖禍，面臨父親的訓斥時，就趕忙跑到奶奶身邊，躲在奶奶的懷抱里。一大早起床，他走到祖母的床前請安，揭開帳子甜甜地叫一聲奶奶。奶奶慈祥地笑了，她也回叫了一聲，用她那溫暖的大手撫摸志摩白嫩的小臉。奶奶的大床上，總藏有吃不完的好東西。每當志摩請安時，奶奶伸手往床里一摸，就給他拿出一個蜜棗或是三片狀元糕。志摩接過好吃的東西，甜甜地又叫了一聲奶奶，就出去玩了。那是如何可愛的辰光，如何可愛的天真啊。
祖母對徐志摩的嬌寵，使他終身難忘。1923年秋，他的祖母故去，26歲的徐志摩深情地寫下了萬字長文《我的祖母之死》，回憶自己小時候深受祖母寵愛的情景，表達了失去祖母的巨大悲痛和對祖母的不盡哀思。他說:「她愛我寵我的深情，更不是文字所能描寫；她那深厚的慈蔭，真是無所不包，無所不蔽。但她的身心即使勞碌了一生，她的報酬卻在靈魂無上的平安；她的安慰就在她的兒女孫曾，只要我們能夠步她的前例，各盡天定的責任，她在冥冥之中也就永遠地微笑了。」
日後的徐志摩性情溫柔誠摯，成為「人人的朋友」，這與祖母和母親對他的疼愛嬌寵不無關係，她們溫情寬和的性格對他的影響很大。
徐志摩的母親錢慕英是徐申如的繼室。徐申如的前妻沒給他留一男半女就匆匆離開了人世。錢氏略通文墨，秉性平和，對兒子也是呵護備至，疼愛有加。從小的時候，她就親自奶孩子，而不是把他交給奶媽，這非常不符合大戶人家的規矩。她還常在人前把衣服的大襟掀開，拖出奶來喂孩子，只要她那寶貝兒子一聲啼哭。每天晚上，她都捨不得讓奶媽把孩子抱走，而是自己摟著寶貝兒睡覺。一直到徐志摩結婚前，他都是和母親同睡一床的。父親徐申如也將小志摩視為掌上明珠，對他寄予諸多厚望，給予許多父愛，這可是他惟一的根。不過，身為人父，他也得嚴肅。因而，對父親，徐志摩一直十分敬重；對賢淑平和的母親，他則始終充滿深情。
在父母的卵翼和溺愛之下，徐志摩對父母充滿依戀，並養成了頑皮小孩子的性格。成年的他因此而更加的純真，但又欠一份成熟。
母親由於怕小寶貝著涼而很少給他洗澡，像當時當地的許多人家那樣。尤其到寒冷的冬天，小志摩整個冬天都不洗澡。到了夏天，母親才把小腳桶找來，倒上滾燙的水，然後把他抱進去，這樣既可洗掉一冬天厚厚的臟垢，又可防止孩子著涼。這樣一來，志摩就受不了了，水燙得他嗷嗷直叫。一聽說要洗澡，他就嚇得滿院子亂跑。因此，志摩孩提時代最怕剃頭和洗澡。溫柔的母親總說那句「今天我總得捉牢他來剃頭」，而又眼看著他笑嘻嘻地跑開。而一到洗澡，母親總發誓：「今天我總得捉牢他來洗澡。」他跑得再快也跑不過母親，雖然他的母親裹著小腳。還沒跑幾步，他就被母親捉住放在了水桶里。他掙扎一番失敗後，就開始又哭又叫。
由於這種「慘痛」的經歷，志摩都不敢和其他的孩子一塊兒到河裡洗澡。偶爾下河洗一次澡，一旦被父母發現，立即被拉回家裡，並被嚇唬一通。幼小的他就只能在河岸看著別人在水中玩耍。不下水的他也就沒有學會游泳。
徐志摩在《談再管孩子》中提到，父母不對他講一個人需要洗澡的理由，也不想法把洗的方法弄得適意些。這影響深極了，以致他到老大年紀每回洗澡雖不至厭惡，總不見得熱心；總把它看作一種必要的麻煩，而不是愉快的練習。游泳也沒有學會，猜想也是從小對洗澡沒有感情的緣故。
志摩小時候最怕的另一件事是剃頭。父親把老式的生鐵剃刀磨呀磨，然後拿到他的頭上咔嚓咔嚓地剪，疼得他齜牙咧嘴嗷嗷直叫，只想雙手抱著頭站起來跑掉。母親則在一邊狠命地捉住他的兩手，使勁按住他，讓他動彈不得。父親就用大手死死按住他的頭，使他的頭搖晃不得，並且還威脅他：「再動彈可就把耳朵割下來啦。」對於洗澡和剃頭，徐志摩潛意識裡有種莫名的恐懼和討厭。
徐申如喜愛廣交朋友，附庸風雅。徐家總少不了那些名流的身影，每當這種場合，小志摩就被父親拉出來，以表徐家的規矩與紳士。在眾人面前，志摩總是一副彬彬有禮、循規蹈矩的樣子。徐申如很是得意他調教出來的乖乖兒形象。
親人的疼愛與嬌寵，使志摩養成了隨和和放任的性格，祖母和母親的賢淑慈愛，啟發了他人際交往中的善良與真摯，父親開明的家庭教育又培育了他乖覺與溫順的紳士氣度。
此外，徐家的傭人家麟，在徐志摩的心中也是一位可親可敬的人。志摩曾說，孩童時所聽來的有趣的知識，都是家麟教給他的。他啟發了小志摩的靈性之光。
家麟勤勞而有德行，掌管著徐家的菜園和後花園。他常帶志摩去園子里幹活。在志摩的眼中，他樣樣活兒幹得出色，他有時也模仿家麟動手幹活。家麟又是一位養花的行家，徐家後花園因他而花團錦簇，萬紫千紅。志摩特別喜歡到花園裡去玩。家麟會耐心地教他辨別種種花名、花性，還繪聲繪色地給他講各種花的故事。小志摩因此都成了花痴。
家麟更是講故事的能手。那些民間故事到他的口中，總是栩栩如生，讓人千般想像萬般遐思。志摩尤其喜歡聽他講《說岳全傳》。他講得志摩又是笑，又是哭，又是著急跺腳。但他不會講得志摩瞌睡，這是學堂里所有的先生比他強的地方。志摩把聽來的故事講給周圍的夥伴聽，他唾沫橫飛、添油加醋的講述，讓小夥伴們目瞪口呆。而在月白風清的晚上，他會故意講那些牛鬼蛇神的故事，嚇得小夥伴們毛骨悚然，不敢回家。
家麟另有一種能耐是唱贊神歌。誰家許願請神，就請他去讚美神道。他那圓潤的粗嗓子，唱出了一種有節奏有頓挫的詩句。小志摩雖聽不清他唱什麼，但他覺得家麟的聲調美極了，如餘音繞梁，如暖天細雨，以至於常在他的美妙歌聲中靠在媽媽身上甜甜睡去。到第二天醒來時，耳邊還回蕩著家麟那圓圓的甜甜的嗓音。家麟死後，徐志摩以他為原型，寫了一篇樸實動人的小說《家德》，以表紀念。
徐志摩第一次直面死的問題，是在他不滿6歲時。他祖父的死是他初次遭逢的親屬的大故。祖父特別疼愛他，但終不如祖母對他的悉心關愛。那是他生平第一次可怕的經歷，但他在《我的祖母之死》中追想當時的心理時認為自己對死的見解可能不比英國詩人華滋華斯的那位小姑娘高明。華茲華斯在一首題為《我們是七人》的小詩中，描寫自己有一次遇到了一個8歲的小女孩，問她有幾個兄弟姐妹。她說有七個，兩個在城裡，兩個在外國，還有一個姐姐和一個哥哥，在教堂的公墓里躺著。每晚，她都要帶著點心到墓地去，吃著，唱著，唱給長眠在地下的哥哥姐姐聽。純真的孩子之心，還分不清生死的界限。
徐志摩記得那天夜裡，家人吩咐祖父病重，他們今夜不睡了，怕見不上最後一面。但叫他和姐妹們先上樓睡去，回頭要他們時家人會來叫的。他們就上樓去睡了，底下就是祖父的卧房。志摩那時不太明白，只知道夜裡一定有很怕的事發生，就像火燒、強盜搶、做惡夢一樣的可怕。他睡不著，朦朧中，只聽得樓下的急步聲、碗碟聲、喚婢僕聲、隱隱的哭泣聲不息的響著。過了半夜，家人上來把志摩從睡夢裡抱了下去，他醒過來只聽得一片的哭聲。他們已經把長條香點起來，一屋子的煙，一屋子的人，圍攏在床前，哭的哭，喊的喊。他也挨了過去，在人叢里偷看大床里的祖父。忽然聽說醒了醒了，哭喊聲也停了。他看見父親爬在床里，把祖父抱在懷裡，祖父靠在他的身上，雙眼緊閉著，口裡銜著一塊黑色的藥物。終於，祖父開口說話了，聲音很輕。他沒聽明白祖父說的是什麼，只是知道祖父經過了一陣昏暈，他又醒了過來對家人說：「你們吃嚇了，這算是小死。」祖父接著又說了好幾句話，隨著說話聲音的降低，呼氣也漸微，去了，再不醒了。但志摩卻不曾親見最後的彌留，也許是他記不起了，總之他那時早已跪在地板上，手裡擎著香，跟著大眾高聲地哭起來了。