魯魯坐在地上，悲涼地叫著。樹叢中透出一彎新月，院子的磚地上灑著斑駁的樹影和淡淡的月光。那悲涼的嗥叫聲一直穿過院牆，在這山谷的小村中引起一陣陣狗吠。狗吠聲在深夜本來就顯得凄慘，而魯魯的聲音更帶著十分的痛苦、絕望，像一把銳利的刀，把這溫暖、平滑的春夜剪碎了。
他大聲叫著，聲音拖得很長，好像一陣陣哀哭，令人不忍卒聽。他那離去了的主人能聽見嗎？他們在哪裡呢？魯魯覺得自己又處在荒野中了，荒野中什麼也沒有，他不得不用嗥叫來證實自己的存在。
院子北端有三間舊房，東頭一間還亮著燈，西頭一間已經黑了。一會兒，西頭這間響起窸窣的聲音，緊接著房門開了，兩個孩子穿著本色土布睡衣，躡手躡腳走了出來。十歲左右的姐姐捧著一缽飯，六歲左右的弟弟走近魯魯時，便躲在姐姐身後，用力揪住姐姐的衣服。
「魯魯，你吃飯吧，這飯肉多。」姐姐把手裡的飯放在魯魯身旁。地上原來已擺著飯盆，一點兒不曾動過。
魯魯用悲哀的眼光看著姐姐和弟弟，漸漸安靜下來了。他四腿很短，嘴很尖，像只狐狸；渾身雪白，沒有一根雜毛。頸上套著皮項圈，項圈上系著一根粗繩，拴在大樹上。
魯魯原是一個孤身猶太老人的狗。老人住在村上不遠，前天死去了。他的死和他的生一樣，對人對世沒有任何影響。後事很快辦理完畢。只是這矮腳的白狗守住了房子悲哭，不肯離去。人們打他，他只是圍著房子轉。房東靈機一動說：「送給范先生養吧。這洋狗只合下江人養。」這小村中習慣地把外省人一律稱作下江人。於是他給硬拉到范家，拴在這棵樹上，已經三天了。
姐姐弟弟和魯魯原來就是朋友。他們有時到猶太老人那裡去玩。他們大概是老人唯二的客人了。老人能用紙疊出整棟的房屋，各房間里還有各種擺設。姐姐弟弟帶來的花玻璃球便是小囡囡，在紙做的房間里滾來滾去。老人還讓魯魯和他們握手，魯魯便伸出一隻前腳，和他們輪流握上好幾次。他常跳上老人座椅的寬大扶手，把他那雪白的頭靠在老人雪白的頭旁邊，瞅著姐姐和弟弟。他那時的眼光是馴良、溫和的，幾乎帶著笑意。
現在老人不見了，只剩下了魯魯，悲涼地嗥叫著的魯魯。
「魯魯，你就住在我們家。你懂中國話嗎？」姐姐溫柔地說，「拉拉手吧？」三天來，這話姐姐已經說了好幾遍。魯魯總是突然又發出一陣悲號，並不伸出腳來。
但是魯魯這次沒有哭，只是咻咻地喘著，好像跑了很久。姐姐伸手去摸他的頭，弟弟忙拉住姐姐。魯魯咬人是出名的，一點不出聲音，專門咬人的腳後跟。「他不會咬我。」姐姐說，「你咬嗎？魯魯？」隨即把手放在他頭上。魯魯一陣戰慄，連毛都微聳起來。老人總是撫摸他，從頭摸到脊背。那隻大手很有力，這隻小手很輕，但卻這樣溫柔，使魯魯安心。他仍咻咻地喘著，向姐姐伸出了前腳。
「好魯魯！」姐姐高興地和他握手，「媽媽！魯魯願意住在我們家了！」
媽媽走出房來，在姐姐介紹下和魯魯握手，當然還有弟弟。媽媽輕聲責備姐姐說：「你怎麼把肉都給了魯魯？我們明天吃什麼？」
姐姐垂了頭，不說話。弟弟忙說：「明天我們什麼也不吃。」
媽媽嘆息道：「還有爸爸呢，他太累了。你們也早該睡了。魯魯今晚不要叫了，好嗎？」
范家人都睡了。只有爸爸仍在煤油燈下著書。魯魯幾次又想哭一哭，但是望見窗上幾乎是趴在桌上的黑影，便把悲聲吞了回去，在喉嚨里咕嚕著，變成低低的輕吼。
魯魯吃飯了。雖然有時還免不了嗥叫，情緒顯然已有好轉。媽媽和姐姐解掉拴他的粗繩，但還不時叮囑弟弟，不要敞開院門。這小院是在一座大廟裡，廟裡復房別院，房屋很多，許多城裡人遷鄉躲空襲，原來空蕩蕩的古廟，充滿了人間煙火。
姐姐還引魯魯去見爸爸。她要魯魯坐起來，把兩隻前腳伸在空中拜一拜。「作揖，作揖！」弟弟叫。魯魯的情緒尚未恢複到可以玩耍，但他照做了。「他懂中國話！」姐弟兩人都很高興。魯魯放下前腳，又主動和爸爸握手。平常好像什麼都視而不見的爸爸，把魯魯前後打量一番，說：「魯魯是什麼意思？是意緒文吧？它像只狐狸，應該叫銀狐。」爸爸的話在學校很受重視，在家卻說了也等於沒說，所以魯魯還是叫魯魯。
魯魯很快也和貓兒菲菲做了朋友。菲菲先很害怕，警惕地弓著身子向後退，一面發出「呲——」的聲音，表示自己也不是好惹的。魯魯卻無一點敵意。他知道主人家的一切都應該保護。他伸出前腳給貓，惹得孩子們笑個不停。終於菲菲明白了魯魯是朋友，他們互相嗅鼻子，宣布和平共處。
過了十多天，大家認為魯魯可以出門了。他總是出去一會兒就回來，大家都很放心。有一天，魯魯出了門，躊躇了一下，忽然往猶太老人原來的住處走去了。那裡鎖著門，他便坐在門口嗥叫起來。還是那樣悲涼，那樣哀痛。他想起自己的不幸，他的心曾遺失過了，他努力思索老人的去向。這時幾個人圍過來說：「嗥什麼！畜生！」人們向他扔石頭。他站起身跑了，卻沒有回家，一直下山，向著城裡跑去了。
魯魯跑著，伸出了舌頭，他的腿很短，跑不快。他儘力快跑，因為他有一個謎，他要去解開這個謎。
鄉間路上沒有車，也少行人。路兩邊是各種野生的灌木，自然形成兩道綠籬。白狗像一片飄蕩的羽毛，在綠籬間移動。間或有別的狗跑來，那大都是笨狗，兩眼上各有一小塊白毛，鄉人稱為「四眼狗」。他們想和魯魯嗅鼻子，或打一架，魯魯都躲開了。他只是拚命地跑，跑著去解開一個謎。
他跑了大半天，黃昏時進了城，在一座舊洋房前停住了。門關著，他就坐在門外等，不時發出長長的哀叫。這裡是猶太老人和魯魯的舊住處。主人是回到這裡來了罷？怎麼還聽不見魯魯的哭聲呢？有人推開窗戶，有人走出來看，但都沒有那蒼然的白髮。人們說：「這是那洋老頭的白狗。」「怎麼跑回來了！」卻沒有人問一問洋老頭的究竟。
魯魯在門口蹲了兩天兩夜。人們氣憤起來，下決心處理他了。第三天早上，幾個拿著繩索棍棒的人朝他走來。一個人叫他：「魯魯！」一面丟來一根骨頭。他不動。他很餓，又渴，又想睡。他想起那淡黃的土布衣裳，那溫柔的小手拿著的飯盆。他最後看著屋門，希望在這一瞬間老人會走出來。但是沒有。他跳起身，向人們腿間衝過去，向城外跑去了。
他得到的謎底是再也見不到老人了。他不知道，那老人的去處，是每個人，連他魯魯，終究都要去的。
媽媽和姐姐都抱怨弟弟，說是弟弟把魯魯放了出去。弟弟表現出男子漢的風度，自管在大樹下玩。他不說話，可心裡很難過。傻魯魯！怎麼能離開愛自己的人呢！媽媽走過來，把魯魯的飯盆、水盆摞在一起，預備扔掉。已經第三天黃昏了，不會回來了。可是姐姐又把盆子擺開。剛剛才三天呢，魯魯會回來的。
這時有什麼東西在院門上抓撓。媽媽小心地走到門前聽。姐姐忽然叫起來衝過去開了門。「魯魯！」果然是魯魯，正坐在門口咻咻地望著他們。姐姐彎身抱著他的頭，他舐姐姐的手。「魯魯！」弟弟也跑過去歡迎。他也舐弟弟的手，小心地繞著弟弟跑了兩圈，留神不把他撞倒。他蹭蹭媽媽，給她作揖，但是不舐她，因為知道她不喜歡。魯魯還懂得進屋去找爸爸，鑽在書桌下蹭爸爸的腿。那晚全家都高興極了。連菲菲都對魯魯表示歡迎，怯怯地走上來和魯魯嗅鼻子。
從此魯魯正式成為這個家的一員了。他忠實地看家，嚴格地聽從命令，除了常在夜晚出門，簡直無懈可擊。他會超出狗的業務範圍，幫菲菲捉老鼠。老鼠鑽在陰溝里，菲菲著急地跑來跑去，怕它逃了，魯魯便去守住一頭，菲菲守住另一頭。魯魯把尖嘴伸進蓋著石板的陰溝，低聲吼著。老鼠果然從另一頭溜出來，落在菲菲的爪下。由此爸爸考證說，魯魯本是一條獵狗，至少是獵狗的後裔。
姐姐和弟弟到山下去買豆腐，魯魯總是跟著。他很願意咬住籃子，但是他太矮了，只好空身跑。他常常跑在前面，不見了，然後忽然從草叢中衝出來。他總是及時收住腳步，從未撞倒過孩子。賣豆腐的老人有時扔給魯魯一塊肉骨頭，魯魯便給他作揖，引得老人哈哈大笑。姐姐弟弟有時和村裡的孩子們一起玩，魯魯便耐心地等在一邊，似乎他對那遊戲也感興趣。
村邊有一條晶瑩的小溪，岸上有些閑花野草，濃密的柳蔭沿著河堤鋪開去。他們三個常到這裡，在柳蔭下跑來跑去，或坐著講故事，住在鄰省T市的唐伯伯，是爸爸的好友，一次到范家來，看見這幅畫面，曾慨嘆道他若是畫家，一定畫出這綠柳下、小河旁的兩個穿土布衣裳的孩子和一條白狗，好撫一撫戰爭的創傷。唐伯伯還說，魯魯出自狗中名門世族。但范家人並不關心這個，魯魯自己也毫無興趣。
其實魯魯並不總是好聽故事，他常跳到溪