14歲那年，趙元任的大姑婆告訴他，他就要和一個姓陳的女孩訂婚了，他在日記上記載說：「婚姻不自由，我至為傷心。」後來經過努力，趙元任終於解除了婚約，他高興地說：「我和這個女孩訂婚十多年，最後我終於得到自由。」趙元任拒婚的理由是「女方大兩歲」，後來他卻追求比他大三歲、性格迥異的楊步偉。
趙元任自小聰明、好學，從初中便開始堅持記日記。在南京求學期間，他一度沾染惡習：抽煙、嗜酒、手淫。但他後來努力改變惡習，並以父親命名寓意告誡勉勵自己：「元任，任重道遠。」
趙元任在南京高等學堂預科讀書時，與章元善同學，他們相互勉勵，刻苦讀書。因二人卧榻頂頭相接，兩人便將枕頭以繩連接，先起床者拉動繩索，然後二人同時起床，到操場上練習英語發聲。
1920年8月的一天，趙元任在南京一個朋友家認識了楊步偉，便愛上了她。當時趙元任正在為羅素的中國巡講作翻譯。一次羅素在師大講演，趙元任遲到了，因為語言不通，羅素站在台上呆坐著，毫無辦法。趙元任說：「看到我和女孩子進來，他低聲對我說：『壞人，壞人！』。」
1927年春天，趙元任曾到江、浙兩省作吳語調查。他經常一天跑兩、三個地方，邊調查邊記錄，找不到旅館就借宿在農民家中。一次，他和助手夜間由無錫趕火車去蘇州，只買到硬板椅的四等車票。由於太疲乏，兩人上車後便躺在長板座上睡著了。等醒來時，滿車漆黑，往外一看，才知道前面幾節車廂已開走，這節四等車廂被扔下了。助手問他怎麼辦？他說：「現在反正也找不到旅館，就在車上睡到天亮吧！」助手見他身體虛弱，勸他每天少搞點調查，他詼諧地說：「搞調查就是要辛苦些，抓緊些，否則咱們不能早點回家呀！將來不是要更費時間，也更辛苦嗎？」
趙元任無意於做官，他與楊步偉結婚時只對楊提出一個要求：別逼他做官。
趙元任也不願做行政工作，清華曾讓他擔任校長，他斷然拒絕，後羅家倫擔任了清華校長。
一次，趙元任從歐洲到上海，當時東南大學正鬧學潮，雙方相持不下，都想讓自己一方的人任校長，而趙與雙方關係都不錯，故雙方都能接受他當校長。於是，楊杏佛和胡剛復二人日夜追著趙，請他出任東南大學校長。嚇得趙元任連夜北上，逃到北京。
楊杏佛請趙元仁到中研院做研究員，趙同意了，但他和楊杏佛約定不任行政職務，楊杏佛則要求趙永不許辭職，趙元任笑說，若是你老兄不做了或情形變了，也不准我離去嗎？沒想到一語成讖，楊不久被人暗殺。
趙元仁到中研院，傅斯年說他在研究院一日，趙元任一日不能離院，他知道趙元任不做行政職務，不喜與人爭權，所以屢次有人提議讓趙元任做總幹事，傅斯年總是阻止，以至於有人認為傅斯年嫉賢妒能，並且有些人設法離間二人。這件事楊步偉晚年寫回憶錄時記敘了下來，此時傅斯年已經去世。
1946年國民黨政府教育部長朱家驊拍電報請趙元任出任南京中央大學校長。趙元任回電：「幹不了。謝謝！」朱請楊步偉勸說趙，楊說：「我從來不要元任做行政事。」
趙元任很不喜歡穿禮服。趙元任婚後初到美國時，生活很是艱難。趙元任便到婦女俱樂部去演講賺外快貼補家用。在美國演講必須穿晚禮服，趙元任不管這些，直接穿著便服去演講。俱樂部主席很是為難，在開講前問趙要不要租件禮服換一下，趙元任說一定要換我就不講了。主席只能將就他。不久，趙元任要到紐約去演講，此次演講必須穿禮服，他就只能在招待室等著，讓朋友臨時出去租了一套來換上。趙元任也一直反對穿晚禮服，只有在1946年代表聯教組織到法國去開會，為了國家形象只能穿才同意穿了，其他時間能不穿時就不穿，自己也從來不購置。
趙元任生活樸素，最不講究穿戴。他一直自己開車，買東西，做飯，補衣服，許多家務事都是他干。他釘扣子最有意思，用一根大針穿上四根線，把線的兩端合起來打上結就成了八股線，只一針就把扣子釘上了。