劉縯當時聲望之隆，由以下細節可見一斑：在南陽境內，但凡提及劉縯，無人直呼其名，而是習慣性地稱呼其字伯升，以示敬意。至於四方之豪傑，甭管是否真認識劉縯，都是一口一個「我的朋友劉伯升」，擺出一副和劉縯爛熟的樣子，以借光長臉，自抬身價。
然而，不厚道地說，劉縯養客賺來的這點聲望，就和水滸傳中的宋江一樣，大半還是靠錢砸出來的。劉縯提供給門客的待遇，雖然不可能像戰國四公子那樣奢侈鋪張——平原君之門客，「刀劍室以珠玉飾之」；春申君「客三千餘人，其上客皆躡珠履」——然而數百門客的衣食住行，即使僅僅維持在一個溫飽水準，其花費也是可想而知。
自父親劉欽死後，劉縯一家驟然中衰。以中衰之家，養數百賓客，必然是捉襟見肘。然而，再窮不能窮教育，再苦不能苦賓客，劉縯一切以養客為重，對自己則是能省便省，冬日鹿裘，夏日葛衣，粢糲之食，藜藿之羹，自奉之薄，無以復加。劉秀初回舂陵，見了劉縯的生活質量，不免大吃一驚，販夫走卒都過得比這強呀，於是責問劉縯何必自苦如是。劉縯不想劉秀為家中的經濟狀況擔心，強自掩飾道：「錦衣玉食還不簡單！我所以不為者，乃是效法越王勾踐，卧薪嘗膽，以志亡國之恥。」劉秀不當家不知柴米貴，於是信了劉縯。
實在支撐不下去的時候，劉縯也不得不低下高傲的頭顱，想法賺上一筆快錢，以解燃眉之急。俗諺曰：用貧求富，農不如工，工不如商。要想發財，最快莫過於經商。什麼，經商來錢還是太慢？那你還不如去搶了。沒錯，劉縯及其門客正是去搶。他們多的就是暴力，有暴力，當然就要追求暴利。所謂君子愛財，取之有「道」，劉縯等人瞄準的行當便是劫道。至於劫完道之後，順便劫個色什麼的，這種事情咱們並不敢說一定沒有。劫完道之後，遇見膽敢反抗的，順便捅上那麼幾刀，這種事情咱們也不敢說一定沒有。
用今天的價值觀來衡量，劉縯及其門客完全應該定性為有組織的黑社會犯罪團伙。然而在當時，像劉縯這樣的強宗豪族，將自己凌駕於法律之上，以暴力強取豪奪、魚肉地方，早已是一種普遍的社會現象。即便是官府，也只能默認現狀，聽之任之，並不敢多加干涉。何以如此？如果能有幸採訪到某位官府高層，並且在同意隱去其姓名的前提之下，他將向你透露：其實，他們也是有苦衷的。