相傳，前秦將軍竇滔新結識了一位能歌善舞的女子，納為妾後，百般寵愛。竇滔的妻子蘇蕙為挽回丈夫心意，將840字詩文進行了絕妙的編排，用五色絲線綉成八寸見方的錦緞，無論正讀、反讀、縱橫反覆都可以解讀出一首詩。竇滔看後回心轉意，兩人又恩愛如初。
這便是《璇璣圖》故事的源頭，雖然當時已傳為美談，但還遠沒有流傳千古的影響力。真正使《璇璣圖》風行天下的，是300多年後的女皇武則天。
武則天十分喜愛《璇璣圖》，親自作序《織錦迴文記》，不僅稱讚蘇蕙的才華，也為她堅守真愛，憑藉智慧從「小三」身邊奪回丈夫的行為叫好。
有女皇帝的推崇，又有才女爭取愛情的動人故事背景，再加上《璇璣圖》本身奇巧絕倫，因而引來文人雅客歷時千年的品賞和追捧。
據典籍記載，與《璇璣圖》有關的名人有百位之多，其中梁元帝、李白、黃庭堅、朱淑真等都曾歌詠過蘇蕙。關漢卿還曾作《蘇氏織錦迴文》雜劇。清代李汝珍的小說《鏡花緣》中輯錄了《璇璣圖》和武則天的序文，令《璇璣圖》更廣泛地流傳開來。
解讀《璇璣圖》中的迴文詩，成為歷代文人的風尚，甚至成為一種比拼才華和智力的競技。武則天著意推求，得詩二百餘首。宋代高僧起宗，將其分解為十圖，得詩3752首。明代學者康萬民，苦研一生得詩4206首。當前統計，可組詩7958首。