任何一個罪犯，總以為自己乾的壞事很隱秘，人不知，鬼不覺，不會遭到懲罰；尤其那些所謂有頭腦的高級慣犯，作案前總要精心策劃，深謀遠慮，如何行動才能得手才能搞得天衣無縫，不留痕迹，以便作案後能逃脫罪責，逍遙法外。即使萬一被人懷疑，最後也因拿不出罪證而無奈他何。
如日本西村京太郎的中篇小說《雙曲線的殺人案》，敘述一對孿生兄弟，屢次搶劫，屢次得手。他們模樣生得十分相似，作案時故意讓人看清面目，卻不留下任何指紋。一人作案，倆人有意在不同地點讓被害人認出，分別被扭送警察局。由於兩兄弟長相一模一樣，站到一起，被害人便無從辨認哪個是兄哪個是弟，更說不準作案人是兄或是弟。儘管刑警確信其中至少有一名罪犯，但因缺少證據，只好憤憤地把這對孿生兄弟釋放。直到後來，孿生的弟弟再次搶劫銀行，被埋伏在那裡的刑警們當場捕獲，罪犯才不得不低頭認罪。
偵探們都很清楚，固然邏輯是一切陰謀詭計的剋星，能幫助他們確定偵察目標，識別真情假象，甚至判定誰是真兇，誰是冤主；但它畢竟只是一種理論上的闡述，假設的論證，蓋然性的判斷。倘若要指控罪犯，把他押上法庭，審判定罪，那就必須拿出真憑實據。因此，證據便成為偵探制伏罪犯的一柄殺手鐧。
高木彬光是日本著名的推理小說家，他的《破戒裁判》可謂法庭推理小說的拔群之作。檢察官指控村田先後兩次殺人，並棄屍於旱橋下的鐵軌上，製造自殺假象。村田對殺人罪矢口否認，只承認一個事實：幫助情婦康子用汽車把被她殺死的丈夫屍體運到旱橋，扔到鐵軌上。百穀律師（相當於偵探）在法庭上為被告辯護，並指出前來作偽證的康子的堂兄兼情夫津川廣基才是真正的兇手。百穀律師的辯護和指控，理直氣壯，征服了全場聽眾。但由於百穀提不出一件物證，檢察官仍堅持判被告村田死刑。在這一髮千鈞之際，百穀的妻子趕到法庭，提供一件物證：穿在死屍腳上的黑皮鞋，印有「宮村」店號；而在鞋店的訂貨單上，簽的是津川廣基的名字。百穀律師藉此斷定：皮鞋的主人津川廣基，當時就在康子家裡；村田前來幫康子轉移屍體時，給死人穿錯了鞋子。一件物證，立刻把向村田一邊傾斜的裁判天平撥回來，向津川廣基這邊傾斜下去。
阿加莎描寫的波洛，生性高傲自信，聰敏過人，但他辦案有條準則，沒有取到證據之前，決不宣布誰是罪犯，儘管他心中早有結論。在《斯泰爾斯莊園奇案》里，波洛經過調查和推理，對於罪犯，他心中早已有數，但卻遲遲不予公布。用波洛的話說，是最後一環尚未解決。所謂最後一環，是指一件物證。有人在波洛眼皮底下，盜走被害人的一份文件。究意是份什麼文件？竊去藏於何處？為了解開這最後一環，波洛耐心地等待，觀察，思索，甚至有人被冤枉投入監獄，他也沉得住氣。過了一個多月，波洛才在死者房間的壁爐架上的紙捻瓶里，找到被盜的那份文件。原來，死者的丈夫撬開文件箱，盜走一封對自己極端不利的信件，因時間緊迫，沒機會帶出房間又怕搜身，便把它捲成紙捻，同其他紙捻一起插在瓶子里。波洛取得了證據，好比手中握著一柄殺手鐧，任罪犯如何狡猾頑固，都將落網伏法。
證據，對於偵探來說，意味著決鬥的勝利，破案的成功。
對於罪犯來說，即意味著賭博的慘敗，末日的到來。因此，注重證據，應當成為偵探辦案的座右銘。
有一次，福爾摩斯對華生說，他有個哥哥叫邁克羅夫特，掌握推理藝術更勝他一籌，觀察力比他強，但他是不可能當偵探的。華生覺得奇怪。福爾摩斯解釋說：「我說他在觀察和推理方面比我高明。假如偵探這門藝術只是坐在扶手椅上推理就行，那麼我哥哥一定是個舉世無雙的大偵探了。可是他既無做偵探工作的願望，也無這種精力。他連去證實一下自己所做的論斷也嫌麻煩，寧肯被人認為是謬誤，也不願費力去證明自己的正確。我經常向他請教問題，從他那裡得到解答，後來證明都是正確的。不過，在一件案子提交給法官或陪審團之前，要他提出確鑿有力的證據，那他就無能為力了。」（《希臘譯員》）
從這段談話里，我們不難悟出：不厭其煩地調查，不遺餘力地查證，不惜代價地取得證據，這是一切名偵探最可貴的品格。只熱衷於憑空推測，不注重證據，那是稱不上一名好偵探的。
證據有多種多樣，但概括起來，可分為直接和間接兩大類。
直接證據
所謂直接證據，是指能直接證明嫌疑對象有罪的事實根據。直接證據又有兩種：
第一，現場抓獲作案人。當場抓住案犯，人證物證俱在，這是最有力的證據。許多推理小說最後結案，就是根據偵探的推測，調動偵緝人員，埋伏於作案現場附近，當作案人進行犯罪活動時，突然將他擒獲。
《福爾摩斯探案集》有相當一部分作品就是採用這種方法取得直接證據的。如《紅髮會》《空屋》《孤身騎車人》《三座拿破崙半身像》等等。《紅髮會》寫福爾摩斯在分析案情，明確對手作案目標後，協同警察，埋伏在一家銀行的地下金庫里，當罪犯從地道潛入金庫時，福爾摩斯一躍而起，把罪犯抓住。
再如阿加莎的《大偵探十二奇案》之七《克里特島的野牛》，寫一位海軍上將的兒子休患有遺傳的瘋病，深夜常持刀夜遊，殺羊，殺貓、殺鸚鵡。休的未婚妻請波洛調查此事。波洛經過偵查，胸有成竹。有天夜裡，他守候在一個大房間里，觀察動靜。次日，人們又在議論休昨夜殺死一頭貓，休痛苦得想自殺。波洛卻說：休沒有殺死貓，他精神很正常。每次發生這類事件之前，都有人給他服用催眠葯，然後把一把沾滿鮮血的刀子放在他手中，又在他臉盆里洗血手。這個人之所以這樣干，是想逼他發瘋而自殺。那麼，這個人是誰？正是他父親海軍上將！因為休不是他的親生兒子，是他妻子同別人相愛的結晶，於是他把積怨發泄到兒子身上。在此案里，波洛並沒有當場抓住海軍上將，但對手的所作所為，他全都看在眼裡。這也是一種直接證據，能置案犯於死地。
海軍上將終於被迫自殺。
第二，同作案有關的物證。當場抓住案犯，這種機會總是比較少的。多數情況是，案發後才尋找線索，取得同作案直接有關的物證，把案犯緝拿歸案。如《王冠寶石案》，福爾摩斯從盜竊犯西爾維亞斯伯爵手中詐取來的王冠寶石；《血字的研究》，福爾摩斯從作案現場旅館的窗台上找到的盛在藥膏木匣里的兩顆藥丸；《尼羅河上的慘案》，波洛從尼羅河底打撈上來的用絲絨披肩包裹著的小手槍等等，都屬於直接有關的物證。在這些贓物、毒藥、兇器面前，案犯是不得不低頭認罪的。
當然，物證並不一定是贓物、毒藥、兇器，也有其他東西，只要與作案直接有關的，同樣能制伏罪犯。如《大偵探十二奇案》之一的《涅墨亞的獅子》，有人綁架一頭獅子狗，而後向狗的主人索取二百英鎊，才把狗放回來。波洛受理此案，解開了綁架小狗之謎：作案人是女主人身邊的伴娘卡那比。她在姐姐家豢養了一頭訓練有素的獅子狗，當她去公園給女主人遛狗時，先把小狗帶回姐姐家，換上自己養的狗；到公園後，把牽狗的皮帶割斷，讓狗跑回姐姐家去，然後報告女人，說小狗在公園裡被人綁架了。卡那比訓練的這隻獅子狗，就是與作案直接有關的物證。波洛發現這頭狗，也就找到了作案人。
在所有證據中，直接證據是最有力而最能制伏對手的，它是偵探的偵察活動的最高目標。
間接證據
所謂間接證據，是指那些非直接的事實根據。間接證據是不能直接證明嫌疑對象有罪的，但通過一定的推理程序，它也可以起佐證的作用。在推理小說中，偵探往往先發現某種間接證據，再以它為線索，進而取得直接證據。如森村誠一的《鴿子的眼睛》，寫冢本利用銀行女職員津上富枝工作之便，盜竊存款人一筆巨款，而後突然銷聲匿跡。存款人起訴，有關部門向全國發出通緝令。工藝品匠人高野平作以製作玩具車鴿享譽全國。一天，他發現郵寄給客戶的工藝製品中，有一隻鴿子沒有鑲上眼睛，於是他逐個去信詢問，請收到「瞎眼鴿子」的顧客把它寄來，換回成品的鴿子。客戶來信說他們收到的鴿子都有眼睛，唯獨一位名叫本山的顧客，訂購兩隻鴿子，卻一直沒有迴音。高野平作斷定，其中必有一隻是「瞎眼鴿子」，便再次去信催換。不久，「瞎眼鴿子」寄來了，但寄貨人不是本山，而是津上富枝，並附信說：鴿子是好友送給她的，要求換一隻成品鴿子。高野平作推想，她的好友一定是本山，因為訂貨單上沒有富枝的名字。但奇怪的是，他把成品鴿子寄往富枝的住址之後，竟被郵局打上「收件人地址不明」而退了回來。更奇怪的是，本山也從東京寄來一隻「瞎眼鴿子」。高野平作很驚訝，怎麼會有第二隻？但還是換給他了。過了不久，高野平作從報紙上看到一段新聞：津上富枝被殺！她騙取巨款潛逃後，由於罪犯在分贓問題上發