对非法证据排除规则目前学术界存在着不同的理解。传统观点认为，只要是不具备合法性的证据都必须排除，而证据的合法性包括证据必须具备法定形式、具有合法的来源等等，不属于刑事诉讼法规定的七种形式的，不得采纳为证据，不属于刑事诉讼法规定的形式的证据是非法证据。 
实际上，这是对非法证据的一个误解。非法证据排除的目的仅仅是为了确保公民基本权利不受侵犯，因此只有当一项证据的取得方式严重侵犯公民的基本权利的时候，该证据才是非法证据；其他所谓不符合“合法性”要求的证据，包括不符合法定形式的证据并非就是非法证据。在理论上应当对非法证据的概念进行严格限制，而不能作过于广泛的解释。不属于刑事诉讼法规定的证据种类的证据，只要不被证据可采性规则排除，就能够作为证据使用；非法证据只限于采用侵犯公民基本权利的方法取得的证据。如果对非法证据的定义过宽，会导致立法上难以确立非法证据排除规则。