پرداخت نکردن خمس

سلام چرا میگن کسی که نماز میخواند ولی خمس پرداخت نمیکند نمازش به دلیل اینکه با لباسی که از پول حرام و خمس داده نشده خریده میشود نمازش باطل است؟ یعنی نمیتواند بگوید لباسم از بخشی است که متعلق به مال خودم است؟ پولی که خمسش پرداخت نشده کلا حرامه؟