पौराणिक कथाओं के अनुसार, एक बार गणपति बड़े ही प्रेम भाव से अपने पसंदीदा मिष्ठान खा रहे थे. उनके चारों तरफ तरह-तरह की मिठाइयों के थाल सजे हुए थे. तभी वहां से चंद्रदेव गुजरे. गणेश को इस तरह मग्न होकर खाता देख उन्होंने गणपति के पेट और सूंड का मजाक बना दिया और ठहाका मारकर हंस दिए. चंद्रदेव के इस व्यवहार से भगवान गणेश को बहुत क्रोध आया और उन्होंने चंद्रदेव को श्राप दे दिया और कहा कि तुम्हें अपने रूप का गुमान है इसलिए श्राप देता हूं कि तुम अपना रूप खो दोगे, तुम्हारी सारी कलाएं नष्ट हो जाएंगी और जो भी तुम्हारे दर्शन करेगा उसे कलंकित होना पड़ेगा. यह दिन भाद्रपद मास की शुक्ल पक्ष की चतुर्थी तिथि थी.
श्राप पाते ही चंद्रदेव को अपनी भूल का अहसास हो गया और उन्होंने सभी देवी-देवताओं के साथ मिलकर गणपति को प्रसन्न करने के लिए पूजा की. उन्होंने भगवान गणेश को प्रसन्न किया और उनसे अपनी भूल के लिए क्षमा-याचना की. तब बप्पा ने उनसे एक वरदान मांगने को कहा. ऐसे में सभी देवताओं ने चंद्रदेव को माफ करने और श्राप को वापस लेने व निष्फल करने का वरदान मांगा.
गणपति ने कहा कि मैं अपना श्राप तो वापस नहीं ले सकता लेकिन इसे सीमित जरूर कर सकता हूं. उन्होंने कहा कि चंद्रदेव की कलाएं माह के 15 दिन घटेंगी और 15 दिन बढ़ेंगी. चंद्र दर्शन से कलंकित होने का श्राप सिर्फ चतुर्थी के दिन ही मान्य होगा और चतुर्थी के दिन कोई भी चंद्रमा के दर्शन नहीं करेगा.लेकिन अगर उसे भूलवश दर्शन हो गए तो उसे इस श्राप के प्रभाव से बचने के लिए 5 पत्थर किसी दूसरे की छत पर फेंकने होंगे. ऐसा करने से वो दोषमुक्त होगा. तब से इस दिन को कलंक चौथ और पत्थर चौथ कहा जाने लगा.