古时候，有一对夫妻，妻子是一位主妇，生得娇艳可人、风韵犹存，平时在家里做点针线活。因生得貌美，早就已招徕一些狂蜂浪蝶追求，丈夫是一个生意人，要经常到外地去做生意，两口子的日子过得也富裕，在丈夫外出的日子里，妻子就不免枕冷襟寒、寂寞难耐，终于有一天，妻子忍不住跟街市一个卖布的好上了，在丈夫外出做生意的时候，他们就巫山云雨地在一起厮混。
有一次，丈夫回家后三个月都没有外出，直煎得那个卖布的天天在他们家附近打转，一天，丈夫骑着马到城外打猎去了，经过街市，那卖布的见了非常高兴，以为他又要外出做生意，当晚就迫不及待地窜进了妻子的卧室，准备和相好幽会，当晚丈夫回来了，几乎将他逮了个正着，妻子也吓了个半死，那卖布的只好哆嗦在人家的床底一整晚。
这件事后，妻子就向那卖布的要了一块绿色的布料，做了一顶帽子给丈夫，还和那卖布的约定，当你看见我丈夫戴上绿帽子外出的时候，你就可以来了。
过了几天，丈夫又要外出做生意了，妻子赶紧拿出那顶绿帽子对丈夫说：“外面的风沙大，戴上就不会弄脏了头发，这颜色让你看起来很俊，以后你每次外出我都为你做一顶，就像我跟在你身边一样，你就不用牵挂我了”，丈夫听了很开心，以为自己真的很俊，于是高高兴兴戴上那顶绿帽子，骑着马得意洋洋穿过街市，到外地做生意去了，当晚，他妻子就和那卖布的睡在他的床上。
以后，那个卖布的凡见了那丈夫戴着绿帽子外出时，心里都不禁心花怒放：“哈！你的绿帽子真是很俊，不过今晚该到我俊了”。于是，绿帽子的说法就这样传下来了。