许由是远古时期的阳城槐里（今登封境内）人，他生活在尧做部落首领的时代，是当时闻名天下的贤良人士。
据说，尧年老时，想选一个理想的接班人。大臣推荐由他的儿子丹朱来接班，可他认为丹朱不贤，不适合当国君。于是，尧决定，寻找贤人，禅让帝位。四岳长老向尧帝举荐了许由，说此人可当大任。可是，许由觉得自己的德才和当时的另一位贤人虞舜相比有不小差距，而且许由还担心，如果自己做了君主，一定会引起尧的几个儿子不满，这样很可能导致天下大乱，老百姓跟着颠沛流离。许由不愿意因为自己做君主而耽误国家大事，更不希望因为自己获得荣耀而给百姓造成苦难。于是，当尧亲自去拜访许由时，他早已悄悄跑到颍河边隐居起来，他决定以自己的淡泊无为来换得天下的安定、和谐。但是，尧依然非常看重许由的人品和才华，他派人四处寻找许由，执意要把帝位禅让给他，最后终于在颍河边找到了许由。
尧诚恳地希望许由能接替自己的君主之位。尧对许由说：“辉煌的太阳和皎洁的月亮已经出现了，我这把小火应该及时退下来。滋润大地的甘霖已经飘落了，就不需要人工灌溉了。我真的不如你许由的人品和才华，所以，你就听从我的劝告，做天下的君主吧！”许由却说：“我不能接受您的建议，你看，小鸟在树上做巢，需要的不过是一个树枝；老鼠在河流里喝水，需要的仅仅是喝饱肚子而已。你把天下交给我，我把它拿来做什么用呢？而且，现在天下已经被你治理好了，你想把美名让给我吗？我怎么能够掠人之美，做这样不仁义的事情呢？”
许由为了表示自己坚决拒绝做天下君主的决心，索性跑到颍水边，捧起清澈的流水来濯洗自己的耳朵，以洗耳来明志。尧看到许由如此坚定，只好叹息着走了。许由清高淡泊，尧帝让天下而不受，这种公而让天下的精神，对历代政权的巩固和社会稳定产生了重要作用，是为“仁让”。
淡泊名利的许由以自己的高洁品行赢得了人们的赞扬和尊敬，被后世尊称为“隐士之祖”。战国时期的大思想家荀子曾经称赞他说：“许由善卷，重义轻利行显明。”意思是说许由是一个重义轻利的圣人，可见荀子对许由的敬重。