这是一个宗教典故。在基督教的《圣经》(《旧约》)中说，上帝为了考验亚伯拉罕的忠诚，叫他带着他的独生子以撒到一个指定的地方，并把以撒杀了作燔祭，献给上帝。正当亚伯拉罕要拿刀杀他的儿子时，有个天使加以阻止，说：“现在我知道你是敬畏上帝的了，前面林子里有一只羊，你可用来‘祭献’上帝。”于是，亚伯拉罕便把小树林中的那只山羊抓来杀了，代替他的儿子献给燔祭。
在《新约》中又说，耶稣为救赎世人的罪恶，宁愿钉死在十字架上，作为“牺牲”(祭品)奉献天主，并嘱咐他的十二门徒，在他死后也照样去做。因为这是仿效古犹太人在向主求恩免罪时，往往杀一只羔羊替代自己供作“牺牲”，所以教会通常又称耶稣为赎罪羔羊。
有趣的是，在我国古代有以羊代牛受过的记载。《孟子?梁惠王上》中载：“王坐于堂上，有牵牛而过堂下者。王见之，曰：‘牛何之？’对曰：‘将以衅钟(注：新钟铸成，宰杀牲畜，取血涂钟的仪式)。’王曰：‘舍之！吾不忍其觳棘，若无罪而就死地。’对曰：‘然则废衅钟欤？’曰：‘何可废也，以羊易之。’”
齐宣王不忍心看见牛恐惧战栗的样子，而命以羊替换牛来祭钟。从此以后，“替罪羊”作为一个悲剧色彩的词汇就流传开来。