毗山位于湖州城东，由于近城，所以名毗山。毗山风景优美，吸引了历代文人。南梁时，吴兴太守柳恽在山上筑毗山亭、读书台。五代时，钱氏随山势筑园，岩洞秀奇。宋代，吴约仲在毗山筑“旷远亭”。明代，尚书潘季驯筑毗山园。毗山山清水秀，北麓有毗山漾，碧波荡漾；南有苕溪，舟楫来往；东北有塘河，沿山环绕。登毗山，远眺太湖，近瞰湖城均十分相宜。南宋周密在文中说：“可喜下瞰太湖，手可揽也。”今山麓至山顶有宽敞石阶，山腰又建和章亭，游人可坐息。山顶有慈云寺，慈云寺原是潘季驯家庙，后改建而成。中轴线上天王殿、大雄宝殿、圆通殿依山势而建，主供缅甸大玉佛。
每年农历二月二十九日是观音生日，也是踏青郊游的好时光。这一天，湖州城及近郊数万男男女女都要踏青游毗山，朝拜观音。解放前，就有许多百里之外的香客赶来朝拜。随着寺庙的扩建，及周边环境的改善，观音庙会的规模不断扩大。每届庙会的前一个星期，庙内僧众便开始庙会的筹备工作，很多外地信徒在庙会的前几天便云集为观音娘娘祝寿。届时僧众沐浴更衣，从清晨起便诵唱佛经。
天亮之前，烧香许愿之人便络绎不绝，殿堂庙廊里的善男信女摩肩接踵，鞭炮之声此起彼伏，不绝于耳，及至天亮。后来者只能将鞭炮香烛投向庙外的铁炉焚烧，有的就跪在庙门及路旁向观音娘娘祈求或许愿，三拜九叩以表诚心。进香时，有目不斜视的顶礼膜拜者，也有几步一跪一叩头的虔诚信徒；有心满意足的还愿者，也有怀揣心事来祈求佑护的善男信女。庙宇周边商铺林立，游人如织，有耍猴的、卖艺的、说大鼓书的、卖纪念品的，更多的是来庙会看热闹的，顺便许个心愿，可谓人声鼎沸，热闹异常。这一风气由来已久，已成为湖州民间风俗之一。