在南宋年间，灵隐寺附近有个繁华的小镇，名为清平镇。镇上人口众多，商贾云集，平日里热闹非凡。然而，近日却有一桩怪事搅得人心惶惶。
镇东头有个富户，名叫赵员外。这赵员外平日里为富不仁，仗着家中有钱有势，常常欺压百姓。最近，他家闹起了“鬼怪”，每到夜晚，府中便会传出凄惨的哭声和怪异的声响，吓得家中下人夜不能寐。赵员外请了好些道士和尚来做法事，可都不见成效，那“鬼怪”依旧闹得欢。
一日，济公摇着破扇子，哼着小曲儿，慢悠悠地来到了清平镇。他衣衫褴褛，脚蹬一双破草鞋，浑身散发着一股酒气，看起来疯疯癫癫。镇上的人大多都认识这位疯和尚，见他来了，有的捂嘴偷笑，有的则远远避开。
济公在镇上转了一圈，听到人们都在议论赵员外家闹鬼的事，心中便有了计较。他径直朝着赵员外家走去，到了门口，被看门的家丁拦住了。家丁见他这副模样，一脸嫌弃地喝道：“哪来的疯和尚，赶紧走开，别在这儿捣乱！”济公却不恼，嬉皮笑脸地说：“我乃降龙罗汉转世，特来为赵员外驱鬼，你们若不让我进去，这鬼可就除不了啦！”
家丁们听他这么说，面面相觑，不知道该不该放他进去。这时，赵员外听闻门口有动静，便走了出来。他见济公这副打扮，心中虽有些怀疑，但想着如今也没有别的办法，说不定这疯和尚真有点本事，便让家丁把济公请了进去。
济公进了赵员外家，东看看西瞧瞧，嘴里还不时嘟囔着：“这鬼气倒是不小，不过在我降龙罗汉面前，定是藏不住的。”赵员外在一旁陪着笑脸，说道：“大师，只要您能帮我把这鬼怪除了，我定有重谢。”济公摆了摆手说：“重谢就不必了，你先带我去那闹鬼的地方看看。”
赵员外带着济公来到了后院的一间厢房，这便是闹鬼最凶的地方。刚一靠近，济公便闻到一股淡淡的脂粉味，心中顿时有了数。他装模作样地在屋里转了一圈，突然大声喊道：“大胆鬼怪，还不速速现身！”话音刚落，只见从床底下钻出一个年轻女子，吓得瑟瑟发抖，跪在地上连连求饶。
赵员外见状，大吃一惊，喝道：“你这女子是从哪里来的？为何在我府中装神弄鬼？”那女子哭哭啼啼地说：“老爷，小女子名叫翠儿，本是镇外一户人家的女儿。前些日子，您府上的管家去我家收租，见我生得有几分姿色，便起了歹心，将我强行掳来，说要献给您做小妾。我不从，他便把我关在这屋里，还威胁我说若敢声张，便杀了我全家。我实在害怕，只好想出装鬼的办法，希望能引起别人的注意，救我一命啊。”
赵员外听了，脸色一阵红一阵白。他本想狡辩几句，可济公却在一旁冷笑道：“赵员外，你平日里作恶多端，如今报应来了吧。这女子本是无辜之人，你却纵容手下为非作歹，今日若不给她一个公道，这鬼怪怕是永远也除不了。”
赵员外见事情败露，又怕济公真的降不住“鬼怪”，惹来更大的麻烦，只好硬着头皮说：“大师，是我管教不严，这女子就放她回去吧，租金我也免了。”济公却摇了摇头说：“放她回去容易，可你这些年在镇上欺压百姓，欠下的债可不少。今日你得当着全镇百姓的面，发誓以后不再为非作歹，还要拿出些钱财来救济穷人，否则这‘鬼怪’还是会找上门来的。”
赵员外无奈，只好答应了济公的要求。第二天，他在镇中心的广场上摆下香案，当着全镇百姓的面发誓以后改过自新，还拿出了一大笔钱财，分给了镇上的穷苦人家。翠儿也得以安全回家，与家人团聚。
从那以后，赵员外果然收敛了许多，不再像以前那样欺压百姓。而济公智救无辜女的故事，也在清平镇上流传开来，人们都对他更加敬重，称赞他是活菩萨转世。济公依旧摇着他的破扇子，哼着小曲儿，四处云游，继续着他的行侠仗义之旅。