据旧地方志载：历朝历代以来，这座钟鼓楼多次遭到雷劈、火烧，历朝是屡毁屡建，直到元朝时知县杨绍祖最后一次重修大门、仪门，但没再修钟鼓楼，此等状况，一直延续到二十世纪五十年代最后拆除城墙。这是怎么回事呢？为什么后来历代地方官都不再重建钟鼓楼？多少年来，在城周民间广泛流传着这样一个传说―
当年雄踞城中心最高处县衙大门上的钟鼓楼，广厦飞檐，铜铃悦耳，画柱高大，弯顶彩绘，围栏迥廊，斗拱重檐，显得富丽堂皇，很是气派，楼中高卧着一面碾盘大小、半人多高的牛皮大鼓，便是此楼的用处所在。站在钟鼓楼上扶栏四望，古城景物尽收眼底；县衙东侧、学宫、圣庙、城隆庙、关帝庙、刘猛将军庙等一大群古色古香、雕梁画栋的高大建筑物鳞次栉比，错落有致，其中还有燕儿湾的一泓碧水绿地，共同构成这里苍松翠柏，绿树掩映，粉墙青瓦，小径通幽。池水边拱桥亭榭，垂柳丝丝，树上莺喉婉转，水面荷萍姚嫣，水中鱼儿嬉戏，真是古城中一方极富诗情画意、闲适幽雅的所在。楼北，是县衙庞大院落内的幢幢房屋，直抵真武庙前。西望，即城各大豪门世族的宅院祠堂和跨街而立的诸多牌坊直抵西门外商埠。放眼东南，无影山上桃花姚紫嫣红，登高埠畔山花烂漫。极目东南，驯虎山玲虎锯龙盘，嵘山翠峰丽帕云锁雾绕，青山幽谷时隐时现… … 古城中的钟彭楼，确是一处游人雅士观景赋诗的好去处。但是世上很多事情都是好事多磨，难遂人愿，这座钟鼓楼从建成伊始就多灾多难命乖运外，在它存在的数百年间，不知遭了多少次雷轰电击，到了后来，成了即墨城中一个令人谈虎变色的地方。
传说有一年夏天，一个闷热异常的午后，倏忽天气突变，但见黑云压顶，天昏地暗，雷声隆隆，转瞬之间一场雷阵大雨劈头而下。在电闪雷鸣中，只见一条一丈多长的巨大蝎虎(壁虎)从城陛庙方向被炸雷追了过来，惊惶失措的窜跳着掠上了钟鼓楼，身后的一团大火球也随之紧跟着跃上了楼里，一阵眩目的强光过后，接着就是震耳欲聋的劈雷声，轰炸之声惊心动魄，整座即墨古城都在颤抖中!这只大蝎虎抱着钟鼓楼上的内外八根大立柱转圈躲藏，个个巨雷跟着把这些巨柱炸得木片横飞，熊熊大火随即腾起。巨蝎看到无妙可以藏身，便一狠心把一条数尺长的粗大尾巴甩给了大火球。就在巨雷对这段大尾巴实施狂轰滥炸的当儿，大蝎虎趁机翻墙越脊向东南嵘山方向跑去，待雷电把这段大尾巴炸成肉酱时，这条“金蝉脱壳”的大蝎虎早己跑得无影无踪了… …
又是一年三伏天的一场雷阵雨，一条数丈长的金色大蜈蚣被炸雷从真武庙中追了过来，大精灵围着钟鼓楼转了一圈，响雷也不住点的围楼周劈了一圈，雷声中又是木屑横飞，大火弥漫。惊惶失措的大蜈蚣又飞屋掠脊的扑到文庙院内的一株粗大柏树上，炸雷紧追不舍，一声巨响，这株古柏又被一劈两半!大蜈蚣无奈之下，疾速的向盟旺山方向逃去，炸雷也“隆隆”不断的一路向盟旺山方向响去… …
这样耸人听闻的惊险故事钟鼓楼不知道经历了多少次，每次都把钟鼓楼炸了个粉身碎骨，使即墨地方官彻底失去了信心，感到天意难违，只得作罢，从此县衙大门上再也不建钟鼓楼了。后来历朝的地方官谁也没敢再去惹事生非，再提重修钟鼓楼一事…