刘彻以热衷求仙问鬼著称，先后七次巡海求仙，并在建章宫神明台建造铜仙人承露盘，高二十丈，为铜铸仙人伸掌捧铜盘玉杯，来承接天上的甘露，将甘露掺和玉屑饮服，以求得仙道长生。刘彻一生多次被方士所骗。元光年间就开始宠幸方士李少君。李少君炼丹未成而先死，刘彻仍然以为他“化去不死”。又有一个方士齐人李少翁因能为刘彻宠妃王夫人招魂而得宠，被刘彻拜他为文成将军。

后来他的方术不灵了，鬼神不至。于是他把帛书偷偷给牛吃下，假装不知道，说牛肚子里有异物，杀牛得书，上面讲得很怪。刘彻认识他的笔迹，问献牛的人，果然是伪造的，于是将李少翁处死，而将事隐秘下来。后来又有人推荐方士栾大，栾大提起李少翁被处死之事，刘彻不承认，说李少翁是吃马肝而死的。栾大被拜为五利将军、地士将军、天士将军、大通将军，封乐通侯，刘彻还把自己的女儿卫长公主嫁给他。后来栾大因为东海求仙失败而被腰斩。再后来，刘彻又宠幸一个叫公孙卿的方士。直到征和四年（前89年）求仙东莱失败后，刘彻才幡然悔悟，承认没有所谓仙人，命令遣散方士，停止求仙。

由于刘彻热衷求仙问鬼，所以关于他的神仙鬼怪故事也就非常多，例如他和西王母之间的青鸟使者、歌声绕梁、东方朔偷桃等故事，在甘泉宫和玉女下围棋、后因欲霸占玉女而被其唾面得病的故事，以及死后在市集卖玉杯的故事，等等。