現在流傳著一些王守仁幼年的傳說。

成化十二年（1476）五歲時，他還不太會講話，家中都很著急。有個鄉間的“神人”，說他的名字“云”，泄漏天機。聞此言，祖父就把他的名字改成了“守仁”。說也奇怪，他這就開了口，而且還能背誦一些祖父讀的詩書。可見，王守仁幼年時雖很聰明，但是在口頭語言表述上，開口得比較晚。[17]或許祖父的吟詩誦讀，對少年的王守仁有著很深的影響，他在默默之中就受到熏陶。

大約在王守仁七八歲時，也就是成化十四五年間，父親王華從北京考試回來，因落榜了，只能繼續以授徒為生。

他帶著少年的王守仁，前往海鹽、德清、東陽等地，夜間就住宿在寺廟中。所以年少時，神仙佛道之類，在王守仁身上有相當明顯的印記。[18]

少年的王守仁從小就有過的這種奔波的經歷，浙東地區佛教、神仙道教的氛圍，對于他日后的人生以及思想的形成，有相當的影響。[19]

王華嚴格地培養王守仁，期待他能夠走科舉考試的道路，有所成就。當然，經書中的那些圣賢形象，也留在了王守仁的腦海里。或許是這樣教育的結果，王守仁在年輕的時期，就抱有不僅要讀書科舉，還要“學圣賢”的遠大志向。

在鄒守益《王陽明先生圖譜》中，這樣記載：

自是對書靜坐，思為圣學，而未得所入。公怪，問曰：“不聞書聲。”曰：“要做第一等事?！惫唬骸吧嶙x書登第，又何事耶？”對曰：“讀書登第，還是第二等事。為圣賢，乃第一等事。”[20]

而在《年譜》中，成化十八九年間，有這樣的記載：

先生豪邁不羈，龍山公常懷憂，惟竹軒公知之。一日，與同學生走長安街，遇一相士。異之曰：“吾為爾相，后須憶吾言：須拂領，其時入圣境；須至上丹臺，其時結圣胎；須至下丹田，其時圣果圓。”先生感其言，自后每對書輒靜坐凝思。嘗問塾師曰：“何為第一等事？”塾師曰：“惟讀書登第耳。”先生疑曰：“登第恐未為第一等事，或讀書學圣賢耳?！饼埳焦勚υ唬骸叭暧鍪ベt耶？”

以上兩條資料，都說明了早期王守仁并非只想科舉進身，而有著更高遠的志向。這不會是無稽之談吧。