Elfvik är omnämnt första gången år 1381 som “Aellewijk” vilket kan betyda “viken där alar växer”. Från 1500-talet till 1774 ingick Lidingön i ätten Banérs ägo, genom godset Djursholm. 1774 bjöds ätten Banérs gårdar ut till försäljning, eftersom man hamnat på obestånd. Hovgulddragaren Petter Widman köpte då Elfvik. Året därpå lät han påbörja byggandet av den mangårdsbyggnad som år 1811 stod färdig i sin nuvarande storlek. Initialerna “P.W.” och byggåret 1775 på byggnadens norrsida tillkom senare.

Under 1780-talet var skalden Carl Michael Bellman ofta gäst hos Widmans. Den 6 juli 1788 skrev han den s.k. Lidingösången, “Glada bygd, så täckt belägen”, på just Elfviks gård. Melodin är samma som till “Fjäriln vingad”. Sedan många år arrangerar Lidingö Hembygdsförening en trädgårdsfest på Elfvik just den 6 juli.