Der junge Johnnie Spencer und seine Frau Frances Spencer waren seit 1954 verheiratet. Nach der Geburt ihrer zwei Töchter Sarah, geb. 1955 und Jane, geb.1957 hatten die beiden noch einen Sohn namens John, der im Januar 1960 zur Welt kam. Doch leider starb der kleine John nur wenige Stunden nach seiner Geburt an einer Lungenschwäche. Für Frances und Johnny war das zweifellos ein harter Schicksalsschlag.
Doch die Dynastie der Spencer, die nur ein Sohn weiterführen konnte, musste unbedingt fortgesetzt werden und Frances wurde erneut schwanger. Am 01. Juli war es endlich soweit und Frances gebar eine Tochter. Die Eltern hatten sich so sehr auf einen Jungen versteift, dass sie noch nicht einmal einen Namen für das kleine Mädchen hatten. Später stand der Name fest: Das Mädchen sollte Diana Frances Spencer heißen.

Diana wuchs mit ihrer Familie im Haus Park House auf, welches indem Privatbesitz der königlichen Familie war und auf dem Gut Sandringham war. Park House besaß zehn Schlafzimmer und Salons. Zu dem Anwesen gehörte noch ein großes Grundstück, wo die Kinder toben konnten. Als Diana kurz vor ihrem dritten Geburtstag stand, wurde endlich der heißersehnte Sohn geboren. Die Eltern tauften ihren Sohn auf den Namen Charles Edward Maurice Spencer. Die Kinder wuchsen mit Kindermädchen auf und man achtete darauf, dass die Kinder gut erzogen wurden. Schließlich galt es den Adelsnamen Spencer alle Ehre zu machen.
Oft wurde angenommen, dass es zu ständigen Kontakten mit der Königsfamilie kam. Dies traf allerdings nicht zu, da die Königliche Familie Sandringham nur zu einem privaten Urlaub besuchte. Wenn die Königsfamilie anwesend war, kamen abundzu Viscount Linley, der Sohn von Prinzessin Margaret und die Prinzen Andrew und Edward zum Spielen vorbei.

Durch den Druck einen Stammhalter zu bekommen und den Tod ihres Kindes John im Jahre 1960 kam es häufig zu Spannungen zwischen den Eheleuten Spencers. Auch die Geburt von Diana und Charles konnte den Riss in der Ehe nicht mehr kitten. Hinzu kam, dass Frances sich nach jahrelanger Ehe fragte, ob dies alles gewesen sei und die Langeweile auf dem Lande setzte ihr auch noch zu. Wie in vielen unglücklichen Ehen kam es, dass Frances sich in den gemeinsamen Freund Peter Shand Kydd verliebte. Peter war ebenfalls mit Janet Shand Kydd verheiratet. Anfangs wollten die beiden noch gegen ihre Gefühle ankämpfen, doch es gelang ihnen nicht auf Dauer. Die Streitigkeiten von Johnnie und Frances wurden immer heftiger und leider wurde auch Diana oft Zeugin des Streites. Im September 1967 kamen Dianas älteren Schwestern auf ein Internat. Zur gleichen Zeit teilte Frances ihrem Mann mit, dass sie sich von ihm trennen wollte. Johnnie war wie vom Donner gerührt und musste der Trennung, die nur vorübergehend sein sollte, zustimmen. Am nächsten Tag holte Frances ihre zwei Kinder Diana und Charles ab und bewohnte mit ihnen zusammen in einem Londoner Appartement. Die Kinder besuchten ihren Vater regelmäßig am Wochenende.

Johnnie, der feststellte, dass seine Frau nicht mehr zu ihm zurückkehren würde, beschloss wenigstens, dass seine beiden jüngeren Kinder bei ihm bleiben sollten. Frances, die ahnungslos war, übergab ihm die Kinder, um das Weihnachtsfest mit ihrem Vater zu verbringen. Nach dem Fest blieben die Kinder bei ihrem Vater. Ein erbitterter Kampf ums Sorgerecht begann. Doch Johnnie hatte alle Trümpfe in der Hand. Er war adelig und dass bei der Scheidung des Ehepaares Shand Kydd, Frances als Grund für die Zerrüttung der Ehe angegeben wurde, machte ihren Versuch die Kinder zu bekommen zunichte. Noch ein weiterer bedeutender Grund war, dass die eigene Mutter von Frances, Lady Ruth Fermoy, gegen ihre Tochter aussagte. Frances hatte keine Chance. Der Vater bekam das Sorgerecht und im April 1969 wurde die Ehe der Beiden geschieden. Einen Monat später heiratete Frances ihren Geliebten Peter Shand Kydd.

Im Januar 1968 meldete Johnnie Spencer seine beiden Kinder in der Silfield School an. Diana wurde von der Lehrerin Jaen Lowe unterrichtet. Im Gegensatz zu ihrem Bruder, fiel Diana das Lernen nicht so leicht und sie wurde eifersüchtig auf ihren Bruder, der sie dann auch noch aufzog, indem er sie, nach einer TV-Schnecke, Brian nannte. Allerdings machte Diana das Lesen ganz besonders viel Spaß und auch in Kunst glänzte sie.
Als sie allerdings im September 1970 ins Riddlesworth Halls Internat kam, fühlte sie sich einsam und von ihrem Vater verlassen. Diana war im Internat sehr beliebt und machte eher Späße, als sich mit dem Lernen zu beschäftigen. Hier lernte sie die Liebe zum Tanzen und hier gewann sie sogar für ihre Hilfsbereitschaft, anderen gegenüber, den Legatt Cup. Trotz ihrer schulischen Leistungen bestand Diana die Aufnahmeprüfung für das West Heath-Internat, welches Diana im Jahre 1973 besuchte. Auch hier musste Diana festellen, das ihre Leistungen nicht mit denen ihrer Schwestern mithalten konnten. Das nagte sehr an Diana. Doch Diana fiel durch andere Eigenschaften auf. Das Internat legte großen Wert darauf, dass die Mädchen Tugend zeigten. Die Kinder betreuten ältere Menschen, Behinderte und Kranke. Diese Aufgabe war für Diana wie geschaffen. Auch durch sportliche Fähigkeiten glänzte Diana. Sie gewann mehrere Schwimmwettbewerbe und auch beim Tennis machte sie eine gute Figur.