Virginia hatte das Glück, in einer freidenkenden Familie aufwachsen zu können. Ihr Vater, Sir Leslie Stephen (1832-1904), entstammte zwar einer langen Reihe puritanischer Vorfahren, hatte in Cambridge das geistliche Studium absolviert und war Pfarrer der Kirche von England geworden; 1862 verlor er aber seinen religiösen Glauben und arbeitete fortan nur noch als Tutor in Trinity Hall. Sein Hauptinteresse galt der Aufklärungsphilosophie des 18. Jahrhunderts. Nach der History of English Thought in the Eighteenth Century, plante er eine originelle philosophische Abhandlung über das Jahrhundert der Aufklärung zu schreiben. 1864 verließ er Cambridge, zog nach London und arbeitete als freier Autor und Publizist. Die ausgewiesene Schönheit Julia Duckworth (1846-95) veranlasste Leslie 1878 ein zweites Mal den Bund der Ehe einzugehen. Verwittwet wie er brachte sie drei Kinder mit in die Familie: George, Stella (1869-97) und Gerald; die in je besonderer Weise einen wesentlichen Einfluss auf Virginia ausüben sollten. Als Virginia am 25. Januar 1882 in London zur Welt kam, arbeitete ihr Vater gerade an der Herausgabe der Dictionary of National Biography, einem vielbändigen Werk, das erst 1900 abgeschlossen werden konnte und zu dem er selbst 300 biographische Artikel beitrug. Zu der Fleißarbeit hatte sich Leslie entschließen müssen, da es ihm für seine philosophische Arbeit über The Science of Ethics an Kreativität mangelte. Hatte er doch herausarbeiten wollen, dass das ,,Gute`` primär Überlebenswert für die Gesellschaft und nicht für das Individuum hätte. Virginia war das dritte von vier Kindern der Stephens: ihre Schwester Vanessa war bereits drei und der Bruder Adrian ein Jahr alt, während das jüngste Kind Thoby ein Jahr später das Licht der Welt erblickte. Hausarbeit und Erziehung oblagen hauptsächlich den Bediensteten. Dabei musste Julia aber ständig präsent sein, Anweisungen erteilen und mit Rat zur Seite stehen, während Leslie fast ausschließlich in seiner geistigen Welt, inmitten seiner Bücher und Manuskripte, im Kreis seiner Freunde lebte, wie Waldmann hervorhebt. Im Gegensatz zu ihren Brüdern genossen die Schwestern keine Schulbildung. Das war auch 100 Jahre nach Jane Austen im bürgerlichen Mittelschichtsmilieu noch immer nicht üblich für Mädchen. Zunächst unterrichteten sie die Eltern, später kam Unterricht in Zeichnen und Musizieren, Tanzen und Reiten sowie eine Unterweisung in die für Damen korrekten gesellschaftlichen Umgangsformen hinzu. Virginia lernte erst mit drei Jahren das Sprechen, nahm es dann aber ernster und genauer, so dass sie sich bereits in ihrer Jugend als zukünftige Schriftstellerin sah. Und Vanessa, ganz dem Schönen zugeneigt, wollte einmal Malerin werden. Die reichhaltige Bibliothek ihres Vaters bot den wissbegierigen jungen Damen natürlich vielfältiges Anschauungsmaterial und Lesevergnügen für das Selbststudium des Bildungskanons in Malerei und Literatur. Und darüber hinaus waren es besonders Frauen-Biographien und die Aufklärungs-Philosophie, die Virginia in ihren Bann zogen. Ihre Halbbrüder Duckworth lebten für die Schwestern noch um 1860, wie Waldmann zitiert: Wir kämpften gegen sie als Repräsentanten einer Ära.
Virginia wuchs in dem geräumigen, aber auch eng-verwinkelten und dunklen Haus der Duckworth in 22 Hyde Park Gate, Kensington, auf. Lichtblicke während der ersten zehn Jahre waren die jährlichen Urlaube im Talland House, Cornwall. Das Haus in St. Ives hatte Leslie 1882 als Sommersitz der Familie gekauft. In der ersten Nacht, hinter den gelben Rouleaus, das Brechen der Wellen zu hören, blieb ihr lebenslang als prägende Erinnerung im Gedächtnis, wie Waldmann hervorhebt. Goldman und Gordon ergänzen: She heard ``the waves breaking, one, two, one, two, ... behind a yellow blind''. Lying half asleep, half awake in her warm bed, she heard that rhythm and saw a moment's light as the wind blew the blind out and knew ``the purest ecstasy I can conceive''. She is fond of describing it to herself, she confesses, as ``the feeling ... of lying in a grape and seeing through a film of semi-transparent yellow''. Dieses bereits im überaus sensiblen Kind gewachsene Gefühl, aufgrund der faszinierenden Wirkung von Windspielen mit Licht und Farben sowie mit den Geräuschen der an den Strand brandenden Wellen, hinter den Rouleaus gleichsam wie von einem halbdurchlässigen Film von der Welt getrennt zu sein, bildet den sinnlichen, kreativen Kern all ihrer Schreibkunst. Ebenso wie das Unsichtbare, Unausgesprochene und Verlassene sollten darin das Missverstehen, Schweigen und Begehren Gestalt annehmen. Bewusstseinsinhalte, Sinneseindrücke, Farben und Geräusche galt es sprachlich auszudrücken, um hinter den Film vorzudringen. Nicht Plot, Dialoge und Dramaturgie, die mehr oder minder spannende Handlungsfolge war entscheident, sondern Stimmung, Reflexion und Erzählkunst sollten beim Schreiben oder Lesen Gefühle, Gedanken und Vorstellungen anregen. Gordon fasst die Biographie der Schriftstellerin zusammen: Virginia's Imagiantion was shaped first by a natural scene, the Cornwall shore, then a social scene, Victorian London, and then as she grew older, she began to perceive the originality of her father and mother. Zum christlich-konservativen Viktoriansimus gehörte auch die sexuelle Verklemmtheit und die Aufklärung bezog sich vorerst nur auf die Religion, nicht auf die Sexualität. Mit etwa sechs Jahren hatte Virginia die Fummeleien ihres 12 Jahre älteren Halbbruders Gerald zu erdulden, die auch vor ihrem Intimbereich nicht halt machten. Und als Teenager artete die fürsorgliche Zuneigung des 14 Jahre älteren Halbbruders George in eher tückisch erotische Spielereien aus, wie Bell zu berichten weiß. Demgegenüber empfand die verstörte Virginia umso mehr Sympathie für ihre Halbschwester Stella und war entsprechend deprimiert als die so unerwartet 1897 verstarb. Und das war nicht der einzige Todesfall eines nahen Angehörigen, den Virginia zu verkraften hatte: 1895 war bereits ihre Mutter gestorben und 1904 folgte der Vater. In der so labilen Übergangsphase der Pubertät führten die sexuellen Belästigungen und die Todesfälle ihrer weiblichen Bezugspersonen Virginia in eine Krise, in der sich erstmals die Symptome ihrer Geisteskrankheit zeigten, die sich später zu einer psychotischen Schizophrenie mit manisch-depressiven Schüben auswuchs. Der Zusammenhang zwischen Genie und Wahnsinn, außergewöhnlicher Kreativität und pathologischer Hirnphysiologie, war zum Ende des 19. Jahrhunderts auch bei Vincent van Gogh, Friedrich Nietzsche und August Strindberg in Erscheinung getreten.