Céleste ne sort pour la première fois de son village qu’à 22 ans, pour suivre son mari à Paris. Céleste se sent isolée. Son mari, Odilon Albaret, chauffeur de taxi, n’est pas souvent à la maison. Un de ses clients réguliers, un certain Marcel Proust, lui propose d’engager sa femme pour porter des livres dédicacés à leur destinataire. C'est ainsi que Céleste Albaret commence à travailler chez Proust en 1913.
Lorsque la guerre éclate en 1914, Odilon est mobilisé, tout comme le valet de chambre de Marcel Proust. Ce dernier propose alors à Céleste de le remplacer et de s’installer chez lui au 102 boulevard Haussmann.
Alors, pour "la petite campagnarde", comme elle se surnomme, une nouvelle vie commence. Elle vit nuit et jour avec Proust, pendant neuf années jusqu'à la mort de ce dernier en 1922.
Au début de la guerre, Marcel Proust, réformé en raison de sa mauvaise santé, quitta Paris pour Cabourg et emmena Céleste avec lui. Elle découvrit alors un autre monde, la culture, le raffinement, la modernité.
Dans l'après-guerre, Proust vit de plus en plus reclus. À sa manière, Céleste participe, en rédigeant sous sa dictée, en rassemblant et vérifiant ses informations, en assurant une part de ses contacts avec le monde extérieur ou en lui inspirant certains traits de caractère, à l'achèvement de son œuvre romanesque.
À la mort de Proust, Céleste ouvre avec son mari l'hôtel Alsace Lorraine, rebaptisé hôtel La Perle, situé 14, rue des Canettes, dans le VIe arrondissement de Paris, puis elle est chargée, de 1954 à 1970, de la garde du Belvédère, la maison de Maurice Ravel à Montfort-l'Amaury. Oubliée de tous, elle survit à la quasi-totalité des personnages célèbres qui, grâce à Proust, avaient entouré sa jeunesse. Elle est « redécouverte » dans les années 1960, notamment par Roger Stéphane, à l'occasion de l'émission Marcel Proust, portrait-souvenir (1962), et par le célèbre collectionneur et bibliophile Jacques Guérin. Sur les conseils de celui-ci, elle livre ses souvenirs, qui sont mis en forme dans Monsieur Proust.
Par son dévouement à l'homme et par son respect pour le créateur, Céleste Albaret est considérée comme le modèle des auxiliaires de l'écrivain. Peu avant sa mort d'ailleurs, en hommage à une personnalité qui a participé intimement à l'histoire de la littérature et qui a grandement contribué à la préservation de ses textes, Céleste Albaret est faite commandeur de l'ordre des Arts et des Lettres.
Dans Sodome et Gomorrhe, un personnage porte le nom de Céleste Albaret. Marcel Proust a offert à Céleste un poème qui suffirait à lui seul à montrer dans quelle estime il la tenait :
« Grande, fine, belle et maigre,
Tantôt lasse, tantôt allègre,
Charmant les princes comme la pègre,
Lançant à Marcel un mot aigre,
Lui rendant pour le miel le vinaigre,
Spirituelle, agile, intègre,
Telle est la nièce de Nègre. »
Elle est enterrée au cimetière de Montfort-l'Amaury aux côtés de son mari et de sa sœur, Marie Gineste, qui fut également au service de Marcel Proust.