Kündigen bzw ummelden musst du all das, was du selbst, direkt bezahlst. Also EDF, Telefon und Mietvertrag.
Die Kosten für Wasser und Müll bezahlst du sicher (zumindest kenn ich es nicht anders) an deinen Vermieter. Müll bezahlst du anteilig bis zum Ende des Mietvertrags, den/die Wasserzähler solltest du am besten gemeinsam mit deinem Vermieter bei der Schlüsselübergabe ablesen. Was ist bei dir mit Heizung? Etagenheizung? Dann auch beim Gasversorger abmelden. Wenn es eine Zentralheizung gibt, wie schon beim Wassser alle vorhandenen Zähler ablesen.
Du schreibst zwar nicht, was du bei der AXA versichert hast; aber sicher kannst du die Versicherung auf die neue Wohnung umschreiben lassen.