Article
06 Mai 2016 | Incident technique SG Autorépondeur
SG Autorépondeur a rencontré un incident important dans la journée du 06 Mai 2016.
15h30 : Développement de la fonction d’enregistrement automatique des emails en mode « brouillon ». Cela vous permettra d’éviter de perdre votre travail de rédaction en cas de déconnexion ou d’inattention.
17h00 : Fin du développement et tests avant déploiement.
17h30 : Fin des tests et début du déploiement.
17h45 : Un premier bug est survenu en enregistrant en brouillon tous les messages. Des messages étaient enregistrés en brouillon sur d’autres comptes.
18h10 : Intervention corrective pour annuler la sauvegarde automatique en mode édition d’un email.
18h15 : Tentative de suppression des 47 000 messages créés en mode « brouillon ».
18h16 : Nouveau bug : l’intégralité des emails créés sur SG Autorépondeur ont été supprimés.
18h17 : Arrêt des tâches crons pour lever le risque d’impact sur les envois manuels et automatiques.
18h18 : Restauration immédiate de la dernière sauvegarde en date du 05 Mai 2016 à 22h20.
18h19 : Application de la restauration qui perturbera l’accès à SG Autorépondeur pendant 20 minutes.
18h41 : Fin de la restauration.
18h42 : Vérification de la base de données.
18h45 : Réactivation des tâches crons. Les envois qui étaient en cours reprennent.
18h47 : Stabilisation et analyse des retours clients.
Conclusion : Si vous avez créé ou modifié des emails aujourd’hui, votre travail est malheureusement perdu car nous avons été obligé de reprendre la dernière sauvegarde que nous avions, à savoir celle du jeudi 05 Mai 2016 à 22h. Cette sauvegarde concerne uniquement les emails, SMS ou lettres postales et nous nous excusons pour les désagréments occasionnés. La seule solution sera de recréer vos emails.
Cet incident ne se reproduira pas. Le reste de votre travail reste préservé ainsi que l’ensemble de vos contacts, de vos formulaires, de vos listes, de vos envois automatiques et de votre compte en général.
Il n’y a aucun impact sur vos envois manuels programmés aujourd’hui si vos emails ont été créés avant la date de cette sauvegarde.
[note note_color= »#fcf8d3″ radius= »12″]Si vous ne vous êtes pas connecté sur votre compte SG Autorépondeur durant le 06 Mai ou que vous n’avez pas créé ni modifié vos emails, vous n’êtes pas concerné par cet incident. [/note] [note note_color= »#fcf8d3″ radius= »12″]Point positif : Cela nous a permis d’évaluer la réactivité de nos techniciens en situation de crise ainsi que de nous assurer de la fiabilité des restaurations d’urgence. [/note]Comments (15s)
-
-
Bonjour. Si le message est parti entièrement ce matin, alors les statistiques peuvent être récupérées. Il faudrait alors que vous en fassiez la demande au support pour que nous puissions rechercher les envois effectués ce matin par votre compte. En revanche, le message devra recréé.
Justement, c’est une récupération de données que nous avons réalisé concernant les messages rédigés. Les sauvegardes sont réalisées tous les jours à 22h sur un serveur distant. Une sauvegarde complète prend environ 7h. En journée, les ressources sont mobilisées pour le fonctionnement normal de votre compte SG Autorépondeur.
-
-
Merci quand même. C’est très embêtant, mais l’essentiel est restauré.
Merci
-
Bonsoir. Nous renouvelons nos excuses pour cet incident exceptionnel.
-
-
Merci pour toutes ces explications qui nous permettent de mieux comprendre. Même dans les plus grandes entreprises cela arrive. L’essentiel est la réactivité de l’équipe et son implication à résoudre le problème. Et on a vu que l’équipe SGAR s’est impliqué au mieux possible.
-
Oui bien d’accord avec Monsieur, l’essentiel est qu’il y a réactivité.
Les aléas arrivent. Il suffit de bien réagir lors de ces-derniers.
Bravo -
L’équipe SG au top, même dans la tempête.
Peu de sociétés savent réagir avec autant de rapidité, de maîtrise et de transparence. Bravo. -
Préambule : je vous ai écrit un premier commentaire (assez long, comme celui-ci). Ayant fait une faute de frappe sur l’adresse de messagerie, j’ai eu droit à « veuillez inscrire une adresse de messagerie valide ». Je clique sur « retour » et mon message a disparu ! Chouette ! J’étais déjà énervé, ça arrange pas les choses…
Je ne suis pas d’accord avec Christian Bros. La réactivité, c’est la moindre des choses. Le problème ici, c’est l’anticipation. Quand une grue tombe sur un chantier, on ne se félicite pas de la vitesse avec laquelle on a appelé les secours, on analyse pourquoi c’est arrivé et on fait un grand mea culpa, et c’est tout. Je trouve vraiment déplacé que vous nous fassiez état du fait que le reste de notre travail est préservé (nos listes etc…). Heureusement que tout n’a pas disparu ! Sinon, il n’y aurait plus de SGA, tout simplement !
Et encore plus déplacé que vous nous ressortiez un point positif : l’évaluation de la réactivité des techniciens. Gardez ces observations en interne !
Comment se fait-il qu’une sauvegarde ne soit pas faite juste avant l’opération que vous décrivez à 15h30 ?
Je lis que la sauvegarde prend 7h, mais 22h la veille, c’est un peu loin. Et puis, lorsqu’une opération où il y a des risques comme celle-ci va se faire (j’imagine que vous ne faites pas ce genre de choses tous les jours), vous pourriez nous informer du risque et nous conseiller de faire nos propres sauvegardes, ou de ne rien faire pendant l’opération. Si on doit faire des sauvegardes de nos messages tous les jours, au cas où ça arrive, on n’en sort pas, et on ne fait pas appel à vos services pour avoir ce genre de travail à faire.
Quand on va avoir l’eau ou l’électricité coupé pendant 2 heures, on est prévenu bien à l’avance.Autre chose que vous paraissez ne pas avoir décelé :
un message qui devait être envoyé aujourd’hui à 17h, mais qui avait été écrit plusieurs jours en arrière, a été envoyé avec un tout autre titre. A la place de « Yoga Kundalini : le dernier cours en direct sera rediffusé, il s’est affiché « Résultat du Tirage « Partagez vos photos souvenirs » Réal Massé_BROUILLON ». Super !
Résultat : un taux d’ouverture de 12,6% au lieu de plus de 30% en moyenne sur ce genre de messages.
Je renvoie le même message avec mes excuses ?Ca fait donc 3 incidents dont nous sommes victimes en peu de temps. On espère vraiment que ça va s’arrêter là.
Cordialement.
Brice Cavallero-
Bonsoir. Nous comprenons votre colère… Il n’y avait aucune raison de faire une sauvegarde des messages ou de prévenir nos utilisateurs au vue de la nature de l’intervention prévue… Nous tirons les leçons de ces mauvaises expériences accumulées et de cette tempête vécue afin de prendre les dispositions nécessaires. De tels incidents n’étaient pas arrivés auparavant. En revanche, concernant votre message « BROUILLON » envoyé, pouvez-vous solliciter directement notre support à ce sujet afin que l’on puisse effectuer une investigation svp. Permettez moi de renouveler à nouveau mes excuses pour cet incident exceptionnel.
-
-
Bonjour,
merci pour la réactivité de l’équipe technique, des soucis ça arrive à tout le monde !Par contre ce que je ne comprend pas bien c’est pourquoi une nouvelle fonctionnalité est testée sur le site en production, et non pas en pré-production avant, afin de ne pas avoir ce genre de galère en « live » ?…
En tout cas ça va vous faire de l’expérience, c’est avec des erreurs qu’on progresse 😉
Bon courage !
Yann-
Bonjour Yann.
Des tests ont bien été réalisées avant le déploiement en production. C’est lors du déploiement que nous avons rencontré plusieurs difficultés. Une enquête nous permettra de déterminer l’origine du problème pendant le déploiement afin que des mesures soient prises.
-
-
Ok, je vois que le dernier message d’hier n’a pas été effacé, mais n’est pas encore validé… 11h du matin. On est samedi, mais on est le lendemain d’un gros bug !
-
Bonjour.
Afin de garantir un meilleur suivi sur votre compte,
nous vous invitons à poser votre question directement
sur le support dédié et réservé à nos utilisateurs :
http://sg-autorepondeur.com/connexion_membre.php?pagedestination=poserunequestionNous vous remercions pour votre compréhension.
Cela nous permettra en effet d’avoir tous les éléments
nécessaires à l’aide que nous pouvons vous apporter.
-
-
Grosse frayeur pour vous donc. Cela arrive à tout le monde et cela demande du sang-froid ainsi que quelques cierges d’avance…
Cela met en exergue l’intérêt d’avoir plusieurs sauvegardes par jour à mon avis, et sur des supports différents, cryptés et géographiquement éloignés. Est-ce bien le cas ?
Par ailleurs, une sauvegarde avant manipulation semble de mise et une suspension d’activité provisoire aussi, pendant l’intervention et l’implantation, fort probablement. Car la création de « brouillons » à tout le service a pu se juxtaposer avec la création de brouillons par des usagers au même moment. Ce n’est évidemment qu’une hypothèse mais il me semble que toute activité en cas d’implantation de ce type devrait être suspendue.-
Bonjour. Nous effectuons 9 sauvegardes par jour sur un serveur distant. Il se trouve dans le même Datacenter pour conserver la rapidité au niveau des échanges de données. Cela permet de limiter les ralentissement et d’assurer une restauration urgente en un minimum de temps. En parallèle, une sauvegarde est également effectuée régulièrement dans un endroit géographiquement éloigné. Chacun de nos utilisateurs a également la possibilité d’effectuer ses propres sauvegardes sur son ordinateur et il pourra très bientôt les synchroniser avec un compte DropBox ou Google Drive.
-
Je suis furieux !
J’ai mis un temps fou pour créer un message qui était parti ce matin
c’est la première fois que je faisais cela et j’ai perdu toutes mes statistiques de suivi
je sais que vous pouvez récupérer les informations puisque vous indiquez dans votre système que vous facturez les récupérations de données malencontreusement détruits par l’utilisateur
je compte sur vous pour ne pas me laisser tomber
B.T.