Bonjour,

J'ai un soucis avec gsync. Je pense que ce soucis n'est pas récent mais je
m'en rends compte que maintenant...
Je suis en mode expert avec Ubuntu. Je n'ai eu aucun soucis à l'install, il
se lance bien et il fait bien ce que je lui demande dans la sauvegarde.
Mais... il s'arrête sans que je comprenne pourquoi ???

Alors déjà, j'avais un premier soucis, c'est qu'il ne démarrait pas au 
démarrage du serveur. Enfin il démarrait mais faisait une erreur :
Apr 10 12:46:42 www2 gsync: <gsync/engine.py:542> Setting up
Apr 10 12:46:42 www2 gsync: <INFO> Setting up local_backup
Apr 10 12:47:17 www2 gsync: <INFO> Gandi sync daemon started
Apr 10 12:47:18 www2 gsync: <WARN> Queue full, resyncing
Apr 10 12:47:18 www2 gsync: <INFO> resync of /home for 
Repository(local_backup)
Apr 10 12:47:18 www2 gsync: <INFO> resync of /home done for 
Repository(local_backup)
[...] (Je passe quelques lignes identiques pour d'autres dossiers)
Apr 10 12:47:46 www2 gsync: <WARN> Queue full, resyncing
Apr 10 12:47:46 www2 gsync: <INFO> resync of /home for 
Repository(local_backup)
Apr 10 12:47:46 www2 gsync: <INFO> resync of /home done for 
Repository(local_backup)
[...] (Je passe quelques lignes identiques pour d'autres dossiers)
Apr 10 12:47:48 www2 gsync: <INFO> Ignoring no-change wclose on 
/var/run/proftpd/proftpd.scoreboard
Apr 10 12:47:48 www2 gsync: <ERR> <GsyncWorker(Thread-1, started)> <type 
'exceptions.IndexError'>:pop from empty list

Problème que j'ai résolu en changeant la priorité de démarrage pour le 
lancer plus tardivement. Maintenant il démarre bien en même temps que le 
serveur.
Mais ensuite :

Par exemple pour la journée de samedi, il s'est lancé à l'occasion d'un
reboot vers 13h55. Et à 2h00 du matin, j'ai ça :
Apr 11 02:00:23 www2 gsync: <WARN> Queue full, resyncing
Apr 11 02:00:23 www2 gsync: <INFO> resync of /home for 
Repository(local_backup)
Apr 11 02:00:23 www2 gsync: <INFO> resync of /home done for 
Repository(local_backup)
[...] (Je passe quelques lignes identiques pour d'autres dossiers)
Apr 11 02:00:41 www2 gsync: <INFO> Ignoring no-change wclose on 
/var/run/proftpd/proftpd.scoreboard
Apr 11 02:00:41 www2 gsync: <ERR> <GsyncWorker(Thread-1, started)> <type 
'exceptions.IndexError'>:pop from empty list

puis plus aucune trace de gsync...
Des idées ?

Je viens de changer le log en mode debug et j'ai relancé manuellement voir 
si ça apporte plus d'infos.

Manu

J'apporte une info complémentaire :
Mon gsync disparaît du log (plus aucune info) dans la nuit de samedi à 
dimanche à 2h du matin (donc le 11/04 à 2h00).
Jusqu'à ce 12/04 au matin, plus aucune info gsync dans les logs.
Et pourtant !! J'ai dans mon dossier de sauvegarde des dossiers datés du 
11/04 à 4h43 (correspondant à la sauvegarde du jour 1day.1 (j'en conserve 
3)), un autre dossier du 11/04 à 22h45 (correspondant à 3hours.3 (j'en 
conserve 3 aussi)), 12/04 à 1h45 (3hours.2), 12/04 à 1h46 (3hours.1 et 
..day.soon), etc....
Bref les dossiers sont créés quand même. J'ai alors pensé que ça
n'était que 
le log qui buggait. Mais visiblement non car si je consulte les dossiers, 
ils sont bien remplis mais avec les données d'avant le bug dans le log.

Je sais pas si je suis bien clair...
Je donne un exemple : je sauvegarde mes logs (/var/log). Et bien après le 
bug, tous les dossiers de sauvegarde qui ont été créés ont bien les logs

mais avec les données d'avant le bug. C'est à dire que si je consulte mon 
syslog (par exemple) du dossier de sauvegarde du 11/04 à 22h45, celui-ci
est 
présent mais avec les données du 11/04 jusqu'à 2h00 du matin (date à 
laquelle gsync a fait sa dernière sauvegarde avant de planter).

J'ai même l'impression qu'il backup les nouveaux fichiers créés mais ne 
backup pas les fichiers qui ont été modifiés... Mais j'arrive pas à
trouver 
d'exemple où je suis sûr de moi. J'ai juste des soupçons...

Manu

Waouu ! J'arrête le log en mode debug car bien trop verbeux. J'ai saturé
mon 
disque en quelques minutes... :o(
Du coup ça a saturé avant que gsync plante... Je ne peux pas laisser
tourner 
comme ça... Tant pis...

Infos complémentaires : il plante toujours à 2h du mat...

Le 13 avr 2010 à 09:24 CEST, news.gandi.net a écrit :

Infos complémentaires : il plante toujours à 2h du mat...

Bonjour Manu,

Je suis exactement dans la même situation que toi... gsync semble
fonctionner car les fichiers le répertoire de backup est bien mis à jour
avec les rotation mais finalement les modification des fichiers source ne
sont pas prises en compte à partir du moment pour le syslog fait
apparaître l'erreur !

As-tu avancé et trouvé une solution ?

Guillaume

As-tu avance et trouve une solution ?

Bonjour Guillaume,

J'ai vu avec le support de Gandi. ils m'ont fait faire quelques tests et 
remonter l'info à l'équipe de dév. Mais plus trop de nouvelles.
N'hésite pas à voir aussi avec le support de ton côté. Je pense que plus
on 
sera nombreux à demander, plus ils auront d'infos pour résoudre le
problème 
et plus ça bougera vite (si la demande est importante).

En attendant, je relance gsync par la crontab toute les nuits à 2h20... Et 
je jette un oeil de temps en temps quand j'y pense pour voir si il tourne 
bien.
Mais c'est pas hyper fiable du coup... :(

Je n'ai pas eu le temps de chercher une autre solution... Mais j'ai peur que

ça devienne incontournable.

Si il y a d'autres utilisateurs de Gsync, je les invite à vérifier de
toute 
urgence que leur sauvegarde sont fiables ! (et à contacter le support le
cas 
échéant).

Manu

Bonjour,

En effet le même problème ici tous les soirs à 2h :
Apr 26 02:00:14 darkserver gsync: <INFO> resync of /var/ for 
Repository(system)
Apr 26 02:00:19 darkserver gsync: <ERR> <GsyncWorker(Thread-2, started)> 
exceptions.IOError:[Errno 22] Invalid argument
Apr 26 02:00:23 darkserver gsync: <INFO> Snapshoting old version of 
Repository(system)
Apr 26 02:00:25 darkserver gsync: <ERR> <GsyncWorker(Thread-2, started)> 
exceptions.IndexError:pop from empty list


Thierry


Le 26/04/2010 16:55, news.gandi.net a écrit :

As-tu avance et trouve une solution ?

Bonjour Guillaume,

J'ai vu avec le support de Gandi. ils m'ont fait faire quelques tests et
remonter l'info a l'equipe de dev. Mais plus trop de nouvelles.
N'hesite pas a voir aussi avec le support de ton cote. Je pense que plus
on
sera nombreux a demander, plus ils auront d'infos pour resoudre le
probleme
et plus ca bougera vite (si la demande est importante).

En attendant, je relance gsync par la crontab toute les nuits a 2h20... Et
je jette un oeil de temps en temps quand j'y pense pour voir si il tourne
bien.
Mais c'est pas hyper fiable du coup... :(

Je n'ai pas eu le temps de chercher une autre solution... Mais j'ai peur
que

ca devienne incontournable.

Si il y a d'autres utilisateurs de Gsync, je les invite a verifier de
toute
urgence que leur sauvegarde sont fiables ! (et a contacter le support le
cas
echeant).

Manu

Le 26 avr 2010 à 16:55 CEST, news.gandi.net a écrit :

As-tu avance et trouve une solution ?

Bonjour Guillaume,

J'ai vu avec le support de Gandi. ils m'ont fait faire quelques tests et 
remonter l'info à l'équipe de dév. Mais plus trop de nouvelles.
N'hésite pas à voir aussi avec le support de ton côté. Je pense que
plus
on 
sera nombreux à demander, plus ils auront d'infos pour résoudre le
problème 
et plus ça bougera vite (si la demande est importante).

En attendant, je relance gsync par la crontab toute les nuits à 2h20...
Et 
je jette un oeil de temps en temps quand j'y pense pour voir si il tourne 
bien.
Mais c'est pas hyper fiable du coup... :(

Je n'ai pas eu le temps de chercher une autre solution... Mais j'ai peur
que

ça devienne incontournable.

Si il y a d'autres utilisateurs de Gsync, je les invite à vérifier de
toute 
urgence que leur sauvegarde sont fiables ! (et à contacter le support le
cas 
échéant).

Manu

Merci pour ta réponse Manu. Comme tu dis pas très stable tout ça alors
que c'est ce que l'on demande à un système de sauvegarde : nous apporter
de la stabilité !

De mon côté, après 3 jours d'investigation, je crois que je m'en suis
sorti mais je n'ai malheureusement pas de solution viable... En fait, je me
suis rendu compte que si je faisais tourner uniquement les sauvegarde de
backup sql c'était bon. Du coup, j'ai ajouté les un après les autre les
site que je souhaitais sauvegarder et j'ai pu ainsi localisé mon problème
sur un site spécifique qui est cacti (gestion de graph MRTG).

Peut-être une conclusion : est-ce que le problème ne proviendrait pas d'un
synchro sur un fichier en cours de modification (mes fichiers mrtg sont
généré toutes les minutes !) Vous pourriez peut-être rechercher un cron
qui tourne à 2h (rotation des log par exemple) puis le décaler à 1h45...

Je vous souhaite de vous en sortir et surtout que le staff de gandi prenne
en compte nos situations critiques qui ne sont, à mon avis, pas isolées !

Guillaume

Peut-etre une conclusion : est-ce que le probleme ne proviendrait pas d'un
synchro sur un fichier en cours de modification (mes fichiers mrtg sont
genere toutes les minutes !) Vous pourriez peut-etre rechercher un cron
qui tourne a 2h (rotation des log par exemple) puis le decaler a 1h45...

Non... Déjà vérifié et je n'ai aucune tâche à 2h. La rotation des logs
est 
plus tardive.
Ca ne s'arrête d'ailleurs pas forcément à 2h... C'est fréquente mais ça

arrive aussi parfois à d'autres moments de la journée.
Par exemple 6h30 ce matin alors qu'il avait déjà planté à 2h (et
relancé à 
2h20).
Il est possible que ce soit du fait d'une synchro d'un fichier en cours de 
modification... mais ça doit arriver très souvent sans pour autant
planter. 
En fait comme je sauvegarde les logs, chaque synchro ou presque doit synchro

des fichiers en cours de modif. Dans ce cas là, il devrait toujours planter

et pas seulement de temps en temps. Puis si un système de sauvegarde ne 
permet pas de sauvegarder des fichiers en cours de modification, autant en 
changer...

Je vous souhaite de vous en sortir et surtout que le staff de gandi prenne
en compte nos situations critiques qui ne sont, a mon avis, pas isolees !

Pour le moment je n'ai pas encore trouvé le temps de changer. Je préfère 
régulièrement contrôler et relancer si besoin... Mais c'est au planning
;) 
Je vais prendre les devants sur Gandi... Je ne compte plus le nombre de 
petit bug et de remarques que j'ai fait mais que j'ai du être le seul à 
faire et où on a fini par me répondre qu'un jour quand ils auront le
temps, 
ils s'en occuperont... :(

Manu

Après ouverture d'un ticket chez Gandi pour des problèmes avec Gsync, la 
réponse est simple : "votre demande est transférée au développeur de
GSync".
En clair la hotline n'a pas les compétences pour supporter Gsync.

Donc j'ai mis en place : http://rsnapshot.org/
Ca marche niquel !

Dommage car Gsync sur le papier c'est niquel, mais bon c'est trop Beta.

Thierry



Le 02/05/2010 10:52, news.gandi.net a écrit :

Peut-etre une conclusion : est-ce que le probleme ne proviendrait pas
d'un
synchro sur un fichier en cours de modification (mes fichiers mrtg sont
genere toutes les minutes !) Vous pourriez peut-etre rechercher un cron
qui tourne a 2h (rotation des log par exemple) puis le decaler a 1h45...

Non... Deja verifie et je n'ai aucune tache a 2h. La rotation des logs
est
plus tardive.
Ca ne s'arrete d'ailleurs pas forcement a 2h... C'est frequente mais ca

arrive aussi parfois a d'autres moments de la journee.
Par exemple 6h30 ce matin alors qu'il avait deja plante a 2h (et
relance a
2h20).
Il est possible que ce soit du fait d'une synchro d'un fichier en cours de
modification... mais ca doit arriver tres souvent sans pour autant
planter.
En fait comme je sauvegarde les logs, chaque synchro ou presque doit
synchro

des fichiers en cours de modif. Dans ce cas la, il devrait toujours
planter

et pas seulement de temps en temps. Puis si un systeme de sauvegarde ne
permet pas de sauvegarder des fichiers en cours de modification, autant en
changer...

Je vous souhaite de vous en sortir et surtout que le staff de gandi
prenne
en compte nos situations critiques qui ne sont, a mon avis, pas isolees !

Pour le moment je n'ai pas encore trouve le temps de changer. Je prefere
regulierement controler et relancer si besoin... Mais c'est au planning
;)
Je vais prendre les devants sur Gandi... Je ne compte plus le nombre de
petit bug et de remarques que j'ai fait mais que j'ai du etre le seul a
faire et ou on a fini par me repondre qu'un jour quand ils auront le
temps,
ils s'en occuperont... :(

Manu

Rrrrrrr !!!! 
Après quelques jours, le processus c'est à nouveau arrêté ! Quelle
galère...

Donc j'ai mis en place : http://rsnapshot.org/

Je vais regarder ça car là je n'en peux plus et comme tu dis : c'est
dommage car sur le papier c'était pas mal du tout !

Merci pour l'info

Donc j'ai mis en place : http://rsnapshot.org/

Idem. Plus de solutions avec Gsync. Je vais passer à rsnapshot.

Manu

bonjour,

Idem (sur debian). Gsync n'était pas très stable. Il sauvegardait une
partie de mon arborescence, en oubliait l'autre.
Je suis passé à rsnapshot. On va voir si c'est plus fiable.

Même chose ici et maintenant :

Oct 28 12:00:13 localhost gsync: <ERR> <GsyncWorker(Thread-1, started
-1230062736)> <type 'exceptions.IndexError'>:pop from empty list

avec la toute nouvelle version de gsync pour Ubuntu 10.04.

Idem sous ubuntu 11.04 et gsync 1.0.0-r4151.

Jan 30 10:40:37 git gsync: <ERR> <GsyncWorker(Thread-1, started
139834425976576)> <type 'exceptions.IndexError'>:pop from empty list

J'ai basculé sur rsnapshot et ça a l'air de marcher nickel. Merci pour la
suggestion ;-)