V2 cassée...


#1

Comportement attendu

Pouvoir se connecter.

Comportement constaté

Nginx stoppé. Reboot du serveur. Encore pire :
nicolas@COZY:~$ sudo cozy-monitor status
mta: up
couch: down
controller: down
data-system: down
home: down
proxy: down
error - CouchDB looks not started
error - The Cozy Data System looks not started
error - The Cozy Home looks not started
error - Cannot retrieve apps
error - An error occured:
error - Cannot display status
[Error: Error: connect ECONNREFUSED 127.0.0.1:9103]

Ce qui est dommage c’est de ne pas pouvoir retrouver la page que vous aviez rédigé avec pleins de commandes pour tenter de relancer les services.

J’ai surement mal cherché…


#2

EDIT : censure apparemment des password encryptés mais quand meme dans la sortie cozy management reporting.


#3

Hello @nicolash,

Oui, désolé, toute la documentation d’administration de l’ancienne version a été emportée par la refonte de la documentation. Tu trouveras quelques éléments sur Github, mais pas forcément à jour.

Le meilleur moyen de comprendre ce qu’il se passe est d’utiliser https://cozy.github.io/cozy-docs/fr/host/diagnose.html pour avoir un diagnostique complet.

Dans ton cas, on dirait que CouchDB n’est pas démarré, donc essaies un service couchdb status et va jeter un œil dans les logs /var/log/couchdb/


#4

Hello @Clochix , ah c’est carrrément ballot d’avoir supprimé la doc historique… mais merci pour le lien, c’était ce genre de commandes que je cherchais.

Je pense que mon soucis est lié à l’upgrade d’ubuntu. Je suis passé de la 15 à la 16.04.
Reboot : nginx ne fonctionnait plus.
Update , reboot : et la , j’ai perdu tout les services…

nicolas@COZY:~$ sudo service couchdb restart
Failed to restart couchdb.service: Unit couchdb.service is masked.
nicolas@COZY:~$ sudo cozy-monitor start data-system
info - Starting data-system...
error - An error occured:
error - Start failed for data-system.
[Error: Error: connect ECONNREFUSED 127.0.0.1:9002]
nicolas@COZY:~$ sudo service couchdb stop
Warning: couchdb.service changed on disk. Run 'systemctl daemon-reload' to reload units.
nicolas@COZY:~$ sudo systemctl daemon-reload
nicolas@COZY:~$ sudo service couchdb start
Failed to start couchdb.service: Unit couchdb.service is masked.
nicolas@COZY:~$

Les dernieres lignes du log couchdb :
[Wed, 20 Sep 2017 17:18:54 GMT] [info] [<0.3736.0>] 127.0.0.1 - - DELETE /cozy/b3d2c5b309a37760cc8fc876e1875881?rev=1-f6a9eb767e5397306dc4ef2e0db7e6b8 200
[Wed, 20 Sep 2017 17:18:54 GMT] [info] [<0.3737.0>] 127.0.0.1 - - GET /cozy/b3d2c5b309a37760cc8fc876e1875881?revs_info=true&open_revs=all 200
[Wed, 20 Sep 2017 17:18:56 GMT] [info] [<0.3775.0>] 127.0.0.1 - - GET /cozy/b3d2c5b309a37760cc8fc876e1875772 200
[Wed, 20 Sep 2017 17:18:56 GMT] [info] [<0.3776.0>] 127.0.0.1 - - PUT /cozy/b3d2c5b309a37760cc8fc876e1875772 200
[Wed, 20 Sep 2017 17:18:56 GMT] [info] [<0.3783.0>] 127.0.0.1 - - GET /cozy/b3d2c5b309a37760cc8fc876e1875772?revs_info=true&open_revs=all 200
[Wed, 20 Sep 2017 17:18:56 GMT] [info] [<0.2134.0>] Starting index update for db: cozy idx: _design/application
[Wed, 20 Sep 2017 17:18:56 GMT] [info] [<0.2134.0>] Index update finished for db: cozy idx: _design/application
[Wed, 20 Sep 2017 17:18:56 GMT] [info] [<0.3758.0>] 127.0.0.1 - - GET /cozy/_design/application/_view/home-byslug 200
[Wed, 20 Sep 2017 17:38:14 GMT] [info] [<0.33.0>] Apache CouchDB has started on http://127.0.0.1:5984/

Mais je pense que c’est un problème plus global de “service masked” d’ubuntu ?..enfin j’en sais trop rien…


#5
root@COZY:/etc/init.d# systemctl status couchdb
● couchdb.service
   Loaded: masked (/dev/null; bad)
   Active: inactive (dead)

oct. 01 07:27:29 COZY systemd[1]: Stopped couchdb.service.

Je crois bien que l’update/upgrade d’ubuntu a modifié la façon dont les services peuvent être lancés… :frowning:

J’ai tenté un “unmask, enable, start” du couchdb mais ça change pas grand chose…

root@COZY:/etc/init.d# systemctl unmask couchdb
Removed symlink /etc/systemd/system/couchdb.service.
root@COZY:/etc/init.d# systemctl enable couchdb
couchdb.service is not a native service, redirecting to systemd-sysv-install
Executing /lib/systemd/systemd-sysv-install enable couchdb
root@COZY:/etc/init.d# systemctl restart couchdb
Job for couchdb.service failed because the control process exited with error code. See "systemctl status couchdb.service" and "journalctl -xe" for details.
root@COZY:/etc/init.d# sudo cozy-monitor status
mta: up
couch: down
controller: down
data-system: down
home: down
proxy: down
error - CouchDB looks not started
error - The Cozy Data System looks not started
error - The Cozy Home looks not started
error - Cannot retrieve apps
error - An error occured:
error - Cannot display status
[Error: Error: connect ECONNREFUSED 127.0.0.1:9103]
root@COZY:/etc/init.d# exit
exit
nicolas@COZY:/var/log$ cd ~
nicolas@COZY:~$ sudo service couchdb start
Job for couchdb.service failed because the control process exited with error code. See "systemctl status couchdb.service" and "journalctl -xe" for details.
nicolas@COZY:~$ journalctl -xe
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- L'unité (unit) couchdb.service a commencé à démarrer.
oct. 01 07:45:08 COZY systemd[1]: couchdb.service: Control process exited, code=exited status=1
oct. 01 07:45:08 COZY systemd[1]: Failed to start LSB: Apache CouchDB init script.
-- Subject: L'unité (unit) couchdb.service a échoué
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- L'unité (unit) couchdb.service a échoué, avec le résultat failed.
oct. 01 07:45:08 COZY systemd[1]: couchdb.service: Unit entered failed state.
oct. 01 07:45:08 COZY systemd[1]: couchdb.service: Failed with result 'exit-code'.
oct. 01 07:45:17 COZY sudo[7312]:     root : TTY=pts/0 ; PWD=/etc/init.d ; USER=root ; COMMAND=/usr/local/bin/cozy-monitor status
oct. 01 07:45:17 COZY sudo[7312]: pam_unix(sudo:session): session opened for user root by nicolas(uid=0)
oct. 01 07:45:18 COZY postfix/smtpd[7323]: connect from localhost[127.0.0.1]
oct. 01 07:45:18 COZY postfix/smtpd[7323]: warning: non-SMTP command from localhost[127.0.0.1]: GET / HTTP/1.1
oct. 01 07:45:18 COZY postfix/smtpd[7323]: disconnect from localhost[127.0.0.1] unknown=0/1 commands=0/1
oct. 01 07:45:18 COZY sudo[7312]: pam_unix(sudo:session): session closed for user root
oct. 01 07:45:39 COZY sudo[7193]: pam_unix(sudo:session): session closed for user root
oct. 01 07:45:49 COZY sudo[7325]:  nicolas : TTY=pts/0 ; PWD=/home/nicolas ; USER=root ; COMMAND=/usr/sbin/service couchdb start
oct. 01 07:45:49 COZY sudo[7325]: pam_unix(sudo:session): session opened for user root by nicolas(uid=0)
oct. 01 07:45:50 COZY systemd[1]: Starting LSB: Apache CouchDB init script...
-- Subject: L'unité (unit) couchdb.service a commencé à démarrer
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- L'unité (unit) couchdb.service a commencé à démarrer.
oct. 01 07:45:50 COZY systemd[1]: couchdb.service: Control process exited, code=exited status=1
oct. 01 07:45:50 COZY systemd[1]: Failed to start LSB: Apache CouchDB init script.
-- Subject: L'unité (unit) couchdb.service a échoué
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- L'unité (unit) couchdb.service a échoué, avec le résultat failed.
oct. 01 07:45:50 COZY systemd[1]: couchdb.service: Unit entered failed state.
oct. 01 07:45:50 COZY systemd[1]: couchdb.service: Failed with result 'exit-code'.
oct. 01 07:45:50 COZY sudo[7325]: pam_unix(sudo:session): session closed for user root
nicolas@COZY:~$ sudo cozy-monitor start couchdb
info - Starting couchdb...
error - An error occured:
error - Start failed for couchdb.
[Error: no applications installed.]
nicolas@COZY:~$ sudo cozy-monitor status
mta: up
couch: down
controller: down
data-system: down
home: down
proxy: down
error - CouchDB looks not started
error - The Cozy Data System looks not started
error - The Cozy Home looks not started
error - Cannot retrieve apps
error - An error occured:
error - Cannot display status
[Error: Error: connect ECONNREFUSED 127.0.0.1:9103]
nicolas@COZY:~$

#7

Au final j’aimerais bien pouvoir :

  • faire un backup des docs/photos actuellement
  • au pire exploiter le backup (tgz d’environ 3 Go) que j’ai fait au mois d’avril : j’ai dézippé , j’ai un gros fichier “cozy.couch” …
  • exporter tout les documents/photos de ce backup pour les copier basiquement dans mes différents NAS.
  • et/ou réussir à relancer mon cozy actuel…

Une méthode ? solution à préconiser ?
Je suis prêt à remonter une VM pour réaliser ça si absolument nécessaire…


#8

Hello,

Dans un premier temps, commence par faire une sauvegarde des données de ton Cozy : cozy_management backup te donnera une archive .tgz contenant entre autres la base de données.

Puis, il faut que tu réussisses à relancer CouchDB, car sans cela le fichier cozy.couch qui contient toute ta base est inexploitable. Donc essaies de relancer CouchDB, éventuellement à la main plutôt que via, désolé pour le gros mot, systemd, et de comprendre ce qui déconne.

Au pire du pire, file-moi ton fichier /var/lib/couchdb/cozy.couch et je peux essayer d’en extraie tes fichiers/photos pour te les restituer à un format lisible.


#9

Merci @Clochix !
je ne pensais pas pouvoir lancer un nouveau backup dans cet état, je vais tenter de suite :slight_smile:

Par la suite, vu que cette VM est dédié à Cozy, je me demande si le plus simple/rapide ne serait pas de recréer un environnentment Ubuntu 15.04 from scratch, de reinstaller cozy et de faire la restauration du backup (sans péter l’anciennce machine au cas ou…)

edit : j’ai lancé le backup. Apparemment il s’est servi d’un FS qu’il saturé (pourtant j’ai encore 30 go sur 100 Go), du coup impossible de se relogger et meme en relancant la VM, plus d’accès :slight_smile:
Quand ça veut pas … ça veut pas…

/usr/local/var/cozy/thelounge/
/usr/local/var/cozy/thelounge/.lounge/
/usr/local/var/cozy/thelounge/.lounge/config.js
/usr/local/var/cozy/thelounge/.lounge/users/
/usr/local/var/cozy/thelounge/.lounge/users/cozy.json
/usr/local/var/cozy/proxy/
/usr/local/var/cozy/map/
/usr/local/var/cozy/photos/
/usr/local/var/cozy/import-from-google/
/usr/local/var/cozy/remotestorage/
/usr/local/var/cozy/konnectors/
/usr/local/var/cozy/mstsc/
/usr/local/var/cozy/files/
/usr/local/var/cozy/home/
/usr/local/var/cozy/kresus/
/usr/local/var/cozy/downloader/
/usr/local/var/cozy/sync/
/usr/local/var/cozy/databrowser/
/usr/local/var/cozy/notes/
/usr/local/var/cozy/term/
/usr/local/var/cozy/hastebin/
/usr/local/var/cozy/data-system/
/usr/local/var/cozy/data-system/indexes/
/usr/local/var/cozy/data-system/indexes/LOCK
/usr/local/var/cozy/data-system/indexes/LOG
/usr/local/var/cozy/data-system/indexes/002470.log
/usr/local/var/cozy/data-system/indexes/LOG.old
/usr/local/var/cozy/data-system/indexes/MANIFEST-002468
/usr/local/var/cozy/data-system/indexes/002466.ldb
/usr/local/var/cozy/data-system/indexes/CURRENT
/usr/local/var/cozy/data-system/indexes/002464.ldb
/usr/local/var/cozy/data-system/indexes/002469.ldb
/usr/local/var/cozy/data-system/indexes/002462.ldb
/usr/local/var/cozy/emails/
/usr/local/var/cozy/tasky/
/usr/local/var/cozy/self-hosting/
/var/lib/couchdb/cozy.couch


#10

@Clochix : donc plusieurs soucis.
Des que je lance un backup il me sature un FS de la VM pourtant large…bref, peu importe. J’ai réussi à récupérer le tgz du backup.

Je viens donc de remonter from scratch une ubuntu 16.04 LTS comme indiqué en tant que dernière version supportée sur https://docs.cozy.io/fr/install/debian/

Le but étant de :

  • verifier que le backup est restaurable / restauré et que j’ai mes données

EDIT : j’ai réussi à dezipper le tgz (j’ai du en refaire un ce jour), j’ai bien un fichier couchdb qui sort du tgz de backup et qui date bien de la dernière fois ou j’ai pu avoir accès au cozy (de mémoire…)

-rw-rw-r–+ 1 sshd tftp 4952252553 sept. 20 19:18 cozy.couch

  • obtenir un cozy propre qui tourne
  • detruire l’ancienne VM

Pour le moment, je bloque même à l’installation de la cozy-stack juste après couchdb (ou il n’y a pas eu de pb) :

root@cozy2:/etc/apt/sources.list.d# apt-get install cozy-stack
Lecture des listes de paquets… Fait
Construction de l’arbre des dépendances
Lecture des informations d’état… Fait
E: Impossible de trouver le paquet cozy-stack

Apparemment y a pas tout dans les depots ubuntu ? contrairement à ce qu’indiquerait la doc ?

Mes questions :
-est ce que la documentation https://docs.cozy.io/fr/install/debian/ est à jour ?
-a jour également pour ubuntu ?

  • sinon, ça ne me pose pas de problème pour réinstaller une debian et qui me permettrait éventuellement de restaurer mon backup si il est intégre et sortir de cette mouize…

Merci


#11

Hello,

https://docs.cozy.io/fr/install/debian/ est la documentation pour installer la nouvelle version de Cozy, en Go. Nous avons supprimé la documentation pour installer l’ancienne version, afin d’éviter toute confusion. Heureusement, elle est encore disponible sur Github : https://github.com/cozy/cozy-docs/blob/master/src/documents/fr/host/install/install-on-debian.html.md

J’espère que ça fonctionne encore.

Je suis désolé pour tous ces soucis. Nous sommes trop pressés et gérons mal la transition pour celles et ceux d’entre vous qui auto-hébergent un serveur V2 :frowning:


#12

Hello,
Je suis en train de m’y recoller, pour faire simple,

  • reinstall d’un cozy v2 ==> KO/Galere donc j’abadonne pour le moment.
  • objectif : lire la base couchdb.
  • j’ai reinstallé couchdb, ça fonctionne.
    J’ai accès à Futon et il indique bien la base Cozy mais il faut que je m’identifie.

J’ai beau chercher dans le forum je ne retrouve pas ce que tu m’avais dit pour avoir accès a la base en bypassant/supprimant des auth. et pourtant je suis sûr de l’avoir déja fait.
(j’espère que vous n’avez pas supprimé non plus des topics dans le forum en plus de l’ancienne doc …)

Donc ma question : comment puis je accéder a ma base typée “cozy” dans un couchdb/Futon qui semble fonctionnel.

Aujourd’hui Futon me dit : “you’re not authorized to access to this db”
D’avance un grand merci,


#13

Hello @nicolash,

Les paramètres sont définis au niveau de la configuration de CouchDB, non de la base elle-même. Pour accéder à la base sans authentification, il suffit normalement de supprimer les dernières lignes du fichier /etc/couchdb/local.ini, après [admins], où sont définis les identifiants et mots de passe de connexion à la base. Tu devrais ensuite pouvoir t’y connecter avec Futon sans mot de passe.

Quel type de données veux-tu extraire ? Comme tous les fichiers étaient stockés en base, j’avais une commande curl pour les extraire vers le disque, je dois encore pouvoir la retrouver.


#14

Merci @Clochix pour l’assitance :slight_smile:
J’ai tenté de modifier hier le local.ini en bas du fichier pour rajouter un “admin : monmdp” , j’ai relancé le service et Futon n’était plus accessible et il n’y avait pas de “hash” généré…du coup je suis revenu à la conf ancienne avec un utilisateur bizarre nommé yakoceekee.
J’essaierais ce soir de supprimer cet utilisateur et relancer Futon.
En fait il ne me demande pas d’authentification avant que je ne clique sur la base Cozy.

Enfin, pour répondre à la question : but du jeu étant d’extraire tout les pdfs, tout les jpeg et ce sera déja un moindre mal.

Merci encore pour le temps passé à m’aider :slight_smile:

(hâte de reinstaller un nouveau cozy v3 et de m’y faire :wink: …)


#15

Voici une fonction qui permet d’extraire des fichiers de la base : https://gist.github.com/clochix/29a5f4f565e9c9f1b878196d07117a53 Elle nécessite l’utilitaire jq. Je te laisse y jeter un œil, n’hésite pas à me poser des questions.


#16

Alors j’ai commenté l’utilisateur en bas du local ini, en effet, jackpot j’ai désormais accès via futon à la base cozy !! :slight_smile:

J’ai copié ton script bash apres avoir installé jq. Mais je t’avouerais que je n’ai pas tout saisi à ce qu’il allait faire…Et apparemment il fait rien puisque c’est une fonction c’est ça ? donc je dois créer une execution de cette fonction ? (oui ça fait longtemp que j’ai pas developpé donc bon… ;-)…)

Enfin je viens de voir ça : https://stackoverflow.com/questions/11639534/couchdb-dump-to-file-and-load-from-file

un truc bourrin :
curl -X GET http://localhost:5984/<DATABASE_NAME>/_all_docs?include_docs=true > FILE.txt

tu penses que ça peut passer ?


#17

Pfff, mon gist ne comporte pas la commande la plus utile, celle permettant d’exporter tous les fichiers :

curl -s -H 'Accept: application/json' "${CouchURL}/cozy/_design/file/_view/byfullpath" | jq -r '.rows[].value | "\"."+.path+"/"+.name+"\" "+.binary.file.id' | xargs -n2 sh -c 'curl -s --create-dirs -o "$0" "${CouchURL}/cozy/$1/file"'

#18

Merci, petite question, je dois personaliser/customiser quoi dans cette commande ?
L’URL Couch genre par 127.0.0.1 ?


#19

Oui, CouchURL vaut http://127.0.0.1:5984, éventuellement avec le login et le mot de passe de connexion à ta base.


#20

GENIAL !
c’est en cours, j’ai pas encore essayé d’ouvrir les fichiers mais ça m’a l’air bien parti !

Du coup je sais ce que je vais faire ce week end, installer une v3 proprement et tout remettre la dedans :slight_smile:
Merci !

edit : il m’a extrait un paquet de fichiers mais beaucoup moins que ce qui était dans la base :-/
Il m’a crée deux repertoire , un “Administration” (avec des factures en pdf) et un autre “Appareil Photo” avec un paquet de jpg mais ça reste partiel :-/
pourtant je l’ai pas stoppé …


#21

:’( Là je ne sais plus, jusqu’à présent les quelques fois où j’avais utilisé cette commande, elle avait fonctionné.

Est-ce que curl -s -H 'Accept: application/json' "${CouchURL}/cozy/_design/file/_view/byfullpath" | jq -r '.rows[].value | "\"."+.path+"/"+.name+"\" "+.binary.file.id' liste bien tous tes fichiers ?