Perte de l'interface Proxmox après une modification du NFS

Ce problème arrive lorsqu'un volume NSF partagé entre plusieurs VM est modifié (à vérifier) ou supprimé. Dans ce cas, le serveur reste accessible en SSH ainsi que les VM déjà démarrées. Par contre, il n'est pas possible de se connecter depuis l'interface Web GUI de Proxmox en root@pam. Proxmox renvoi le message suivant : "l'authentification a échouée".

Pour rétablir le fonctionnement normal de Proxmox, il faut :

• 1 - désactiver le montage NFS et,
• 2 - relancer les machines sans rebooter les VM.

Regarder les logs

Si le problème est présent, on peut le voir dans les logs var/log/syslog de Proxmox.

root@ns2266716:~# tail -f /var/log/syslog
Feb  5 14:45:01 ns2266716 /USR/SBIN/CRON[325162]: (root) CMD (/usr/local/rtm/bin/rtm 42 > /dev/null 2> /dev/null)
Feb  5 14:46:01 ns2266716 /USR/SBIN/CRON[325227]: (root) CMD (/usr/local/rtm/bin/rtm 42 > /dev/null 2> /dev/null)
...
Feb  4 08:08:17 ns2266716 pveproxy[213012]: WARNING: proxy detected vanished client connection
Feb  4 08:08:28 ns2266716 kernel: ct0 nfs: server 37.187.31.8 not responding, timed out
...

Le serveur 37.187.31.8 n'est pas trouvé. Lorsque ce problème est survenu, ce serveur n'était plus présent dans notre infrastructure. Par contre, nous n'avions pas démonter le NFS avant d'arrêter le serveur. C'est ce qui semble avoir posé le problème.

Vérifier le montage

La commande cat /proc/mounts permet d'afficher les volumes montés sur le serveur. Le 37.187.31.8 est bien monté alors qu'il n'est plus présent dans l'infrastructure.

root@ns2266716:~# cat /proc/mounts
sysfs /sys sysfs rw,nosuid,nodev,noexec,relatime 0 0
proc /proc proc rw,nosuid,nodev,noexec,relatime 0 0
udev /dev devtmpfs rw,relatime,size=10240k,nr_inodes=8239994,mode=755 0 0
devpts /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0
tmpfs /run tmpfs rw,nosuid,noexec,relatime,size=6594000k,mode=755 0 0
/dev/md1 / ext3 rw,relatime,errors=remount-ro,user_xattr,acl,barrier=0,data=ordered 0 0
tmpfs /run/lock tmpfs rw,nosuid,nodev,noexec,relatime,size=5120k 0 0
tmpfs /run/shm tmpfs rw,nosuid,nodev,noexec,relatime,size=13607000k 0 0
fusectl /sys/fs/fuse/connections fusectl rw,relatime 0 0
/dev/mapper/pve-data /var/lib/vz ext3 rw,relatime,errors=continue,user_xattr,acl,barrier=0,data=ordered 0 0
/dev/mapper/pve2-data /var/lib/vz2 ext4 rw,relatime,barrier=1,stripe=256,data=ordered 0 0
rpc_pipefs /var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0
beancounter /proc/vz/beancounter cgroup rw,relatime,blkio,name=beancounter 0 0
container /proc/vz/container cgroup rw,relatime,freezer,devices,name=container 0 0
fairsched /proc/vz/fairsched cgroup rw,relatime,cpuacct,cpu,cpuset,name=fairsched 0 0
37.187.31.8:/home/ajlsm/backups/snapshots /mnt/pve/saturne_snapshot_backup_nfs nfs4 rw,relatime,vers=4,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=37.59.21.206,minorversion=0,local_lock=none,addr=37.187.31.8 0 0
151.80.16.10:/var/lib/vz/dump /mnt/pve/backup_jupiter nfs rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=151.80.16.10,mountvers=3,mountport=54207,mountproto=udp,local_lock=none,addr=151.80.16.10 0 0
/dev/fuse /etc/pve fuse rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other 0 0

Désactiver le montage NFS

Modifier le fichier /etc/pve/storage.cfg en ajoutant "disable" au montage concerné.

root@ns3391129:~# vim /etc/pve/storage.cfg

dir: local
         path / var / lib / vz
         happy images, iso vztmpl, rootdir
         maxfiles 0

dir: Sata0_6To
         path / var / lib / VZ2
         happy images, iso vztmpl, rootdir
         maxfiles 1

nfs: backup_jupiter
         disable
         path / mnt / PvE / backup_jupiter
         server 151.80.16.10
         export / var / lib / vz / dump
         options to = 4
         happy pictures, backup
         maxfiles 2

Re-démarrer les machines sans rebooter les VM

Les commandes suivantes doivent être lancées dans l'ordre ci-dessous.

root@ns3391129:~# /etc/init.d/cman restart
Stopping cluster: 
   Stopping dlm_controld... [  OK  ]
   Stopping fenced... [  OK  ]
   Stopping cman... [  OK  ]
   Waiting for corosync to shutdown:.[  OK  ]
   Unloading kernel modules... [  OK  ]
   Unmounting configfs... [  OK  ]
Starting cluster: 
   Checking if cluster has been disabled at boot... [  OK  ]
   Checking Network Manager... [  OK  ]
   Global setup... [  OK  ]
   Loading kernel modules... [  OK  ]
   Mounting configfs... [  OK  ]
   Starting cman... [  OK  ]
   Waiting for quorum... [  OK  ]
   Starting fenced... [  OK  ]
   Starting dlm_controld... [  OK  ]
   Tuning DLM kernel config... [  OK  ]
   Unfencing self... [  OK  ]
root@ns3391129:~# /etc/init.d/pvedaemon restart 
Restarting PVE Daemon: pvedaemon.
root@ns3391129:~# /etc/init.d/pvestatd restart
Restarting PVE Status Daemon: pvestatd.
root@ns3391129:~# /etc/init.d/pve-manager restart
root@ns3391129:~# /etc/init.d/pve-cluster restart
Restarting pve cluster filesystem: pve-cluster.
root@ns3391129:~#

Connexion au serveur Proxmox

• Aller sur https://ns2266716.ip-37-59-21.eu:8006
• S'identifier

L'history du serveur : ssh root@37.187.27.131(/ns3391129)

root@ns3391129:~# history
    1  cd /var/lib/
    2  ls -la
    3  cd vz
    4  ls -la
    5  cd template/
    6  ls -la
    7  cd iso/
    8  ls -la
    9  cd ../qemu/
   10  ls -la
   11  cd ../cache/
   12  ls -la
   13  ifconfig
   14  cd /mnt/
   15  ls -la
   16  rm -rf pve/
   17  ls -la
   18  ls -la
   19  exit
   20  ls -la
   21  cd /
   22  ls -la
   23  cd /backUp
   24  ls -la
   25  cd dump/
   26  ls -la
   27  less vzdump-qemu-100-2014_05_13-16_10_05.log
   28  df
   29  exit
   30  cd /
   31  cd backUp/
   32  ls -la
   33  cd dump/
   34  ls -la
   35  cd /var/lib/vz
   36  ls -la
   37  cd lock/
   38  ls -la
   39  which qm
   40  qm unlock 101
   41  qm unlock 100
   42  cd /
   43  qm unlock 100
   44  /etc/init.d/pve-cluster restart 
   45  qm unlock 100
   46  exit
   47  history
   48  pveca -c
   49  pveca
   50  sudo apt-get install pveca
   51  pvecm create cluster01
   52  pvecm status
   53  vim /etc/hostname 
   54  exit
   55  vim /etc/hostname 
   56  vim /etc/hosts
   57  exit
   58  ping metal
   59  vim /etc/hostname 
   60  vim /etc/hosts
   61  vim /etc/hostname 
   62  vim /etc/hosts
   63  vim /etc/hostname 
   64  vim /etc/hosts
   65  exit
   66  cd /var/lib/vz/images/
   67  ls 102/
   68  ls ../root/
   69  sudo ls ../root/
   70  locate 102.conf
   71  less /etc/pve/nodes/ns3391129/qemu-server/102.conf 
   72  exit
   73  cd /var/lib/vz/template/iso/
   74  ls
   75  wget http://downloads.sourceforge.net/gparted/gparted-live-0.18.0-2-i486.iso
   76  showmount -e localhost
   77  locate storage.cfg
   78  less /etc/pve/storage.cfg 
   79  apt-get install nfs-common
   80  rpcinfo -p 37.187.31.8
   81  less /etc/hosts.deny 
   82  less /etc/hosts.allow 
   83  sudo vim /etc/hosts.allow 
   84  vim /etc/hosts.allow
   85  ls
   86  mkdir snapshots
   87  pwd
   88  mount 37.187.31.8:/home/ajlsm/backups/snapshots /root/snapshots
   89  ls snapshots/
   90  umount snapshots/
   91  ls snapshots/
   92  apt-get install rpcbind
   93  ps aux | grep rpcbind
   94  exit
   95  exit
   96  pvesm
   97  exit
   98  pvesm nfsscan 37.187.31.8
   99  history | less
  100  ls /var/lib/vz/template/iso
  101  locate *.iso
  102  find / -name "*.iso"
  103  exit
  104  ls /var/lib/vz/template/iso/
  105  ls -l /var/lib/vz/template/iso/
  106  md5sum /var/lib/vz/template/iso/w2k3sp2_3959_usa_x64fre_spcd.iso 
  107  exit
  108  sudo vim /etc/pve/storage.cfg 
  109  vim /etc/pve/storage.cfg 
  110  exit
  111  df -h
  112  exit
  113  df -h
  114  exit
  115  less /etc/pve/nodes/ns3391129/qemu-server/104.conf 
  116  exit
  117  ls -l -h /var/lib/vz
  118  ls -l -h /var/lib/vz/dump/
  119  ls -l -h /var/lib/vz/images/
  120  ls -l -h /var/lib/vz/images/104
  121  exit
  122  apt-get install iperf
  123  iperf -c 151.80.16.10 -d
  124  exit
  125  vi /etc/vzdump.conf 
  126  exit
  127  df -kh
  128  exit
  129  iperf -s
  130  exit
  131  iperf -c 151.80.16.10 -d
  132  exit
  133  df -kh
  134  cat /proc/mdstat
  135  exit
  136  top
  137  exit
  138  exit
  139  exit
  140  exit
  141  exit
  142  fdisk -l
  143  cat /proc/mdstat 
  144  smartctl -a -d ata /dev/sda
  145  smartctl -a -d ata /dev/sdb
  146  smartctl -a -d ata /dev/sdc
  147  df -h
  148  df -hi
  149  cat /proc/mdstat 
  150  smartctl -a -d ata /dev/sda | egrep 'Serial|Error|Unco|Reallo'
  151  smartctl -a -d ata /dev/sdb | egrep 'Serial|Error|Unco|Reallo'
  152  uname -a
  153  uptime 
  154  last -a | grep rebo
  155  less /var/log/syslog
  156  less /var/log/syslog.1 
  157  zless /var/log/syslog.2.gz 
  158  /etc/init.d/cman restart
  159  /etc/init.d/pvedaemon restart
  160  /etc/init.d/pvedaemon restart
  161  pveversion -v
  162  apt-get install proxmox-ve-2.6.32
  163  pveversion -v
  164  /etc/init.d/cman restart
  165  /etc/init.d/pvedaemon restart
  166  pveversion -v
  167  apt-get install --reinstall libapache-authcookie-perl
  168  apt-get install --reinstall pve-manager
  169  apt-get upgrade -y && apt-get dist-upgrade -y
  170  pveversion
  171  /etc/init.d/cman restart
  172  /etc/init.d/pvedaemon restart 
  173  /etc/init.d/pvestatd restart
  174  /etc/init.d/pve-manager restart
  175  /etc/init.d/pve-cluster restart
  176  vim /etc/apt/sources.list.d/pve-enterprise.list
  177  apt-get update
  178  apt-get upgrade -y && apt-get dist-upgrade -y
  179  history
  180  cat /proc/mounts
  181  vim /etc/pve/storage.cfg
  182  /etc/init.d/cman restart
  183  /etc/init.d/pvedaemon restart 
  184  /etc/init.d/pvestatd restart
  185  /etc/init.d/pve-manager restart
  186  /etc/init.d/pve-cluster restart
  187  tail -f /var/log/syslog
  188  cat /proc/mounts
  189  who
  190  cat /root/.ssh/authorized_keys2
  191  /etc/ssh/sshd_config
  192  sudo /etc/ssh/sshd_config
  193  vim /etc/ssh/sshd_config
  194  grep root /etc/passwd
  195  sudo service ssh restart
  196  /etc/init.d/ssh restart
  197  vim /etc/pve/storage.cfg
  198  dpkg -l | grep pve

Re-démarrer la VM

• Aller sur https://ns3522528.ip-151-80-16.eu:8006/
• Cliquer sur "300 (Métis)"
• Cliquer [ Démarrer ]

Vérifier si les VM peuvent se connecter les unes aux autres

Lors de la mise à jour des OS et du redémarrage des serveurs physiques, les connexions sont modifiées.

Vérifier que les VM peuvent communiquer entre elles avant de remettre en place le montage NFS depuis l'interface de Proxmox. Pour cela, se reconnecter en ssh et vérifier la connexion. Le message de sécurité "key fingerprint" ci-dessous empêche la connexion entre serveur et attend une validation "manuelle". Il faut passer toutes les connexions en revue.

ajlsm@metis:~$ ssh ajlsm@46.105.188.168
The authenticity of host '46.105.188.168 (46.105.188.168)' can''t be established.
ECDSA key fingerprint is 81:f4:a8:a7:2c:84:21:b9:fa:fe:52:1d:01:04:6e:8c.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '46.105.188.168' (ECDSA) to the list of known hosts.
ajlsm@46.105.188.168's password: