OVH Community, your new community space.

ESX Kimsufi Bloqué a cause DDOS NTP


cnicules
20/02/2014, 14h51
Salut,
de mon cote j'ai rien resolu car le SupportOVH ne repond plus.
En paralell j'ai creer mes service sur un autre serveur.

Le probleme sur ESXi 4.1 de OVH avec le mode rescue est que est pas un shell, est que du sftp. Donc t'a pas acces a faire des truc, en particulier pour moi recuperer les fichier des VMs.

Si tu peux encore realiser un boot normal, tu a largement du temps de change la conf ntp.
Par contre j'ai fait les modifications pour plus etre exploitable (tester avec le script d'OVH) et apres 1-2 jours il me l'ont couper encore une foi. Et la je comprend plus rien

En ce moment je fait une evaluation du Xen, car vu que j'ai un linux standard comme hyperviseur je peux avoir un vraix firewall meme sur le management.

A+
C

DmilZ
19/02/2014, 19h15
Bonjour,

Le problème ne semble pas impacter les version >= 5.0, 4.1 va très prochainement basculer "out of support" (Mai 2014).

Désolé pas trouver mieux que cet article (en russe !). Sauf que depuis le mode rescue, ça va être plus compliqué puisque les fichiers ne sont pas dans éditables directement dans /etc (mais compressé dans un tgz).

Si je devais me pencher sur le problème voilà comment je m'orienterais :
Code:
root@rescue:~# fdisk -l /dev/sda

Disk /dev/sda: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, total 1953525168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x5d88f26e

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1            8192     1843199      917504    5  Extended
/dev/sda2         1843200    10229759     4193280    6  FAT16
/dev/sda3        10229760  1953525167   971647704   fb  VMware VMFS
/dev/sda4   *          32        8191        4080    4  FAT16 <32M
/dev/sda5            8224      520191      255984    6  FAT16
/dev/sda6          520224     1032191      255984    6  FAT16
/dev/sda7         1032224     1257471      112624   fc  VMware VMKCORE
/dev/sda8         1257504     1843199      292848    6  FAT16

root@rescue:/# mkdir /mnt/sda5
root@rescue:/# mount /dev/sda5 /mnt/sda5/
root@rescue:/# cd /mnt/sda5/
root@rescue:/mnt/sda5# cp state.tgz /tmp
root@rescue:/mnt/sda5# cd /tmp
root@rescue:/tmp# tar xzf state.tgz
root@rescue:/tmp# tar xzf local.tgz
...
Puis je commencerais pas regarder du côté de : 
root@rescue:/tmp# vi etc/vmware/esx.conf
root@rescue:/tmp# vi etc/vmware/hostd/hostsvc.xml
root@rescue:/tmp# vi etc/chkconfig.db
.. (chez moi j'ai "/etc/init.d/ntpd        off" dans ce fichier)...

Puis si j'ai trouvé et modifier quelque chose d'intéressant :
root@rescue:/tmp# tar czf local.tgz etc/
root@rescue:/tmp# tar czf state.tgz local.tgz
root@rescue:/tmp# cp -p /tmp/state.tgz /mnt/sda5/
root@rescue:/tmp# umount /mnt/sda5/
... Reboot sur HD...
Si ntp.conf est présent c'est encore mieux, mais chez moi il n'existe pas dans le local.tgz (peut-être parce que le service est off par défaut). Je pense que modifier chkconfig.db permettra au minimum de redémarrer l'ESXi sans le service ntp et éventuelle modifier /etc/ntp.conf depuis SSH directement (mais à vérifier si la modification est bien persistante en rebootant le serveur).

BBR
19/02/2014, 17h54
et un bête
Code:
service ntp stop
vite fait dès que t'as remis le serveur en mode normal ?

TC2566-OVH
19/02/2014, 17h47
Bonjour,
Je souhaitais savoir si vous aviez résolu votre problème. En fait j'ai exactement le même problème à savoir attaque NTP sur ESXi, je suis actuellement en rescue pro avec accès SSH après une deuxième mise en anti-hack.
Avez vous trouvez le fichier ntp.conf si oui dans quel partition est t'il et cela suffit'il à sécuriser le serveur?
Merci d'avance.

phil_
12/02/2014, 22h27
Le problème est, qu'à la base, un ESX n'est pas censé avoir son interface d'admin directement connectée sur internet... Le VLAN d'admin de mon ESX est derrière un FW avec filtrage sur IP source, aucun problème en 3 ans. Maintenant je ne suis pas sûr que ce soit réalisable sur un kimsufi.

cnicules
11/02/2014, 17h54
Bonjour,
je suis dans la meme situation.
Le NTP du ESXi 4.1 est par defaut pas bien configurer et il peux etre utiliser comme generateur de trafic NTP.
J'ai deja eux un passage en mode ftp, il i a une semaine, j'ai modifier le ntp pour qu'il est plus atacable (teste avec le web test d'ovh pour le ntp). Et ce matin encore il est passe en mode ftp
Le probleme avec les ESXi est que tu a pas acces a beacoup de chose en mode ftp (conf, logs), mais pas les vmdk.
J'attend le retour du support sur la cause.
C

DmilZ
31/01/2014, 22h00
... oups mauvais sujet ...

Bon courage!

BBR
31/01/2014, 21h16
oui mais avoir des enfants c'est aussi s'en occuper

nowwhat
31/01/2014, 21h04
Oui, oui, bien vu et lu.
C'est banji qui a du choisir, et il n'a pas eu toutes les éléments importantes (encore des conséquences) au moment de son choix. J'ai bien compris.

Mais il s'agit aussi "l'autre" qui reclame de l'assistance/attention. Pour un serveur, ça va. Demain, il conduira une voiture ....

BBR
31/01/2014, 20h58
Citation Envoyé par nowwhat
A la fin, il suffit d’établir une "facture" et de le présenter au gamin.
Les bêtises, c'est ok. Dès qu'il sache qu'il y à aussi un truc nommé "conséquences" tu va en profiter rapidement. Toi aussi.
lol son gamin n'a pas touché au serveur, c'est juste qu'il a dérangé papa quand papa était en train de travailler et l'a donc éloigné trop longtemps de son ordi ce qui a provoqué le reblocage du serveur.

nowwhat
31/01/2014, 20h53
Zéro expérience avec ESXidule, mais plus simple me semble:
Démarrer normalement.
Login.
Bloquer toutes tes IP contre la réception UDP sur la porte 123 (ntp).

Puis, faire ce qu'il fallu faire avant: mise à jour. Check paramétrage.
Enlever la règle parafue.
Faire le check "monlist" pour voir si c'est ok.

A la fin, il suffit d’établir une "facture" et de le présenter au gamin.
Les bêtises, c'est ok. Dès qu'il sache qu'il y à aussi un truc nommé "conséquences" tu va en profiter rapidement. Toi aussi.

DmilZ
31/01/2014, 20h36
Il faut négocier un reboot sur le disque dur. En mode rescue ça va être sûrement être un peu plus compliqué. Pour info ESXi enregistre une bonne partie de sa config dans son /etc/vmware/esx.conf, dans le tgz local.tgz, du tgz state.tgz à la racine de /dev/sda5. Bien faut extraire tout ça et bien penser à tout remettre dans le même ordre, avec les bon droits.
Et encore même si tu arrives à éditer esx.conf il ne restera "que" à trouver comment modifier la configuration ntp.

Bref tout ça pour dire, le rescue sur ESXi c'est uniquement quand tout est vraiment mort.

BBR
31/01/2014, 20h05
le support aurait pu inverser ton email secondaire avec le principal si tu l'avais demandé sur la partie commerciale avec un titre explicite.
Ce que je ne comprends pas c'est que tu as un ticket d'ouvert donc tu as une adresse pour discuter avec le support et leur demander d'inverser tes emails et de te renvoyer les accès.

nowwhat
31/01/2014, 19h40
Citation Envoyé par banji
....mais ils ont envoyé les accès sur mon adresse mail principal, hebergé par le serveur en question (je sais... c'est mal) ) et rien sur mon mail secondaire.
Par hasard: t'as un MX backup ?

banji
31/01/2014, 19h37
Je te remercie pour tes conseils, j'aurai bien aimé me connecter en rescue, mais ils ont envoyé les accès sur mon adresse mail principal, hebergé par le serveur en question (je sais... c'est mal) ) et rien sur mon mail secondaire.

Dans le ticket qu'ils ont ouvert suite à la procédure "de mis en quarantaine" de mon serveur, j'ai répondu que je ne pouvais accéder a cette boite mail, et ils m'ont répondu ... mais sans me communiquer un mot de passe, ou même me le renvoyer par mail, juste pour me donner de la doc sur NTP et la faille qui existe.

Concernant l'arrivé du weekend, je n'ai de toute facon pas eu de nouvelle d'OVH, hormis la réponse dans le ticket dont j'ai fait allusion ci-dessous(et auquel personne ne répond depuis 11H ce matin ... je vais attendre lundi maintenant, et une fois récupéré, je verrai pour monter en gamme et avoir accès à un vrai support!

BBR
31/01/2014, 18h20
je ne sais plus comment te dire : en rescue tu peux stopper NTP, bloquer le port 123 etc. pas besoin de rebooter en normal pour le faire et ton serveur ne sortira pas de rescue tant que tu n'auras pas fait cela, attaque de l'extérieur ? Hum... le serveur est mis en rescue ftp quand c'est lui qui attaque.
Et il n'y a pas d'intervention logicielle de la part du support KS même en payant.
De plus à t'entêter de la sorte, là on est vendredi soir, la présence du support va bientôt se terminer et tu ne les reverras que lundi matin, alors que tu aurais pu nettoyer ton serveur et peut être le faire sortir du rescue.

banji
31/01/2014, 17h55
Le serveur est clean en soit, l'attaque provient de l'extérieur sur le client NTP de l'esx, il faut que je le désactive et pour se faire, j'ai besoin d'accéder à l'ESX....

Exist'il un moyen d'accéder à un support payant pour les Kimsufi qui je le concède après ce problème ne me suffit plus ...

BBR
31/01/2014, 13h44
nettoie ton serveur en rescue et ensuite tu pourras peut être négocier

banji
31/01/2014, 13h40
Citation Envoyé par BBR
l'erreur à ne pas commettre, mais le support peut switcher ton email secondaire avec le principal (si nouveau ks), si ancien tu peux le changer dans le manager ou spécifier un email quand tu demandes le rescue.
Il n'y a aucun support tél pour les KS.
Si la réinstall est la seule chose qu'ovh te permet, alors mode rescue et sauvegarde toutes tes données puis tu réinstalles.
J'aurai bien voulu réinstaller, mais il ne propose plus d'installer ESXi donc meme si je DL toutes mes VM (plus de 10) je ne vais pas pouvoir les remettre à la suite de la réinstallation ... il faudrait vraiment que le support Kimsufi me permette un reboot sur le HDD (c'est bloqué sur l'interface ils veulent plus que je le fasse)

BBR
31/01/2014, 13h29
Forcément mon serveur de mail est sur ce meme serveur
l'erreur à ne pas commettre, mais le support peut switcher ton email secondaire avec le principal (si nouveau ks), si ancien tu peux le changer dans le manager ou spécifier un email quand tu demandes le rescue.
Il n'y a aucun support tél pour les KS.
Si la réinstall est la seule chose qu'ovh te permet, alors mode rescue et sauvegarde toutes tes données puis tu réinstalles.

banji
31/01/2014, 13h21
Citation Envoyé par BBR
regarde le post it de l'accueil, dedans tu trouveras la rubrique Mode rescue, mode qui te permettra de modifier ta config sans risque pour le réseau.
http://forum.kimsufi.com/showthread....-vos-questions
Merci pour la réponse. Le soucis étant que c'est la deuxieme fois que OVH bloque mon serveur (lorsque j'ai voulu régler le soucis, j'ai été contraint de reporter l'opération, mais le serveur était de nouveau dispo ...), et que je souhaiterai pouvoir booter à nouveau sur mon ESXi.

Actuellement le manager m'oblige à réinstaller tout le serveur, or il ne propose pas de réinstaller ESXi et j'ai besoin de récupérer les VMs ...

Votre serveur "ks******.kimsufi.com" été hacké 2 fois depuis sa livraison.

Votre serveur a été désactivé suite à un comportement anormal récurrent. Vous avez reçu les identifiants d'accès vous permettant de récupérer vos données.
Votre serveur ne sera réactivé qu'après une réinstallation complète.

Ceci est votre dernier avertissement. Toute nouvelle alerte entrainera la fermeture définitive du serveur et la rupture du contrat.
Forcément mon serveur de mail est sur ce meme serveur donc pas recu le mail... Je sais ce que je dois faire sur la machine pour ne plus être vulnérable, j'ai juste besoin que l'on me donne accés au système.

Y a t'il possiblité d'avoir un Support téléphone pour Kimsufi meme si je dois payer la prestation ?

BBR
31/01/2014, 13h08
regarde le post it de l'accueil, dedans tu trouveras la rubrique Mode rescue, mode qui te permettra de modifier ta config sans risque pour le réseau.
http://forum.kimsufi.com/showthread....-vos-questions

banji
31/01/2014, 12h36
Bonjour,

Je possède un serveur Kimsufi installé en ESX 4.1, et ce matin j'ai constaté que mon serveur était "hacké", en effet les attaques sur le NTP on fait passé ma VM en mode rescue.

Or j'ai redémarré en mode normal, et j'ai voulu modifier mes paramètres NTP, sauf que j'ai été pris par mon fils qui c'est blessé et que lorsque que je suis revenu 45min plus tard pour m'en occuper, mon serveur était à nouveau bloqué et plus moyen de le redémarrer en mode normal, mon interface m'oblige à réinstaller mon serveur. Il n'y a plus d'ESX de disponible et je ne doit surtout pas perdre ses VMs....

Comment faire pour obtenir un boot sur le HD afin que je puisse désactiver tous mes agents et profiter à nouveau du service?

Merci,

Mon identifiant OVH c'est le PB36456.

Cordialement,

Banji