OVH Community, your new community space.

server riavviato in modalità speciale per recuperare i dati


gio01
10.03.2009, 16.40
certo... hai ragione....

fucine
10.03.2009, 16.31
Si direbbe di sì. Ma la questione non è tanto o solo se il tutto sia rientrato o meno, quanto il fatto che simili circostanze potrebbero ripresentarsi e non vorremmo che analogo comportamento fosse quello di chi ti strozza la macchina per due giorni, dicendoti il perché dopo uno e consentendoti di porvi rimedio solo dopo due e passa.
Anche perché una KVM non si nega a nessuno, o sbaglio?

gio01
10.03.2009, 16.27
quindi tutto risolto?

fucine
07.03.2009, 23.29
Citazione Originariamente Scritto da bago
@fucine: non hai ancora risolto il problema?
Il problema è stato risolto solo dopo che, trascorsi improduttivi due interi giorni, e grazie all'intercessione attiva di Torpado, qualche tecnico in sala dati a Roubaix ha infine accolto le nostre suppliche.

Voi direte... "e che suppliche?". Banalmente avevamo fin da subito chiesto un accesso in SSH rescue per poter intervenire, analizzare, correggere, riparare, ripristinare. Avevamo, per contro, un solo accesso FTP rescue, con il quale sarebbe stato assai lungo anche solo il processo di analisi dei log, e lunghissimo il processo di trasferimento di 400 e passa GB di dati (plesk dumps + sql dumps + mailnames et alia).

Alla fine, ovvero alle 19.30 di martedì (la macchina era stata staccata alle 14.28 di domenica), ci è stata fatta la "grazia", e dopo tre ore di intervento in SSH rescue abbiamo messo oltre modo in sicurezza la macchina, cambiato boot (da net a hd) tirato su il server e proseguito con altri hack e patch (soprattutto a livello di firewall e disabilitazione di alcune funzioni PHP).

Ordinato quindi un secondo server (due giorni di attesa per la sua consegna) e trasferiti i 400 GB tramite migration manager di Plesk, alla velocità di praticamente 100 Mbps (le due macchine devono essere nella stessa sala dati).

Un plauso quindi a Torpado ed agli amici (Leonardo) del supporto tecnico italiano e, per contro, una chiara e netta censura del comportamento tenuto da OVH a livello di datacenter in Francia. Ma su questo interverrò con altri post, se la community che qui ci legge vuol sapere altre cose ancora.

Comunque, è stato un incubo che non consiglio neanche al peggior nemico.
La cosa poi davvero triste è che noi non abbiamo trovato alcuna traccia di questi port-scan, anche se ciò potrebbe avere come spiegazione il fatto che il processo da cui essi si erano generati era in RAM a partire da uno script uploadato in /tmp (non avevamo attuato il suo hardening), per cui al primo riavvio della macchina, adios muchachos y compañeros.

bago
07.03.2009, 23.15
@dvfarm: se OVH controlla semplicemente che vede partire dal tuo MAC address dei netscan non vedo come possa distinguere se l'attività sia in una macchina virtuale o nella macchina fisica. Per fare questo dovrebbero entrare nella macchina e fare parecchie analisi, ho paura che non sia plausibile facciano qualcosa del genere. Forse il fatto che fosse una VM permette una più veloce risoluzione del problema...

@fucine: non hai ancora risolto il problema?

fucine
07.03.2009, 21.21
Non vedo differenze tra VDS e DS. Che sia virtuale o meno un server è sempre un server, no? Comuque questo thread penso vedrà a breve l'aggiunta di parecchi altri post...

dvfarm
05.03.2009, 10.59
Avrei una domanda collegata ...

Se ad essere violata e' una virtual machine e non il server fisico che la ospita viene bloccato ugualmente tutto o viene disattivato solo l'ip incriminato ?

Ciao

fucine
02.03.2009, 21.06
Quello c'è, ma ci sono anche 400 GB di dati da preservare, e via FTP a 4 Mbps la vedo un po' dura... foss'anche solo per una questione di timeout con sleppe da 20 giga e passa (file unici).

gio01
02.03.2009, 20.37
ma l'account ftp di backup neanche accesso hai?

fucine
02.03.2009, 19.29
Citazione Originariamente Scritto da gio01
Buon x te
Buon per noi tutti se al di là della ferrea ed integerrima applicazione delle regole (SLA et alia) esiste anche un sano principio di buon senso, che non viene meno in situazioni di emergenza.

gio01
02.03.2009, 17.04
Buon x te

fucine
02.03.2009, 17.00
Parlato con Torpado a telefono poco fa. Gentilissimo come sempre, ovvero gentile anche a telefono, oltre che sul forum, dove ho più volte avuto modo di apprezzare la qualità anche umana e non solo tecnica dei suoi interventi precisi e puntuali.

Detto questo sembra che sia possibile attivare il server in modalità SSH rescue, per poter noi provvedere alle patch del caso.

Adesso scrivo un lungo email a supporto@ovh.it spiegando come avremmo intenzione di procedere per la messa in sicurezza della macchina o per la sanitizzazione di eventuali script PHP insicuri (o la rimozione tout court di virtual host a rischio).

Vediamo come va a finire. Io sono ottimista per natura (anche in situazioni disperate come queste). A dopo per gli aggiornamenti. Ciao a tutti.

fucine
02.03.2009, 16.32
Citazione Originariamente Scritto da torpado
Questa email è stata inviata anche al momento della messa in hack all'indirizzo email principale del suo nic-handle.
Sì, peccato che quel dominio era attestato sul server messo off-line, e peccato altresì che dallo storico delle mail via Manager questa comunicazione non risultasse in alcun modo presente.

Tutto questo per dire appena adesso mi si è spiegato perché il server si trova in queste condizioni. Resta il fatto che un rescue mode SSH sarebbe stato "gradito", e che continuiamo a chiederlo, perché è inammissibile - e lasciamo stare per una buona volta lo SLA - che:

1. appena adesso io capisca il perché dell'accaduto
2. mi si sia messo subito in questo stato senza avermi consentito di provvedere ad applicare le patch del caso

Sempre appena adesso scopro che lo scan è avvenuto via utenza root, il che mi sembra davvero grave e a maggior ragione vorrei capire il perché se solo me ne si desse possibilità in tal senso.

Grazie per la risposta.

fucine
02.03.2009, 16.27
Riporto mia recente risposta:

A proposito del port-scan:

> omissis - omissis - omissis - omissis - omissis - omissis -

Me lo spiegate - di grazia - come mai potremmo tracciare l'utente che ha determinato l'attual stato delle cose se non ci date un accesso SSH anche in modalità rescue?

Se spianiamo il server compromesso, senza sapere perché la compromissione sia avvenuta e senza poter evitare che in seguito essa possa nostro malgrado ripresentarsi, allora mi spiegate che senso avrebbe tutta l'operazione di reinstallazione del sistema operativo?

Me lo spiegate? E' una questione di buon senso, sant'iddio!
Ciò detto siamo davvero sicuri che non ci sia altra via d'uscita?
Mi tocca davvero noleggiare un altro server e fare il restore nella speranza che il disco di quello compromesso possa essere montato via USB on in slave mode? Consigli per un noleggio che preveda un server in grado di alloggiare come slave il disco in questione? Oppure tutti i server della serie SP (ad esempio http://www.ovh.it/privato/prodotti/s...an_storage.xml) vanno bene, in quanto via USB sarebbe possibile montare il disco?

torpado
02.03.2009, 16.08
Citazione Originariamente Scritto da fucine
Per vostra conoscenza:

Nessuna risposta ancora, e il tempo passa, dannato che sia (se ne stesse fermo per qualche ora).
Dal supporto le è appena stata inviata l'email che riporta il log degli scan effettuati a partire dalla sua macchina.

Questa email è stata inviata anche al momento della messa in hack all'indirizzo email principale del suo nic-handle.

Come da accordi telefonici ho chiesto informazioni per verificare se fosse possibile una soluzione differente dalla reinstallazione, vista la quantità di dati da spostare.
Purtroppo non è possibile in quanto lo scan è partito da utenza root.
Riattivare la macchina in questo caso sarebbe un rischio.

L'unica soluzione è procedere al salvataggio e reinstallare il server.

fucine
02.03.2009, 13.27
Per vostra conoscenza:

Signori, scusate un attimo: qui mi si chiude un ticket
chilometrico senza neanche avermi dato alcuna spiegazione
sull'accaduto. Senza neanche avermi dato evidenza dei LOG
dei port scan.
Si legga http://forum.ovh.it/showthread.php?t=593

####### torpado OVH Team #######

quando una macchina viene sospesa, soprattutto nel caso in
cui la sospensione è dovuta ad uno scan a partire dalla
propria macchina dopo la ricezione di un attacco, un'email
viene inviata con il log delle scansioni effettuate.

####### torpado OVH Team #######

Io non ho mai ricevuto questa comunicazione nello storico
delle mail del mio pannello Manager. E quindi?
Si può sapere cosa sia accaduto? Per favore e potete dirmi
come avete intenzione di procedere? Qui il tempo passa ed i
clienti telefonano chiedendo spiegazioni...
E' possibile attivare un nuovo server ***** (omissis) e quindi
far in modo che uno dei dischi della macchina compromessa
sia attaccata via USB a questo nuovo server per poter noi
procedere con i restore del caso?

Per favore: UNA RISPOSTA, non chiedo tanto... Peraltro ho
sempre onorato i miei pagamenti e vorrei sapere perché mi
trovo adesso nell'impossibilità di fruire del bene e/o del
servizio per cui ho pagato.

Cordiali saluti,
Nessuna risposta ancora, e il tempo passa, dannato che sia (se ne stesse fermo per qualche ora).

fucine
02.03.2009, 13.24
Citazione Originariamente Scritto da gio01
credo che qui la situazione stia un pò peggiorando... ti consiglio di chiamare.. sul forum si risolvi ma molto lentamente
Peraltro, come da TT aperto:

Utilizzando l'account FTP in rescue mode abbiamo analizzato tutti i LOG possibili ed immaginabili e non troviamo alcuna evidenza di port scan o tentativi di hack andati a buon fine o comuque anche solo iniziati. Né ci sembra in alcun modo che la macchina sia stata compromessa.
Peraltro continuo ad insistere su un fatto: come mai non ci è stata data alcuna evidenza ai port scanning effettuati, cosa che in questi casi deve accadere, prima che la macchina sia posta in FTP rescue mode?

Sarà mica un caso che noi non s'abbia avuto queste info anche perché a nostra stessa evidenza e riprova NON un solo port scanning si è verificato dal nostro server?
Insomma ad oggi io ANCORA NON SO per qual motivo mi trovo con la macchina in ginocchio.
Sarebbe gradita l'esibizione immediata di una vostra prova documentale in tal senso prodotta.
La attendo gentilmente il prima possibile.
Adesso, comunque, vi ri-telefono (anche in Francia, se necessario).

Un cordiale saluto,
Bella storia, no? Un po' kafkiana, a dire il vero...

gio01
02.03.2009, 12.33
credo che qui la situazione stia un pò peggiorando... ti consiglio di chiamare.. sul forum si risolvi ma molto lentamente

fucine
02.03.2009, 12.26
Citazione Originariamente Scritto da gio01
guarda nello storico email da manager... li ci sono al 100%
niente da fare, non ci sono riferimenti... Torpado: come mai? Insomma ho il server in rescue FTP e non so manco perché, non ad evidenza scritta...

gio01
02.03.2009, 11.26
guarda nello storico email da manager... li ci sono al 100%

fucine
02.03.2009, 11.23
Citazione Originariamente Scritto da torpado
quando una macchina viene sospesa, soprattutto nel caso in cui la sospensione è dovuta ad uno scan a partire dalla propria macchina dopo la ricezione di un attacco, un'email viene inviata con il log delle scansioni effettuate.
Sì, ma - ripeto - tutto ciò non è avvenuto in alcun modo. da manager io vedo solo il messaggio che ho postato sopra, e non altri ad esso hanno fatto in alcun modo seguito, o che l'hanno anticipato che dir si voglia.
quindi se mi si dà cortese evidenza di questo port scanning allora te ne sarei grato.

torpado
02.03.2009, 11.06
Citazione Originariamente Scritto da fucine
Sembra che il server sia stato bucato e messo in rescue FTP per via del fatto che alcuni port-scanning stavano determinandosi. Peccato che ciò non sia stato piegato via Manager e che io l'abbia saputo appena 'sta mattina, chiacchierando con il supporto tecnico italiano.
quando una macchina viene sospesa, soprattutto nel caso in cui la sospensione è dovuta ad uno scan a partire dalla propria macchina dopo la ricezione di un attacco, un'email viene inviata con il log delle scansioni effettuate.

fucine
02.03.2009, 10.34
Sembra che il server sia stato bucato e messo in rescue FTP per via del fatto che alcuni port-scanning stavano determinandosi. Peccato che ciò non sia stato piegato via Manager e che io l'abbia saputo appena 'sta mattina, chiacchierando con il supporto tecnico italiano.

fucine
02.03.2009, 09.00
Torpado, ci sono novità? ticketId=68226 (ed aspetta almeno una risposta - dico una sola - da più di dodici ore). Mi ritrovo con un server irraggiungibile, nessuno che mi sa dire qual sia la ragione di questo stato delle cose, e per giunta non una risposta ad un TT che uno di quelli da vera e propria emergenza? Confido in una risoluzione...

gio01
01.03.2009, 22.50
Credo che si sia corrotto il server...
eh l'unica soluzione scaricare tutto ...400 giga xò cazzarola ..

fucine
01.03.2009, 21.09
Citazione Originariamente Scritto da Liftoff
Hai avuto qualche warning?
nessuno, nada de nada.
Citazione Originariamente Scritto da Liftoff
Certo che è strano,specie perchè il server (da come ho capito) l'hai rebootato tu,quindi non ti è stato "tolto",poi però perchè mettere solo accesso in Ftp ed in sola lettura?Sostanzialmente ti danno la possibilità di recuperare i dai,quasi volessero "sfrattarti",ma mi auguro di no
Di fatto il server era overloaded ed un reboot via Manager non si nega a nessuno.
Poi però la macchina non è tornata su in modalità normale e - badate bene! - neanche in modalità rescue. Il che significa che esso è pingabile ma nessun servizio attivo (men che meno SSH) a parte FTP per il dump dei dati.
Ve l'immaginate il download di 400 e passa GB di backup da /mnt/var/lib/psa/dumps? E' un incubo cui non voglio nemmeno pensare, soprattutto disponendo io di una SHDSL FW da 4 Mbps.
Insomma di solito queste cose accadono quando una macchina sia stata compromessa, ma non penso proprio questa sia la nostra situazione anche perché - ripeto - non una comunicazione ci è in tal senso giunta quale giustificazione della messa del server in quello stato.
Suggerimenti (a parte un cero a Lourdes)?

E aggiungo che il Manager adesso mi riporta tutti i controlli del server in grigetto, quindi ho tutto disabilitato. Non posso fare alcunché né alcuncosa, a parte quell'FTP provvisorio... Brutta situazione davvero.

fucine
01.03.2009, 21.04
Citazione Originariamente Scritto da TheDarkITA
Magari rispondessero! Mi son fatto una bella chiacchiaerata in inglese con il supporto tecnico francese, che risponde al numero (segnatevelo): 0033 974531323. Per fortuna dall'altra parte c'era un ragazzo che parlava perfettamente e che perfettamente mi capiva. Mi ha detto che entro due ore un ingegnere in sala dati a Roubaix avrebbe fatto il punto della situazione...

Liftoff
01.03.2009, 20.57
Hai avuto qualche warning?

Certo che è strano,specie perchè il server (da come ho capito) l'hai rebootato tu,quindi non ti è stato "tolto",poi però perchè mettere solo accesso in Ftp ed in sola lettura?Sostanzialmente ti danno la possibilità di recuperare i dai,quasi volessero "sfrattarti",ma mi auguro di no

TheDarkITA
01.03.2009, 20.53
Qui ci sono i contatti telefonici:
http://www.ovh.it/privato/spazioclie...ection=privato

fucine
01.03.2009, 20.28
Dopo nostra richiesta di reboot hardware il server sembra non esser tornato su, neanche in modalità rescue, né da Manager ci è data possibilità di riavviarlo o di scegliere un altro boot manager.
Peraltro ci giunge questo messaggio:

##############################
Buon giorno,
il Vostro server è riavviato in modalità speciale al fine di permetterVi di recuperare i Vostri dati.
Disponete di un accesso FTP in sola lettura ed ecco i parametri per l'utilizzo:
- nome utente : rootftp
- password : ********
##############################

Messaggio che di solito è l'ultima spiaggia, ovvero quando e solo dopo che una macchina sia stata compromessa.

Ho quindi prontamente aggiunto un TT da Manager:

##############################
Il server è stato riavviato di recente, solo che dopo tale richiesta di riavvio la macchina non è tornata su e da manager trovo la seguente comunicazione:

Buon giorno,
il Vostro server è riavviato in modalità speciale al fine di permetterVi di recuperare i Vostri dati.
Disponete di un accesso FTP in sola lettura ed ecco i parametri per l'utilizzo:
- nome utente : rootftp
- password : ********


Domanda: per qual motivo il server non torna on-line, con tutti i servizi previsti? Quanto meno SSH?

Vi prego, la cosa è ovviamente urgente, e sarebbe importante capire le cause dell'accaduto.

Un cordiale saluto
##############################

In questi casi cosa fare? Come ottenere un contatto diretto, magari parlando a telefono con qualcuno in Francia? Purtroppo adesso è domenica sera...
Torpado: se ci sei batti, ti prego, un colpo.