azrael666x
30.05.2012, 17.17
Tradotto
Rete BHS
oles@ovh.net
26.05.2012, 20.12
Buongiorno,
abbiamo parlato dell'edificio, della rete elettrica, delle torri e dei server per la BETA ma “cosa c'è di nuovo” a livello di rete in BHS?
Avanza. ad ogni settimana, sempre in meglio!
Al momento abbiamo tre coppie di fibre tra il nostro DC in BHC e Montreal. Abbiamo deciso di creare il nostro POP principale a Montreal, a Cologix 3 (ex Canix 3). Abbiamo alcune rack, 2 router ed una “piccola” 60 Gbps verso New York/Toronto/Londra. Fatto interessante: Montreal/Londra non passa per gli Stati Uniti, ma è diretto dal Canada.
Questa è la rete che ci permette l'ALFA e la BETA. La terremo anche successivamente, per avere una connettività eccellente verso Montreal.
In parallelo, stiamo lavorando sulla messa a punto di di una rete ad alta capacità ed alta disponibilità tra:
BHS e New York (senza passare per Montreal)
BHS e Chicago (senza passare per Montreal)
L'obiettivo è quello di ridurre la latenza (in modo da non tornare a Montreal) e gestire la banda passante ad alta capacità tra il nostro DC a BHS ed i due nostri POP principali negli Stati Uniti: New York, NY e Chicago, IL.
Uno dei nostri valori aggiunti è la rete e la qualità della banda passante. Arriviamo a fornire questo servizio perché compriamo in Europa la fibra spenta, scegliamo le apparecchiature per accendere la fibra e la rete è gestita dalle nostre squadre.
Dal momento che vogliamo replicare negli Stati Uniti il modello di business che ci ha fatto avere successo in Europa, ci è indispensabile operare direttamente sulle fibre ottiche.
E non è semplice. Perché? Perché gli operatori storici in realtà non vogliono venderci la fibra e lasciarla gestire a noi. Preferiscono gestire la fibra per noi e venderci un servizio managed. Ci si è posto quindi un problema di modello di business (e quindi di prezzo), ma soprattutto questo approccio ci impedisce di godere di innovazioni tecnologiche (ad esempio la 100G coerente) e darne beneficio ai nostri clienti.
Culturalmente, gli operatori qui non vendono o non comprano la fibra, ma la scambiano (swap) con un rapporto “1 metro per 1 metro”. Occorre dunque investire nelle reti (fare del GC, scavare la terra) per poi in seguito proporre gli scambi di fibre. Fortunatamente non tutti scambiano...
E allora? Questa rete?
Firmeremo nei prossimi giorni per una coppia di fibre tra Montreal e New York (via Albany) con un operatore che vuole discutere con noi. Questo ci permetterà di raggiungere la nostra rete con 100G coerenti e connettere il nostro DC a New York con una capacità di 1 Tbps iniziali. Questa rete dovrebbe essere operativa in Agosto/Settembre.
Stiamo discutendo in parallelo con un operatore su una seconda rotta (ridondante) tra Montreal e New York. Questa ci potrà portare in 2-3 settimane ad una rete pronta per Settembre. Lo scopo è quello di avere due rotte e la ridondanza.
Come fare ridondanza?
Per assicurare la ridondanza, una delle soluzioni è quella di prendere i circuiti 10G su una delle rotte e circuiti da 10G su altre rotte. Poi collegarle tutte ai router. Con il protocollo di routing OSPF/BGP, il router userà la strada che è UP, e se è DOWN, il router ricalcolerà il percorso da utilizzare.
Il problema di questa soluzione è che funziona bene su reti di piccole dimensioni da 50-100G, ma non nel nostro caso con 1 Tbps iniziale che punta a 8 Tbps. Connettere 1 Tbps di banda passante reale significa capacità di connessione a 2 Tbps. Ciò significa 200x 10G invece di 100x 10G. E' una soluzione molto costosa dato che ogni circuito 10G costa molto, così come ogni porta 10G su un router. Ma soprattutto il router è rapidamente limitato nel numero di porte per chassis. Quindi questo significa diversi chassis di router ed alla fine una backbone troppo complessa da gestire.
E noi vogliamo una backbone semplice ed economica.
La soluzione che vogliamo è usare due rotte ottiche e di fare il failover a livello ottico e non a livello di IP su router. Al livello 1 e non al livello 3. Cioè che le 100x 10G che sono collegate ai router siano sempre UP ed il sistema ottico in cima utilizzi una o le altre rotte ottiche. Si chiamano “circuiti protetti” e con 100G coerenti diventa molto conveniente.
Pertanto è necessario operare le fibre ottiche in proprio. Le attrezzature ottiche sulle 2 rotte devono essere tutte della stessa marca e devono comunicare insieme. Questo allo scopo di far oscillare la rotta ottica in < 200ms, se c'è un guasto.
Sempre su Monteral / New York, si discute una terza rotta con un altro operatore che ha della fibra tra la frontiera canadese ed Albany, NY più un altro operatore che ha fibra tra Albany, NY e New York, NY. Una terza scelta dunque. Tenuto conto che abbiamo bisogno di 2 per garantire la SLA del 100%, va più che bene
Continuiamo sulla nostra rete.
Sull'altro lato di Montreal, verso Toronto, è un po' più complicato, anche se abbiamo diverse discussioni in corso. Infatti, la legge richiede che per diventare un operatore in Canada l'80% della proprietà deve essere detenuta da canadesi che risiedono in Canada. Ci sono dunque 4-5 grandi operatori, poca concorrenza e dunque pochi nuovi investimenti. Gli ultimi sono datati 1999-2001. Da allora gli operatori sfruttano le fibre che ci sono e le tengono per loro.
Ma si arriva comunque a stabilire dei contatti ed avanzare il nostro progetto. Inizialmente su una fibra ottica tra Montreal e Toronto via Ottawa con un operatore che ce lo ha proposto. Non si abbiamo ancora raggiunto un'intesa perché non è Toronto che a noi interessa ma Chicago, IL.
Tra Toronto e Chicago, IL ci sono 2 rotte:
via Buffalo, NJ
via Detroit, MI
E qui le cose si complicano. Sulla strada tra Toronto e Detroit, MI e Detroit, MI e Chicago, IL abbiamo 3 operatori che hanno la fibra ed è la stessa tra Buffalo, NY e Chicago, IL. Ma le discussioni sono complesse. E lo stesso avviene sulla route Toronto Buffalo, NJ. Perché?
Poiché si arriva sulle rotte tra le 3 sacche: New York, Toronto, Chicago. Queste strade sono molto corte e dirette, dunque “low latency” e dunque utilizzate per la HFT (High-Frequency Trading) che fanno trading ad alta velocità. Qui i Server passano gli ordini alle sacche per speculare sugli ordini che altri hanno passato in precedenza. Lo scopo è di calcolare le differenze tra gli ordini e passarli prima degli altri, approfittando delle piccole differenze per guadagnare denaro.
Ci sono aziende che sono disposte a pagare Milioni di dollari per ottenere qualche ns (si ns, non ms) e passare gli ordini sulle borse prima dei loro concorrenti per speculare sulla borsa. E dunque lì è molto complesso negoziare fibra spenta su queste strade poiché è molto costoso e gli operatori sul posto non vogliono assolutamente nuovi concorrenti (per continuare a far soldi). Dunque, i problemi sono soprattutto tra Toronto e gli USA. E' per questo che discutiamo con molti operatori sulla costruzione in collaborazione di una nuova rete tra Montreal e Toronto via A20 anziché passare per Ottawa. Anche se è un progetto su 2 anni, è molto interessante poiché la rete in questione sarà più breve e dunque più rapida. Ed anche ridondante con quella dalla parte di Ottawa. E per noi sarà possibile fare anche operazioni di swap.
E dopo New York e Chicago?
Una volta arrivati a New York, NY e Chicago, IL sarà un po' più semplice negoziare fibra. Anche se gli operatori si riscattano e svuotano il mercato di fibra spenta (forzando a proporre dei servizi managed) esistono sempre operatori la cui fibra spenta è l'affare principale. Si ha dunque la fibra tra New York, NY ed Ashburn, VA – Atlanta, GA – Miami, FL. Perché Miami? Miami è un punto molto importante poiché tutti gli operatori del Sudamerica arrivano a Miami (Brasile, Argentina, ecc.) e cercano di scambiare traffico.
Perché una fibra a Miami? Con 100G coerenti è possibile spingere il segnale ottico su 3500km senza rigenerarlo. La tecnologia attuale su 10G (che utilizziamo in Europa) permette di fare 700km massimo. Ciò che vogliamo è dunque generare il segnale a Montreal e spingerlo fino a Miami senza rigenerarlo. E dunque senza costi inutili e con latenza bassa. Una vera innovazione nel mondo delle telecomunicazioni soprattutto negli USA dove le distanze da costa a costa sono di circa 7500km (la distanza per la fibra ottica). Rigenerare il segnale ottico con 10G per tutti i 700km, contro 10x 100G di segnale ottico ogni 3500 km o 2x 10x significa maggiore banda passante e 5x più economico. L'impatto sui prezzi della banda passante tra Montreal e Los Angeles è diretta: 50x meno costoso. Cioè avere per lo stesso prezzo 50x più banda passante. Molto interessante.
E la nostra rete in tutto questo?
Sul lato occidentale, I POP che vogliamo che raggiungeranno banda passante ad alta capacità sono Los Angeles, CA e Palo Alto, CA. Su questi 2 POP ci saranno tutti gli operatori asiatici (Giapppone, Cina, Singapore) e Australia. Si potrà andare in fibra quando il POP di Chicago, IL sarà collegato direttamente a BHS. Intanto sarà con 10G.
Altrimenti?
In caso contrario, abbiamo decine di proposte di 10G su diverse route. Proposte 10G standard come quelle che abbiamo costruito nella nostra rete gestita. Ci costa un occhio, ma è un'alternativa possibile.
Alla fine, la rete che vogliamo avere negli USA è la seguente: http://yfrog.com/z/h0l8uahj
Nulla di che
Ecco qua. Fare la rete non è mai stato semplice. Se fosse semplice, tutti lo farebbero. Se fosse semplice, non si avrebbe nessun valore aggiunto. Se non ci fossero delle sfide da affrontare in questo progetto, non lo avremmo iniziato. In breve, cercavamo la sfida, e possiamo dire che l'abbiamo trovata
Visto lo stato delle discussioni in 6 mesi e visto che ogni settimana porta il suo flusso di (buone) notizie, si sa che si arriverà a garantire ai nostri clienti banda passante ad alta capacità, la ridondanza e dunque la SLA del 100% con basse latenze.
Saluti,
Octave
abbiamo parlato dell'edificio, della rete elettrica, delle torri e dei server per la BETA ma “cosa c'è di nuovo” a livello di rete in BHS?
Avanza. ad ogni settimana, sempre in meglio!
Al momento abbiamo tre coppie di fibre tra il nostro DC in BHC e Montreal. Abbiamo deciso di creare il nostro POP principale a Montreal, a Cologix 3 (ex Canix 3). Abbiamo alcune rack, 2 router ed una “piccola” 60 Gbps verso New York/Toronto/Londra. Fatto interessante: Montreal/Londra non passa per gli Stati Uniti, ma è diretto dal Canada.
Questa è la rete che ci permette l'ALFA e la BETA. La terremo anche successivamente, per avere una connettività eccellente verso Montreal.
In parallelo, stiamo lavorando sulla messa a punto di di una rete ad alta capacità ed alta disponibilità tra:
BHS e New York (senza passare per Montreal)
BHS e Chicago (senza passare per Montreal)
L'obiettivo è quello di ridurre la latenza (in modo da non tornare a Montreal) e gestire la banda passante ad alta capacità tra il nostro DC a BHS ed i due nostri POP principali negli Stati Uniti: New York, NY e Chicago, IL.
Uno dei nostri valori aggiunti è la rete e la qualità della banda passante. Arriviamo a fornire questo servizio perché compriamo in Europa la fibra spenta, scegliamo le apparecchiature per accendere la fibra e la rete è gestita dalle nostre squadre.
Dal momento che vogliamo replicare negli Stati Uniti il modello di business che ci ha fatto avere successo in Europa, ci è indispensabile operare direttamente sulle fibre ottiche.
E non è semplice. Perché? Perché gli operatori storici in realtà non vogliono venderci la fibra e lasciarla gestire a noi. Preferiscono gestire la fibra per noi e venderci un servizio managed. Ci si è posto quindi un problema di modello di business (e quindi di prezzo), ma soprattutto questo approccio ci impedisce di godere di innovazioni tecnologiche (ad esempio la 100G coerente) e darne beneficio ai nostri clienti.
Culturalmente, gli operatori qui non vendono o non comprano la fibra, ma la scambiano (swap) con un rapporto “1 metro per 1 metro”. Occorre dunque investire nelle reti (fare del GC, scavare la terra) per poi in seguito proporre gli scambi di fibre. Fortunatamente non tutti scambiano...
E allora? Questa rete?
Firmeremo nei prossimi giorni per una coppia di fibre tra Montreal e New York (via Albany) con un operatore che vuole discutere con noi. Questo ci permetterà di raggiungere la nostra rete con 100G coerenti e connettere il nostro DC a New York con una capacità di 1 Tbps iniziali. Questa rete dovrebbe essere operativa in Agosto/Settembre.
Stiamo discutendo in parallelo con un operatore su una seconda rotta (ridondante) tra Montreal e New York. Questa ci potrà portare in 2-3 settimane ad una rete pronta per Settembre. Lo scopo è quello di avere due rotte e la ridondanza.
Come fare ridondanza?
Per assicurare la ridondanza, una delle soluzioni è quella di prendere i circuiti 10G su una delle rotte e circuiti da 10G su altre rotte. Poi collegarle tutte ai router. Con il protocollo di routing OSPF/BGP, il router userà la strada che è UP, e se è DOWN, il router ricalcolerà il percorso da utilizzare.
Il problema di questa soluzione è che funziona bene su reti di piccole dimensioni da 50-100G, ma non nel nostro caso con 1 Tbps iniziale che punta a 8 Tbps. Connettere 1 Tbps di banda passante reale significa capacità di connessione a 2 Tbps. Ciò significa 200x 10G invece di 100x 10G. E' una soluzione molto costosa dato che ogni circuito 10G costa molto, così come ogni porta 10G su un router. Ma soprattutto il router è rapidamente limitato nel numero di porte per chassis. Quindi questo significa diversi chassis di router ed alla fine una backbone troppo complessa da gestire.
E noi vogliamo una backbone semplice ed economica.
La soluzione che vogliamo è usare due rotte ottiche e di fare il failover a livello ottico e non a livello di IP su router. Al livello 1 e non al livello 3. Cioè che le 100x 10G che sono collegate ai router siano sempre UP ed il sistema ottico in cima utilizzi una o le altre rotte ottiche. Si chiamano “circuiti protetti” e con 100G coerenti diventa molto conveniente.
Pertanto è necessario operare le fibre ottiche in proprio. Le attrezzature ottiche sulle 2 rotte devono essere tutte della stessa marca e devono comunicare insieme. Questo allo scopo di far oscillare la rotta ottica in < 200ms, se c'è un guasto.
Sempre su Monteral / New York, si discute una terza rotta con un altro operatore che ha della fibra tra la frontiera canadese ed Albany, NY più un altro operatore che ha fibra tra Albany, NY e New York, NY. Una terza scelta dunque. Tenuto conto che abbiamo bisogno di 2 per garantire la SLA del 100%, va più che bene
Continuiamo sulla nostra rete.
Sull'altro lato di Montreal, verso Toronto, è un po' più complicato, anche se abbiamo diverse discussioni in corso. Infatti, la legge richiede che per diventare un operatore in Canada l'80% della proprietà deve essere detenuta da canadesi che risiedono in Canada. Ci sono dunque 4-5 grandi operatori, poca concorrenza e dunque pochi nuovi investimenti. Gli ultimi sono datati 1999-2001. Da allora gli operatori sfruttano le fibre che ci sono e le tengono per loro.
Ma si arriva comunque a stabilire dei contatti ed avanzare il nostro progetto. Inizialmente su una fibra ottica tra Montreal e Toronto via Ottawa con un operatore che ce lo ha proposto. Non si abbiamo ancora raggiunto un'intesa perché non è Toronto che a noi interessa ma Chicago, IL.
Tra Toronto e Chicago, IL ci sono 2 rotte:
via Buffalo, NJ
via Detroit, MI
E qui le cose si complicano. Sulla strada tra Toronto e Detroit, MI e Detroit, MI e Chicago, IL abbiamo 3 operatori che hanno la fibra ed è la stessa tra Buffalo, NY e Chicago, IL. Ma le discussioni sono complesse. E lo stesso avviene sulla route Toronto Buffalo, NJ. Perché?
Poiché si arriva sulle rotte tra le 3 sacche: New York, Toronto, Chicago. Queste strade sono molto corte e dirette, dunque “low latency” e dunque utilizzate per la HFT (High-Frequency Trading) che fanno trading ad alta velocità. Qui i Server passano gli ordini alle sacche per speculare sugli ordini che altri hanno passato in precedenza. Lo scopo è di calcolare le differenze tra gli ordini e passarli prima degli altri, approfittando delle piccole differenze per guadagnare denaro.
Ci sono aziende che sono disposte a pagare Milioni di dollari per ottenere qualche ns (si ns, non ms) e passare gli ordini sulle borse prima dei loro concorrenti per speculare sulla borsa. E dunque lì è molto complesso negoziare fibra spenta su queste strade poiché è molto costoso e gli operatori sul posto non vogliono assolutamente nuovi concorrenti (per continuare a far soldi). Dunque, i problemi sono soprattutto tra Toronto e gli USA. E' per questo che discutiamo con molti operatori sulla costruzione in collaborazione di una nuova rete tra Montreal e Toronto via A20 anziché passare per Ottawa. Anche se è un progetto su 2 anni, è molto interessante poiché la rete in questione sarà più breve e dunque più rapida. Ed anche ridondante con quella dalla parte di Ottawa. E per noi sarà possibile fare anche operazioni di swap.
E dopo New York e Chicago?
Una volta arrivati a New York, NY e Chicago, IL sarà un po' più semplice negoziare fibra. Anche se gli operatori si riscattano e svuotano il mercato di fibra spenta (forzando a proporre dei servizi managed) esistono sempre operatori la cui fibra spenta è l'affare principale. Si ha dunque la fibra tra New York, NY ed Ashburn, VA – Atlanta, GA – Miami, FL. Perché Miami? Miami è un punto molto importante poiché tutti gli operatori del Sudamerica arrivano a Miami (Brasile, Argentina, ecc.) e cercano di scambiare traffico.
Perché una fibra a Miami? Con 100G coerenti è possibile spingere il segnale ottico su 3500km senza rigenerarlo. La tecnologia attuale su 10G (che utilizziamo in Europa) permette di fare 700km massimo. Ciò che vogliamo è dunque generare il segnale a Montreal e spingerlo fino a Miami senza rigenerarlo. E dunque senza costi inutili e con latenza bassa. Una vera innovazione nel mondo delle telecomunicazioni soprattutto negli USA dove le distanze da costa a costa sono di circa 7500km (la distanza per la fibra ottica). Rigenerare il segnale ottico con 10G per tutti i 700km, contro 10x 100G di segnale ottico ogni 3500 km o 2x 10x significa maggiore banda passante e 5x più economico. L'impatto sui prezzi della banda passante tra Montreal e Los Angeles è diretta: 50x meno costoso. Cioè avere per lo stesso prezzo 50x più banda passante. Molto interessante.
E la nostra rete in tutto questo?
Sul lato occidentale, I POP che vogliamo che raggiungeranno banda passante ad alta capacità sono Los Angeles, CA e Palo Alto, CA. Su questi 2 POP ci saranno tutti gli operatori asiatici (Giapppone, Cina, Singapore) e Australia. Si potrà andare in fibra quando il POP di Chicago, IL sarà collegato direttamente a BHS. Intanto sarà con 10G.
Altrimenti?
In caso contrario, abbiamo decine di proposte di 10G su diverse route. Proposte 10G standard come quelle che abbiamo costruito nella nostra rete gestita. Ci costa un occhio, ma è un'alternativa possibile.
Alla fine, la rete che vogliamo avere negli USA è la seguente: http://yfrog.com/z/h0l8uahj
Nulla di che
Ecco qua. Fare la rete non è mai stato semplice. Se fosse semplice, tutti lo farebbero. Se fosse semplice, non si avrebbe nessun valore aggiunto. Se non ci fossero delle sfide da affrontare in questo progetto, non lo avremmo iniziato. In breve, cercavamo la sfida, e possiamo dire che l'abbiamo trovata
Visto lo stato delle discussioni in 6 mesi e visto che ogni settimana porta il suo flusso di (buone) notizie, si sa che si arriverà a garantire ai nostri clienti banda passante ad alta capacità, la ridondanza e dunque la SLA del 100% con basse latenze.
Saluti,
Octave