Eine kleine Geschichte der Kupfer SFP Module - Teil 1: Allgemeines und 1 Gbit

[alf29]

Kupfer-SFP-Module sind ein schwer zu durchdringendes Thema – so schwer, das sie es vor ein paar Monaten sogar in den LANCOM Community Talk geschafft haben. Ich schlage mich als Firmware-Entwickler bei LANCOM Systems seit einigen Jahren mit diesem Themenkomplex herum und habe mich entschieden, nach dem soundsovielsten Posting einmal das zusammenzutragen, was man sinnvoll zu dem Thema sagen kann. Ich werde mit den Erklärungen nicht bei Adam und Eva anfangen, etwas Vorwissen über SFP-Module und Ethernet im allgemeinem ist also für das Verständnis nützlich. Ein klein wenig ausholen muss ich dafür aber schon:

SFP steht für 'Small Form-factor Pluggable' und entstand aus der Tatsache heraus, dass es für Glasfaser-Netzwerkverbindungen so viele verschiedene Physical Layer gab und gibt:

• Multimode oder Singlemode Fasern?
• Getrennte Fasern für beide Datenrichtungen oder
nur eine Faser mit Wellenlängen-Multiplex?
• Bei Singlemode Fasern: Welche Wellenlänge, welche
• Optische Sendeleistung und welche daraus resultierende
maximale Reichweite?

Es ist für den Anbieter einer Glasfaser-Netzwerkkarte irgendwann unökonomisch, für jeden Physical Layer eine eigene Variante der Karte zu bauen und zu vertreiben; sinnvoller ist es, die eigentliche 'Optik', also den Transceiver in ein austauschbares Modul zu verlagern. Dieser Transceiver besteht – salopp gesagt - nur aus einer Leucht- und einer Fotodiode, die das vom Ethernet-MAC gelieferte serielle Signal in Lichtpulse umwandeln, bzw. in Empfangsrichtung das Umgekehrte tut. Je nach verwendetem Physical Layer und Bitrate sind dies natürlich keine einfachen Leucht-, sondern Laserdioden, die sich mit deutlich höheren Frequenzen ein- und ausschalten lassen und einen scharf fokussierten Lichtstrahl liefern, den man in eine Glasfaser mit wenigen Mikrometern Durchmesser einkoppeln kann.

Bei Gigabit-Ethernet hat das auf der Faser übertragene Signal übrigens eine Bitrate von 1,25 Gbit, weil das serielle Signal für den Empfänger so kodiert werden muss, dass er daraus den Takt rekonstruieren kann, mit dem die Daten gesendet werden. Aus acht 'Netto-Bits' werde so 'brutto' derer zehn. Bei 10 Gbit-Ethernet auf Glasfasern kommt eine etwas schlauere Kodierung zum Einsatz, die aus 64 Netto-Bits derer 66 macht; daraus ergibt sich auf der Faser eine Brutto-Bitrate von 10*66/64 = 10,3125 Gbit.

Neben Sende- und Empfangsdiode enthält jedes SFP-Modul noch eine dritte Komponente, nämlich einen kleinen Speicherbaustein. In diesem sind Informationen über das Modul abgelegt, unter anderem:

• Hersteller- und Modellname
• Revision und Herstellungsdatum
• unterstützter Physical Layer
• Wellenlänge und maximal unterstützte Kabellänge

Dieser Speicherbaustein kann über eine serielle Schnittstelle, genauer gesagt einen I2C-Bus ausgelesen werden. Bausteine auf einem I2C-Bus sind über Adressen auswählbar, und die Adresse dieses Speicherbausteins auf dem I2C-Bus ist standardisiert (A0 hexadezimal). Ebenso ist das Zugriffsprotokoll standardisiert: Es entspricht dem der weit verbreiteten I2C-EEPROMs der 24Cxx-Serie. Im einfachsten Fall findet man also in einem optischen SFP-Modul neben dem Sender und Empfänger ein solches EEPROM. Im Zuge der Massenfertigung und höheren Integration ist es natürlich genauso möglich, alle Funktionen auf einem Chip zu integrieren, solange das standardisierte Protokoll eingehalten wird.

Optional kann ein SFP-Modul sogenannte 'Monitoring-Funktionen' enthalten. Aus dem EEPROM kann deren Verfügbarkeit vermerkt werden. Daten über Betriebsspannung, Temperatur, sowie optische Sende- und Empfangsleistung können dann unter einer weiteren Adresse auf dem I2C-Bus (A2 hexadezimal) ausgelesen werden.

So, eigentlich wollte ich doch über Kupfer-SFP-Module reden, oder? Na ja, ich schweife halt ab, damit müsst Ihr leben, dafür ist das ja alles hier kostenlos. Außerdem hilft es beim Verständnis für den nächsten Schritt:

Ein Kupfer-, und insbesondere ein Cat5-Kabel hat eine deutlich geringere Bandbreite als eine Glasfaser. Das serielle Signal mit 1,25 oder 10,3125 Gbit, dass aus einem Ethernet-MAC heraus fällt, kann man - so wie es ist - höchstens über kurze Kupferkabel übertragen. Bei 1 GBit gab es dafür einmal einen Standard namens 1000BASE-CX, bei 10 Gbit sind sogenannte Direct-Attach-Kabel als kostengünstige Alternative für kurze Verbindungen in einem Rack beliebt. Will man aber solche Bitraten über längere Kupferkabel jagen (die 'üblichen' 100 Meter), muss man sich etwas anderes ausdenken.

1000BASE-T nimmt zum Beispiel von den zu übertragenden Daten immer Gruppen von 8 Bit und übersetzt deren 256 verschiedene Kombinationen in vier quinäre Signale: Auf jedes der vier Adernpaare können fünf verschiedene Spannungspegel gelegt werden (Null Volt, jeweils die halbe und die volle Spannung, in einer oder der anderen Polarität). Damit lassen sich 5^4=625 verschiedene Kombinationen darstellen. Die 625-256=369 'überzähligen' Kombinationen werden für Fehlerkorrektur und Steuerinformationen verwendet. Beide Seiten senden und empfangen gleichzeitig auf allen vier Adernpaaren einer Cat5(e)-Leitung und rechnen ihr eigenes Signal per Echokompensation heraus, ähnlich wie bei seinerzeit bei der UK0-Schnittstelle von ISDN.

Anhand dieser Beschreibung sollte klar sein, dass man das an einem SFP-Port anliegende, für optische Ethernet-Übertragung gedachte 1,25 GBit-Signal für eine Übertragung per 1000BASE-T passend umsetzen muss. Was dabei grob zusammengefasst passiert:

• Das serielle 1,25 GBit-Signal wieder empfangen, und aus den 10-Bit-Gruppen werden wieder die 8-Bit-Nutzdaten heraus destillieren.
• Diese 8-Bit-Gruppen werden dann neu nach oben beschriebenem Verfahren als 1000BASE-T kodiert.

...und in der anderen Datenrichtung passiert natürlich das gleiche, nur in umgekehrter Reihenfolge. Diese Umsetzer-Aufgabe übernehmen zum Beispiel kleine Kästchen, die als 'Medienkonverter' angeboten werden: Auf der einen Seite haben sie eine RJ45-Buchse für 1000BASE-T, auf der anderen Seite entweder fest eingebaute optische Verbinder, oder auch wieder einen SFP-Steckplatz für beliebige Physical Layer. Funktioniert als Umsetzer so weit so gut, aber was aber, wenn...

...man halt im Rack ein Gerät hat, das als Netzwerkport nur SFP hat, man aber 1000BASE-T braucht? Das kann man auch mit so einem Medienkonverter lösen, ist aber viel 'Gebamsel': Ein optisches SFP-Modul, das kürzeste Glasfaserkabel, das man auftreiben kann, das Medienkonverter-Kästchen selber, und - ach ja - dieses Kästchen braucht auch noch mal ein eigenes Steckernetzteil (ist an der Leiste in dem Rack noch eine Dose frei?). Viel Aufwand, also...

...denken wir uns bei diesem Aufbau jetzt einfach mal die optische Strecke mitsamt den Sendern und Empfängern weg, und schrumpfen das Medienkonverter-Kästchen so weit, dass es in ein SFP-Modul hinein passt. Das Ergebnis ist das, was allgemein als Kupfer-SFP-Modul verkauft wird. Womit der wichtigste Unterschied zwischen Kupfer- und optischen SFP-Modulen schon genannt wäre: Es sind keine 'dummen Transceiver', es sind Medienkonverter, die sich zum Switch bzw. der Netzwerkkarte im Server hin wie ein optisches Modul verhalten. Und in der Praxis werden in solchen Kupfer-SFP-Modulen auch die gleiche Bausteine verwendet, die man in Medienkonvertern findet. 99% der angebotenen Kupfer-SFP-Module für 1000BASE-T verwenden einen 88E1111 der Firma Marvell, den die Firma TP-Link zum Beispiel auch in den Medienkonvertern der MC200-Serie verbaut.

Die 'Emulation' eines Glasfaser-Moduls kann so weit gehen, dass solche Kupfer-SFP- Module in ihrem EEPROM sogar behaupten, sie wären ein solches. Die Standards für SFP-Module definieren zwar, welche Daten ein Kupfer-SFP-Modul in seinem EEPROM korrekterweise hinterlegen sollte. Leider gibt es viele Anbieter von SFP-Netzwerkkarten und Switches, die Kupfer-SFP-Module offiziell nicht unterstützen wollen und den Betrieb verweigern, wenn sie im EEPROM eines Moduls solche Werte vorfinden. Der Workaround seitens der Hersteller von Kupfer-Modulen ist dann einfach, im EEPROM zu behaupten, das wäre ein optisches Modul - am besten gleich mit einem passenden Herstellernamen, um einen Vendor-Lock-In zu umgehen...

Gegenüber einem externen Medienkonverter hat die Integration des Umsetzer-Bausteins in das SFP-Modul übrigens noch einen weiteren Vorteil: Der 88E1111 hat eine eingebaute I2C-Schnittstelle, so dass die Software auf dem Switch oder Router - so sie denn will - auf dessen Register zugreifen kann. Der 88E1111 in einem Kupfer-SFP-Modul ist also mit an den I2C-Bus angeschlossen, an dem das EEPROM des Moduls hängt. Üblicherweise ist er unter der I2C-Adresse 0xAC hexadezimal zu erreichen. Bei entsprechender Software-Unterstützung können dem Nutzer so Daten über den Zustand des 1000BASE-T Links angezeigt werden, z.B. ob der 88E1111 auf diesem Link die Rolle des Clock-Masters oder -Slaves innehat.

Eine Sache kann aber so ein Umsetzer nicht ändern, egal ob er in einem externen Kästchen oder direkt im SFP-Modul steckt: Da eine Umsetzung auf dem Physical Layer erfolgt, kann sich dabei die Bitrate der Daten nicht ändern. Auch wenn 1000ASE-T Schnittstellen üblicherweise mit der Gegenseite auch den Betrieb mit 10 oder 100 Mbit aushandeln können, in diesem Fall darf das nicht passieren: Das auf der SFP-Schnittstelle gelieferte Datensignal hat eine fixe Nettorate von 1 Gbit, und dieser Umsetzer-Baustein keine Puffer, um Daten mit 1 Gbit entgegen zu nehmen und mit 10 oder 100 Mbit wieder auszugeben – er ist netzwerktechnisch eben ein Repeater und keine Bridge. Da Auto-Negotiation für 1000BASE-T Schnittstellen ein verpflichtendes Feature ist (eine Möglichkeit zur fixen Einstellung gibt es nicht mehr), bietet der Umsetzer-Baustein auf seiner 1000BASET-Schnittstelle dem Link-Partner einfach nichts anderes als 1 Gbit vollduplex an. Schließt man an so ein Kupfer-SFP-Modul Geräte an, die maximal 10 oder 100 Mbit unterstützen, kommt schlicht kein Link zustande.

Hatte ich eben behauptet, 10 oder 100 Mbit-Links gehen mit Kupfer-SFP-Modulen nicht? Naja, ganz Gallien, aber ein kleines, unbeugsames Dorf von…

Der in Kupfer-SFP-Modulen verbaute Marvell-Umsetzer hat theoretisch die Option, seine 'SFP-Seite' auf eine andere Betriebsart umzustellen, das so genannte SGMII. Das ist kein IEEE-, aber ein Quasi-Industriestandard. SGMII verwendet auf den seriellen Leitungen die gleiche 1,25 Gbit-Kodierung wie das für optische Module definierte 1000BASE-X, es gibt aber die Option, dass alle Datenbits einfach zehn- oder hundertmal wiederholt werden. Auf diese Weise werden aus den 1 Gbit dann effektiv 10 oder 100 Mbit, die der Umsetzer auf einen Kupferlink mit eben dieser Geschwindigkeit weiter reichen kann, ohne dabei 'überfahren' zu werden.

Für diese SGMII-Betriebsart müssen aber eine Reihe von Bedingungen erfüllt sein: Die Ethernet-Hardware des SFP-Ports muss auf diese Betriebsart umschaltbar sein, die Treibersoftware muss explizit auslesen, dass ein Kupfer-SFP gesteckt wurde, und muss dann beide Seiten auf diese Betriebsart umprogrammieren. Diese Bedingungen sind in der Praxis in Summe nur in den seltensten Fällen gegeben. Aber wenn alles klappt, verhält sich ein SFP-Port mit gesteckten Kupfer-SFP-Modul wie ein 'nativer' 10/100/1000 MBit Kupferport.

OK, damit ist erstmal alles gesagt, was ich Kupfer-SFP-Modulen bis 1 Gbit sagen wollte. Vielleicht male ich dazu noch mal irgendwann ein paar Bilder...

Hattet Ihr Schwierigkeiten zu folgen? Dann wird es im nächsten Kapitel noch schwerer, wenn es um Kupfer-SFP-Module für SFP+-Steckplätze und Geschwindigkeiten bis zu 10 Gbit geht...

[alf29]

OK, scheint wohl doch niemanden zu interessieren. Ich dachte, es wäre die Zeit wert, weil das Thema immer wieder hoch kommt. Oder es wird wieder nur still konsumiert. Da werde ich mir den zweiten Teil dann wohl sparen...

[LoUiS]

Hi,

ich meine in diesem Bereich konnten nur Mods und Admins posten.
Ich hab jetzt die Rechte angepasst, es kann auch hier jetzt von angemeldeten USern kommentiert werden.


Ciao
LoUiS

[Hagen2000]

Na, dann will ich doch mal

@alf29 Ich habe deinen Beitrag mit Interesse gelesen - auch wenn meine letzte Berührung mit SFP-Modulen schon fast eine Dekade zurückliegt. Faszinierend, welch vielfältige Details sich hinter einem scheinbar "einfachen" Steckmodul verbergen. Und meinen Respekt für die Mühe, dein gesamtes Wissen in lesbarer und verständlicher Form niederzuschreiben!

[ua]

Moin,

mangels "Antworten-Knopf" konnte ich auch noch nichts schreiben ...

@Alf: Danke, den den Post habe ich schon intern weitergeleitet, freu mich auch SFP+ bis OSFP

LG und ein schönes WE

[alf29]

OK, ...facepalm..., an den Punkt hatte ich nicht gedacht. Danke für die Rückmeldungen!

Mal sehen, wann es weiter geht...morgen geht es erst mal in den Norden der Niederlande...

Viele Grüße & ein schönes Wochenende

Alfred

[Koppelfeld]

OK, scheint wohl doch niemanden zu interessieren. Ich dachte, es wäre die Zeit wert, weil das Thema immer wieder hoch kommt. Oder es wird wieder nur still konsumiert. Da werde ich mir den zweiten Teil dann wohl sparen...

Natürlich interessiert es.

Bislang hatte ich bloß das "Pech", daß die 10 GBE - DACs (mit HP/Aruba - Switches) einfach bloß funktionieren. Nehme ich nur für Verbindungen zu Servern, mit LACP. Da allerdings ist es schwierig genug, 2 x 10 GBit/s auch zu verarbeiten.
Über lange Distanzen nehme ich seit Urzeiten Glasfaser, allein schon um unerwünschten Potentialausgleich zu vermeiden.

Aber natürlich ist ein Blick hinter die Kulissen stets interessant.
Also: Danke dafür !

[tstimper]

OK, scheint wohl doch niemanden zu interessieren. Ich dachte, es wäre die Zeit wert, weil das Thema immer wieder hoch kommt. Oder es wird wieder nur still konsumiert. Da werde ich mir den zweiten Teil dann wohl sparen...

Das Thema ist hochinteressant, vielen Dank alf29 für Deine ausführlichen Erläuterungen und danke an LoUiS für die Antwort Rechte, die hatten uns gefehlt.

Wir hatten dazu ja schon öfter im Forum geschrieben und im LANCOM Community Talk gesprochen.
Insbesesondere die 10 GB CU SFP+ sind mir da wichtig.

Mittlerweile habe ich auch verstanden, warum die 10 GB CU SPF+ so problematisch sind:

1. Es sind defacto Medienwandler, die ungefähr 3* soviel Leistungsaufnahme (Beispiel: ca 3,6 W statt ca 1,2 W) als LWL SFP+ haben.
Das kann potentiel zur thermischen oder strommäßigen Überlastung des SPF+ Anschlusses führen.

2. Zum Switch hin melden sie sich einfach als normales LWL Modul, deshalb wird die konkrete CU Übertragungsgeschwindigkeit (100M/1G/2,5G/5G/10G) nicht angezeigt.

Mit programmierbaren Modulen kann man dann wundersame Dinge anstellen, die der Hersteller so nicht vorgesehen hat.
Natürlich nur wemm man sich sicher ist das das Gerät das verkraften kann.

Beispiel:

Switch unterstützt keine 10 CU SPF+ Module, unterstützt aber 10G DAC Kabel.
Also nimmt man ein programmierbares 10G CU Modul mit möglichst geringer Leistungsaufnnahme und sagt ihm es möge sich bitte als passendes DAC Kabel melden.

Also für ein / zwei Module je Switch mit einem Slot Abstand kann man sowas machen.

Bei einem "Notfall" habe ich in einem GS-3652XUP im gekühltem Serveraum seit vier Monaten 3* 10G CU Module a 3,6 Watt im Einsatz.
Das ist eine 1 Meter Verbindung zu Server, die Leistungsaufname ist möglicherweise geringer. Merklich heiß werden die Module nicht.

Einer meiner Lieblingsswitche wird grade der GS-2328F (bzw. dessen Nachfolger).
Soweit mir bekannt unterstützt der mit passenden SFP Modulen sowohl 100 Mbit LWL als auch 1 GB LWL.

100 Mbit LWL sehen wir viel in der Gebäudeautomatisierung, da wird erst langsam auf 1 GB aufgerüstet.

Also braucht man da Module, die beide Geschwindigkeiten können. Die LWL Verkabelung kann meist mehr, je mach Typ und Länge.


VG

ts

[VX500]

Hallo!

Der Bericht ist sehr interessant! Sogar ein paar Wissenslücken sind nun geschlossen. Ich freue mich auf Fortsetzungen.

Grüße
Sascha

[hschnei]

Danke für deine Bemühungen etwas mehr Klarheit bei den
SFP Modulen zu schaffen.

MfG
Hans-Jürgen

[plumpsack]

OK, scheint wohl doch niemanden zu interessieren.

Naja, 1 Gbit oder auch 10 Gbit liegt halt nicht überall an.

Hausbesitzer z.B. haben da einen Anschluß mit einen fingerdickem Kabel 12x2?

DSL über Kupfer kann noch viel mehr wie "nur" 2 Gbit.

Wenn die Glasfaser-Kuh gemolken wurde, dann kommen die Kupfer-Kühe dran.



AVM hatte auch gerade so einen 10 Gbit-Router vorgestellt - Was kostet denn der Anschluss für 10 Gbit?

[5624]

Keine Ahnung, was dein Beitrag mit dem technisch fundierten Beitrag von alf29 zu tun hat. Es geht um Kupfer-SFPs, die meines Wissens nach mit WAN bzw. Internetanbindung nichts zun tun haben.

Das in deiner kleinen Endkundenwelt noch kein 10Gbit vorhanden ist, ist richtig, aber wir bewegen uns mit LANCOM größtenteils im Geschäftsumfeld, da ist 10Gbit schon lange buchbar. Dennoch braucht man 10Gbit WAN-seitig, wenn der Internetzugang schneller als 940Mbit sein soll. Und die kann man schon problemlos in immer mehr Glasfasernetzen auch als Endkunde buchen.

Ich persönlich bevorzuge auch lieber kurze Glasfaserstrecken oder nutze notfalls DAC-Kabel. Es gibt zwar mittlerweile viele abweichende SFP-Arten (verschiedenste Arten von Kupfer-SFP, teilweise auch DSL-Modems und sowas), aber nur bei reinen Glasmodulen ist die Kompatiblität am höchsten. Mit 10GbE-Cu-SFP hatte ich noch keinen Kontakt, aber bei 1GbE hatte ich mit den verschiedensten Modulen schon Ärger ohne Ende. Allein die Hebelkraft, die das überlange SFP mit einem eingesteckten, qualitativ hochwertigen 8p8c auf den Port auswirkt, bringt mich vom Einsatz eines solchen ab.
Ähnlich ist es auch mit den 100Mbit Glasmodulen. Die ursprünglichen Module waren nie für 100Mbit vorgesehen, also bleibt auch die Kompatiblität auf der Strecke. Bei vielen Switches muss man für die Module Autoneg deaktivieren, weil die sonst noch nicht mal erkannt werden.

Dass man die Module durch Rekonfiguration dazu bekommen kann, den Switch/Router/wasauchimmer so übers Ohr zu hauen, dass die Verbindung doch zu Stande kommt, ist eine schöne Sache, aber auch wieder gefährlich für einen sicheren Betrieb. Im privaten Bereich oder in der Testumgebung kann man es machen, aber im produktiven geschäftlichen Einsatz wäre es mir zu heikel: Switch oder SFP kaputt, nicht mehr erhältlich, Ersatzgerät lässt sich nicht überreden, Verbindungsausfall, schwierige Betriebsstörung.

@alf29: Liege ich richtig, dass diese 8/10bit-Umrechnung die Latenz erhöht? Oder ist es eine andere Umwandlung, die dafür sorgt? Irgendwann hab ich mal gehört, dass bei der Umwandlung von optisch auf elektrisch eine nicht unbedeutende Latenz entsteht, weswegen in sensiblen Bereichen bevorzugt Kupfer- und Funkstrecken verwendet werden (z.B. im Hochfrequenzhandel)

[Dr.Einstein]

Bei vielen Switches muss man für die Module Autoneg deaktivieren, weil die sonst noch nicht mal erkannt werden.

Hab immer noch nicht verstanden, wieso das so häufig ein Trial & Error ist.

[alf29]

Keine Ahnung, was dein Beitrag mit dem technisch fundierten Beitrag von alf29 zu tun hat.

Einfach in die Liste der Nutzer eintragen, deren Posts man nicht sehen will. Life is too short...

Ähnlich ist es auch mit den 100Mbit Glasmodulen. Die ursprünglichen Module waren nie für 100Mbit vorgesehen, also bleibt auch die Kompatiblität auf der Strecke. Bei vielen Switches muss man für die Module Autoneg deaktivieren, weil die sonst noch nicht mal erkannt werden.

Auto-Negotiation war auf 100MBit-Glasfaser-Ethernet m.W. nie definiert. Bei 1GBit-Glasfaser ist sie optional (IEEE 802.3 Clause 37), und das ist auch immer mal wieder eine Quelle von Problemen, wenn eine Seite sie eingeschaltet hat und die andere nicht.

@alf29: Liege ich richtig, dass diese 8/10bit-Umrechnung die Latenz erhöht?

Maximal um eine Symbollänge, also 8 Nanosekunden bei Gbit. Die wird man aber so und so nicht los, man braucht da ja, um die Daten auf die Leitung zu kriegen. Und die Latenz, bis der ganze Frame beim Empfänger angekommen ist, ist um ein vielfaches höher.

Irgendwann hab ich mal gehört, dass bei der Umwandlung von optisch auf elektrisch eine nicht unbedeutende Latenz entsteht, weswegen in sensiblen Bereichen bevorzugt Kupfer- und Funkstrecken verwendet werden (z.B. im Hochfrequenzhandel)

So ein reiner GBit-Medienwandler/Repeater dürfte auch Symbol für Symbol ohne weitere Pufferung umwandeln. Es gibt aber auch Medienwandler, die in Wirklichkeit ein 2-Port-Switch mit einem optischen und einem Kupfer-Port sind, und wie die meisten Switche Store-and-Forward machen.