Das Network Authentication System (NAS) von United Security Providers verhindert den Anschluss von unerlaubten Endgeräten mit Ethernet-Schnittstelle an das Firmennetzwerk.

NAS überwacht mittels SNMP die Netzwerkgeräte und ermittelt beim Anschluss eines Clients die MAC-Adresse (Ethernet-ID) des Endgeräts. Ändert sich der Status eines überwachten Ports, wird NAS mittels SNMP-Trap benachrichtigt, so dass eine rasche Erkennung des neuen Zustands gewährleistet ist.

Das System sammelt die ermittelten Informationen in der NAS-Datenbank, was eine jederzeit aktuelle Übersicht der Endgeräte ermöglicht:

NAS überprüft laufend, ob die aktiven Geräte als erlaubte Clients eingestuft werden können. Der Entscheid basiert auf einem flexibel definierbaren Regelwerk. Das Netzwerk kann in verschiedene Portgruppen aufgeteilt werden. In Abhängigkeit vom Typ des Clients, seinem Status im Inventar und dem Ort des Anschlusses kann das Gerät als erlaubt oder nicht erlaubt behandelt werden.

Es stehen verschiedene Möglichkeiten zur Auswahl, um auf den Anschluss von nicht erlaubten Geräten zu reagieren:

Alle relevanten Ereignisse werden vom System geloggt. Die Informationen in der NAS-Datenbank ermöglichen die Erstellung von Reports über die Aktivitäten im Netzwerk und über die erkannten Endgeräte.

Abbildung 1 zeigt die Schnittstellen von NAS zu den umliegenden Systemen:

Figure 2.1. Abbildung 1: Schnittstellen von NAS

Auf die Netzwerkgeräte wird mittels SNMP zugegriffen, NAS empfängt zusätzlich auch SNMP-Traps von den Switches.

Inventarsysteme und NMS liefern Daten in Form von CSV-Flat-Files an NAS. Die Dateien werden via SFTP (SSH File Transfer Protocol) auf den NAS-Server übertragen.

NAS kann den auf dem Netzwerk ermittelten IP-Adressen den entsprechenden DNS-Hostname zuordnen. NAS bezieht die dafür notwendigen Informationen durch periodische Zonentransfers vom DNS und vermeidet dadurch eine übermässige Belastung des DNS-Servers durch Einzelabfragen.

Das vorliegende Dokument „Inventarimport und NMS-Import“ beschreibt den technischen Ablauf des Importprozesses sowie das Datenformat der zu importierenden CSV-Dateien.

Aus Gründen der einfacheren Lesbarkeit wird auf die geschlechtsneutrale Differenzierung, z.B. Benutzer/innen, verzichtet. Entsprechende Begriffe gelten im Sinne der Gleichbehandlung grundsätzlich immer für beide Geschlechter.

Über die Datenimport-Schnittstelle bezieht NAS die folgenden Informationen:

Für beide Arten von Informationen wird dieselbe technische Schnittstelle verwendet, welche grundsätzlich auf der Übertragung von CSV-Dateien zwischen dem Quellsystem und NAS aufbaut.

Der Ablauf des Datentransfers ist in Abbildung 2 schematisch dargestellt. Das Quellsystem erzeugt das CSV-Datenfile (1), berechnet den MD5-Hash (Message Digest Algorithm 5) der CSV-Datei und speichert die MD5-Prüfsumme in der MD5-Datei (2).

Figure 3.1. Abbildung 2: Ablauf des Datentransfers

Beide Dateien werden danach vom Quellsystem mittels SFTP (SSH File Transfer Protocol) in ein Verzeichnis direkt auf dem NAS-Server übertragen. Zur Authentisierung werden technische User für die Quellsysteme angelegt (für jedes Quellsystem ein eigener technischer User). Falls notwendig, werden auf Firewalls Punkt-zu-Punkt Verbindungen zwischen Quellsystem und NAS eingerichtet (TCP-Port 22).

Die Quellsysteme sind verpflichtet, zuerst die CSV-Datei vollständig zu übertragen (3) und erst danach die Datei mit der MD5-Prüfsumme (4). Bei Vorhandensein einer MD5-Datei darf also davon ausgegangen werden, dass eine dazu passende CSV-Datei zum Laden bereitsteht.

NAS prüft den Inhalt des Verzeichnisses in regelmässigen Intervallen (alle 60 Sekunden). Sind Dateien vorhanden, welche der Namenskonvention (siehe Abschnitt 2.3) entsprechen, so werden sie von NAS bearbeitet. NAS berechnet dabei zuerst die MD5-Prüfsumme der CSV-Datei und vergleicht sie mit der Prüfsumme aus der MD5-Datei. Stimmen die Prüfsummen überein, werden die Daten aus der CSV-Datei geladen und beide Dateien (CSV-Datei und MD5 Datei) nach erfolgter Verarbeitung entfernt.

Die Namenskonvention sieht vor, dass die Namen der CSV-Dateien aus verschiedenen Feldern gebildet werden, welche durch Underscores getrennt werden:

INHALT_QUELLE_MODUS_YYYYMMDDHHMMSS_VERSION.csv

Die Bedeutung der verschiedenen Felder wird in Tabelle 1 näher erläutert.

Als Beispiel hier der vollständige Dateiname eines Delta Exports aus dem Inventarsystem ABC-SC-BB, welcher am 12. Oktober 2006 um 17:29:59 Uhr vom Quellsystem erzeugt wurde:

INVENTAR_ABC-SC-BB_DELTA_20061012172959.csv

Sind mehrere Dateien von einem Quellsystem im Verzeichnis, so werden sie in zeitlich aufsteigender Reihenfolge geladen.

NAS speichert bei allen importierten Daten die Quelle in einem Datenbankfeld, so dass bei jedem Datensatz nachvollzogen werden kann, aus welchem Quellsystem er geliefert wurde.

NAS kann entweder mit einer Versionsangabe oder ohne arbeiten. Beispiel einer Datei mit Versionsnamen könnte folgendermassen aussehen:

INVENTAR_ABC-SC-BB_DELTA_20061012172959_v2.csv

oder

INVENTAR_ABC-SC-BB_DELTA_20061012172959.csv

Die MD5-Datei einer CSV-Datei hat den identischen Namen, aber es wird die Dateiendung .md5 anstatt .csv verwendet. Die MD5-Datei im oben genannten Beispiel würde also wie folgt heissen:

INVENTAR_SCIS-SC-BB_DELTA_20061012172959.md5

oder

INVENTAR_SCIS-SC-BB_DELTA_20061012172959_v2.md5

Eine MD5-Datei besteht aus einer Zeile mit dem folgenden Inhalt:

<md5> <Dateiname>

Es steht dabei <md5> für die MD5 Prüfsumme, welche als 32-stellige Hexadezimalzahl dargestellt wird, und <Dateiname> für den Namen der CSV-Datei.

Zwischen <md5> und <Dateiname> befinden sich exakt zwei Leerzeichen („Space“, ASCII Hex-Code: 0x20).

Der Inhalt der MD5-Datei könnte also beispielsweise wie folgt aussehen:

c5383772d856be5ebf23351a4ac62735 INVENTAR_SCIS-SC-BB_DELTA_20061012172959.csv

Dies entspricht genau dem Output des weit verbreiteten Tools „md5sum“.

CSV-Dateien sollen die Zeichencodierung gemäss ISO-8859-1 verwenden. Das Zeilenende wird durch das ASCII-Zeichen LF („Line Feed“, Hex-Code 0x0A) signalisiert.

Als Trennzeichen der Felder wird das ASCII-Zeichen RS („Record Separator“, Hex-Code 0x1E) verwendet, um Konflikte mit Zeichen, welche in den Feldern vorkommen, möglichst ausschliessen zu können.

Die erste Zeile jeder CSV-Datei enthält keine Daten, sondern die Namen der Felder.

Es sind zwei unterschiedliche Modi des Datenimports möglich:

Die Import-Schnittstelle ist so gestaltet, dass eine flexible Anpassung der Importfrequenzen an die Bedürfnisse möglich ist: so kann ein Quellsystem beispielsweise einmal täglich ein FULL-Update bereitstellen und zusätzlich geänderte Datensätze ad-hoc per DELTA-Update übermitteln.

Ein Quellsystem sollte nicht mehr als ca. 6 Full Imports in 24 Stunden übermitteln. Sind häufigere Updates notwendig, kann dies mittels DELTA Dateien erfolgen.

Als Erstes wird der MD5-Hash der CSV-Datei berechnet und mit der MD5 Prüfsumme aus der MD5 Datei verglichen. Stimmen die Summen nicht überein, wird die Datei nicht geladen.

Der Inhalt der CSV-Datei (sprich: alle Zeilen ausser der ersten Zeile) wird von NAS zusätzlich mittels einer konfigurierbaren Regular Expression überprüft. Zeilen, welche nicht dem vereinbarten Format entsprechen, werden verworfen.

Weist eine Datei mit Importmodus FULL zu viele verworfene Datensätze auf (mehr als 10%), dann wird die gesamte CSV-Datei als inkorrekt betrachtet und nicht geladen. Die Prozentzahl bezieht sich dabei auf die Anzahl von Zeilen mit ungültigem Format, bezogen auf die gesamte Anzahl von Records der zu importierende Datei. Es wird kein Vergleich der Anzahl bereits in der Datenbank vorhandenen Records und der zu ladenden Records gemacht.

Erfolgreiche wie auch fehlgeschlagene Ladevorgänge werden von NAS geloggt.

Wird ein Konflikt zwischen zwei Quellsystemen festgestellt (eine Quelle liefert einen Datensatz, welcher bereits aus einem anderen Quellsystem geliefert wurde), dann überschreiben die neu angelieferten Daten die bereits vorhandenen Daten.

Der Konflikt wird von NAS im Log festgehalten, so dass eine Abklärung der Ursachen durchgeführt werden kann.

Im Fall eines Inventarimports erwartet NAS die in Tabelle 2 aufgeführten Daten:

Die Bedeutung der Spalte Code ist wie folgt:

Die Felder 12, 13 und 14 sind gänzlich optional. Diese Felder müssen also nicht zwingend in der Importdatei vorhanden sein. Wenn jedoch vorhanden, dann müssen alle Felder existieren (dürfen jedoch leer sein).

Hat ein Gerät mehr als eine MAC-Adresse, dann sollen alle MAC-Adressen an NAS geliefert werden. In der CSV-Datei erscheinen in einem solchen Fall für ein Gerät mehrere Zeilen mit den verschiedenen MAC-Adressen des Geräts.

Liefert ein Inventarsystem hingegen dieselbe MAC-Adresse im selben Export mehr als einmal, dann wird dies von NAS als Fehler angesehen. Diejenige MAC-Adresse, welche zuerst gefunden wurde wird beibehaltet, alle nachfolgenden werden verworfen. Die verworfenen Zeilen werden im Log festgehalten.

NAS nimmt an, dass die Assets in Full Imports immer komplett geliefert werden (ausgenommen bei Delta Imports). Ein Asset kann dabei aus 1 bis n Netzwerkinterfaces bestehen. Interfaces eines Assets müssen getrennt in einer eigenen Zeile stehen (zusammen mit den Assetinformationen). Daraus resultiert, dass ein komplettes Asset aus 1 bis n Zeilen besteht.

Figure 4.1. Abbildung 3: Zusammensetzung einer Datenzeile

Ein Asset wird eindeutig durch die Asset-ID und das zugehörige Inventarsystem (Quelle) gekennzeichnet. Das Interface wird eindeutig durch die gesetzte MAC-Adresse. Dies führt dazu, dass ein Interface immer eine MAC-Adresse beinhalten sollte. Falls es zwei Interfaces ohne MAC-Adresse gibt, so sollten sie sich in mindestens einem Attribut unterscheiden. Sonst muss NAS annehmen, dass ein Duplikat vorhanden ist und löscht eines der Interfaces aus dem Asset.

Ein Record (eine Datenzeile in der Importdatei) besteht aus einem Teil, der das Asset beschreibt, und einem Teil der spezifisch nur das Interface beschreibt. Ein Asset wird dabei durch die Asset-ID gekennzeichnet. Falls mehrere Records dieselbe Asset-ID haben, so gehören sie zu demselben Asset. Die übrigen Attribute des Assets sollten idealerweise für jedes Interface (eine Zeile in der Importdatei) dieselben sein sein, NAS kümmert sich jedoch nicht um Widersprüche innerhalb eines Assets und importiert sie wie sie sind.

Figure 4.2. Abbildung 4: Ein komplettes Asset mit mehreren Interfaces

Wird beim Einlesen der Importdatei ein fehlerhafter Record entdeckt wird er aus dem Import entfernt und eine entsprechende Logmeldung generiert. Somit kann es vorkommen, dass ein Asset aus Sicht des Inventarsystems nicht mehr komplett ist, von NAS aus gesehen jedoch schon. Sobald der Record bei einem darauffolgenden Import gelesen werden kann, ohne verworfen zu werden, wird auch das Asset aus Sicht des Inventarsystems wieder komplett geladen.

Ein Asset kann mehrere Interfaces ohne MAC-Adresse beinhalten, jedoch müssen sich die anderen Attribute unterscheiden.

Falls ein Asset mit einer schon im NAS bestehender MAC-Adresse aus einem anderen Inventarsystem geliefert wird, überschreibt der neue Record den Alten. Beim schon bestehenden Record wird dabei die MAC-Adresse gelöscht und der UPDATED Timestamp auf dem ganzen Asset gesetzt.

In die Datenbank werden immer die kompletten Assets geladen. Inklusive Dateinzeilen, welche keine MAC-Adresse und somit keine eindeutigen Interface-Informationen beinhalten. Damit ist sichergestellt, dass auch Assets mit mehreren leeren MAC-Adressen immer komplett geladen werden.

Bei einem Full Import werden alle Assets logisch gelöscht, welche nicht mehr im Import vorhanden sind. Gelöscht wird mit dem Setzen des DELETED Timestamps in der Datenbank, die Assets werden also nicht per DB CleanUp entfernt, sondern bleiben bestehen, werden aber von NAS ausgeblendet und als nicht existent behandelt.

Beim erstmaligen Erstellen eines Assets wird der CREATED Timestamp gesetzt und wird nicht mehr verändert, auch wenn der DELETED Timestamp gesetzt wurde.

Bestehende Records werden upgedated falls etwas im selben Asset geändert hat. Ist also mindestens eine Zeile eines Assets verändert im Import erschienen, wird das gesamte Asset upgedatet. Geprüfte Veränderungen sind fehlende oder hinzugefügte Records (Anzahl der Records stimmt nicht mit dem alten Stand der Datenbank überein), oder mindestens ein Attribut einer beliebigen Zeile des Assets hat den Wert geändert.

Falls ein Asset nicht dieselbe Anzahl Interfaces hat wie beim letzten Update, werden die überflüssigen Interfaces per DB CleanUp gelöscht oder fehlende Interfaces hinzugefügt. Beim Update wird immer der UPDATED Timestamp neu gesetzt und für die neuen Interfaces der CREATED Timestamp des Assets übernommen.

Falls ein Asset den DELETED Timestamp hat, aber wieder im Import auftaucht, wird der DELETED Timestamp entfernt und der UPDATED Timestamp neu gesetzt.

Wenn eine MAC-Adresse aus dem Import bereits in der Datenbank vorhanden ist, aber einem anderen Asset zugeteilt ist, so wird diejenige in der Datenbank überschrieben, resp. entfernt und eine entsprechende Logmeldung wird generiert.

Figure 4.3. Abbildung 5: Diverse Fälle im Full Import

Figure 4.4. Abbildung 6: Full Import inkl. Überschreibung der MAC-Adresse in anderem Asset

Beim Delta Import werden nur die einzelnen Records geladen und nicht die kompletten Assets. Falls ein Record keine MAC-Adresse beinhaltet, so wird dieser ignoriert. Geladen werden ausschliesslich nur Records mit MAC-Adressen.

Wenn eine MAC-Adresse aus dem Import bereits in der Datenbank vorhanden ist, wird diese mit NULL überschrieben. Und der UPDATED Timestamp gesetzt. Danach wird der Record aus dem Import mit einem Insert in die Datenbank geladen.

Standardmässig wird ein Delta Import immer per Insert in die Datenbank geladen. Dabei wird der CREATED und UPDATED Timestamp nur auf diesem Record gesetzt.

Einzige Ausnahme ist, wenn die vorhandene MAC-Adresse demselben Asset zugeordnet ist wie im Import. In diesem Fall wird ein Update durchgeführt und nur der UPDATED Timestamp gesetzt.

Der CREATED Timestamp eines per Delta Import geladenen Records ändert sich nicht, bis das zugehörige Asset bei einem Full Import zusätzliche Änderungen zum Delta Import und den schon bestehenden Daten aufweist und neu geladen wird.

Figure 4.5. Abbildung 7: Delta Import inkl. Überschreibung der MAC-Adresse in anderem Asset

Für den Import des NAS Scope werden die in Tabelle 3 aufgeführten Daten erwartet:

Der DNS-Name (Feld 1) dient zur Identifizierung des Records. Das heisst, ein Netdevice im Importfile wird immer über den DNS-Namen mit dem schon vorhandenen Record in der DB verglichen und so entschieden, ob ein neues Gerät erstellt werden muss oder das bestehende aktualisiert werden kann.

Für die Felder 4 bis 9 gilt: ist das Feld leer, dann werden die konfigurierten Default-Werte verwendet. Beim Feld 8 wird standardmässig 1 (überwacht) und beim Feld 9 wird SYSTEMDEFAULT verwendet.

Die Felder 7, 8, und 9 sind gänzlich optional. Diese Felder müssen also nicht zwingend in der Importdatei vorhanden sein. Wenn jedoch vorhanden, dann müssen alle drei Felder existieren (dürfen jedoch leer sein).

Die Felder 10, 11 und 12 sind ebenfalls optional. Sie müssen aber angegeben werden, wenn das Feld 3 (Typ des Netzwerkgeräts) ‚MPP‘ ist. Dabei müssen ebenfalls die Felder 7, 8 und 9 in der Importdatei vorhanden sein, dürfen aber leer sein.

Die Felder 13, 14 und 15 sind ebenfalls optional. Falls sie aber angegeben werden, müssen die Felder 7 – 12 ebenfalls in der Importdatei vorhanden sein, dürfen aber leer sein.

Das Feld 16 ist ebenfalls optional. Falls es aber angegeben wird, müssen die Felder 7 – 15 ebenfalls in der Importdatei vorhanden sein, dürfen aber leer sein.

Das Feld 17 ist ebenfalls optional. Falls es aber angegeben wird, müssen die Felder 7 – 16 ebenfalls in der Importdatei vorhanden sein, dürfen aber leer sein.

Das Feld 18 ist ebenfalls optional. Falls es aber angegeben wird, müssen die Felder 7 – 17 ebenfalls in der Importdatei vorhanden sein, dürfen aber leer sein.

Weil NAS per Default die Location Info per SNMP-Scan aktualisiert (also den Wert, der auf dem Switch definiert ist in die Datenbank schreibt), kann man mit einer globalen Einstellung diesen Mechanismus deaktivieren. Danach wird nur noch die Info aus dem Import verwendet. Wird bei aktiviertem SNMP Location Update trotzdem die Location in der Importdatei mitgeliefert, wird diese trotzdem in die Datenbank geschrieben, wird jedoch beim nächsten SNMP-Scan überschrieben.

Für den Import der Netzwerkports werden die Daten gemäss Tabelle 4 erwartet:

"HSR" steht für "High-availability Seamless Redundancy".

Der DNS-Name muss im NAS Scope vorhanden sein, damit die Netzwerkports korrekt zugeordnet werden können.

Empfehlung: Netzwerkports und Scope-Liste sollten immer zusammen exportiert werden, aber die Scope-Liste sollte einen leicht älteren Timestamp haben als die Netzwerkport-Liste, so dass zuerst die Scope-Liste verarbeitet wird. So kann sichergestellt werden, dass ein neues Netzwerkgerät bereits vorhanden ist, wenn die Netzwerkports des neuen Geräts eingelesen werden.

Es kann immer entweder der Interface Name (ifName) oder der Interface Index (ifIndex) angegeben werden. Es sollte jedoch nicht vorkommen, dass beide Felder (Feld 2 und Feld 3) gleichzeitig leer oder gleichzeitig ausgefüllt sind.

Für den Import des EPC werden die in Tabelle 3 aufgeführten Daten erwartet:

Mit dem EPC-Import kann der Gesundheitszustand eines Gerätes über ein Importfile von einem Fremdsystem in NAS importiert werden.

Jede Zeile eines EPC-Imports (ausser erste Zeile) definiert ein bestimmtes Health-Kriterium eines einzelnen Gerätes. Sollen mehrere Health-Kriterien je Gerät berücksichtigt und über die Import-Schnittstelle eingelesen werden, sind pro Gerät die Entsprechende Anzahl Zeilen (=Anzahl Health-Kriterien) nötig.

Mac-Adresse, DNS-Name und IP-Adresse definieren das Gerät für den der Healtheintrag gültig ist. Healthname und Health-Value definieren den Gesundheitszustand eines Endgerätes.

Für den Import von PROFILERDEVICES werden die in Tabelle 6 aufgeführten Daten erwartet:

Einem Endpoint wird nach erfolgreichem Profiling ein Profiling Device zugewiesen. Profiling Devices können eine Hierarchie aufweisen, zum Beispiel wird ein Endpoint erkannt als ‘Windows 10 Mobile’ mit aufsteigend ‘Windows 10’ und ‘Windows’ als Parent Profilerdevice.

Für den Import von PROFILERCOMBINATIONS werden die in Tabelle 7 aufgeführten Daten erwartet:

Eine Profiler Combination ist eine Zusammenstellung von Merkmalen, welche gewichtet nach einem Score ein am besten dazu passendes Profiler Device angibt. Nicht spezifizierte Merkmalsfelder treffen auf alle Inhalte zu, sind also eine Wildcard.

Für den Import der Port-Konfiguration in Tabelle 8 aufgeführten Daten erwartet:

Mit dem Portconfig Import kann die gewünschte Port-Konfiguration eines Ports über ein Importfile von einem Fremdsystem in NAS importiert werden.

Jede Zeile beschreibt einen zugelassenen Gerätetyp eines einzelnen Netzwerk-Ports. Sind für einen Port mehrere Gerätetypen zugelassen, können für diesen Port mehrere Zeilen mit jeweils unterschiedlichem Gerätetyp importiert werden.

Der DNS-Name muss im NAS Scope vorhanden sein, damit die Netzwerkports korrekt zugeordnet werden können.

Es kann immer entweder der Interface Name (ifName) oder der Interface Index (ifIndex) angegeben werden. Es sollte jedoch nicht vorkommen, dass beide Felder (Feld 2 und Feld 3) gleichzeitig leer oder gleichzeitig ausgefüllt sind.

Für den Import der Portgruppen Konfiguration in Tabelle 8 aufgeführten Daten erwartet:

Mit dem Portconfig Import kann die gewünschte Port-Konfiguration eines Ports über ein Importfile von einem Fremdsystem in NAS importiert werden.

Jede Zeile beschreibt die Zugehörigkeit eines Ports zu einer Portgruppe. Falls im ifName Feld ein % angegeben wird, dann werden sämtliche Ports des Switches zu der entsprechenden Portgruppe hinzugefügt.

Der DNS-Name muss im NAS Scope vorhanden sein, damit die Netzwerkports korrekt zugeordnet werden können.

Es kann immer entweder der Interface Name (ifName) oder der Interface Index (ifIndex) angegeben werden. Es sollte jedoch nicht vorkommen, dass beide Felder (Feld 2 und Feld 3) gleichzeitig leer oder gleichzeitig ausgefüllt sind.

Für den Import der DNS-Records werden die in Tabelle 3 aufgeführten Daten erwartet:

Der DNS-Import über CSV ist neben dem Zonentransfer eine weitere Möglichkeit DNS-Namen im USP NAS zu ergänzen

Für den Import des EPD werden die in Tabelle 3 aufgeführten Daten erwartet:

Mit dem EPD-Eigenschaften zu einem Endgerät importiert werden, welche einerseits im den Gerätedetail angezeigt werden oder für das Berechnen eines Profils verwendet werden können. Damit ein Datensatz zugeordnet werden kann muss entweder die MAC-Adresse oder die IP-Adresse verfügbar sein. Fall beide Felder verfügbar sind wird die MAC-Adresse für die Zuordnung verwendet.