NetFlow

Modul NETFlow slouží k zaznamenávání internetového provozu, který probíhá přes providerovu síť směrem od klientů a k nim.

alert icon Upozornění pro Českou republiku alert icon

Tento modul nevyhovuje Vyhlášce č. 357/2012 Sb., o uchovávání, předávání a likvidaci provozních a lokalizačních údajů. V České republice je proto modul NETFlow nahrazen FlowPro. Pro detaily o jeho nasazení a ceně kontaktujte obchodní oddělení na Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript.. Bližší informace o FlowPro jsou zde.

 

NETFlow provádí zaznamenávání hlaviček všech paketů, kde jsou obsaženy informace o zdrojové a cílové IP adrese, cílovém portu, typu protokolu, čase komunikace, délce spojení, počtu paketů i bajtů a další. Tyto informace potřebuje policie v případě podezření z trestného činu.

V praxi logování funguje tak, že v ISPadmin se nastaví "sběr dat" a na hraničním routeru se nastaví odesílání "hlaviček paketů" na server ISPadmin. Hraniční router musí být umístěn před NATem. V opačném případě by se nezaznamenávaly privátní IP adresy klientů, ale již NATované veřejné adresy, což je chybné.

Modul NETflow tedy vytváří požadované záznamy klientské komunikace. Je tedy přímo určen pro monitorování klientských přístupů do veřejných sítí jakožto i do Internetu. Zaznamenávání se skládá z informací o obsahu hlaviček všech průchozích paketů.

Test kontroly běhu pravidelně kontroluje, zda NETflow na serveru běží a jestli se sbírají data. Aktuální stav je možné zobrazit kliknutím do záložky NETflow, kde je graficky zobrazen stav běhu (NetFlow není aktivní !!! / NetFlow je aktivní). V případě, že není NETflow na serveru spuštěno, tak se při přihlášení zobrazí varovná informace a je nutné problém řešit.

Modul provádí tyto úlohy:

  • Logování provozu koncových klientů.
  • Vyhodnocování dat potřebných pro vytvoření potřebného záznamu komunikace.
  • Export do formátu CSV
  • Podrobné statistiky jako je např. typ protokolu (HTTP, SMTP) v určitých časových intervalech.

 


Zaznamenávají se tyto údaje:

  • Typ připojení
  • Identifikátor uživatelského účtu
  • Identifikátor zařízení uživatele služby
  • Datum a čas zahájení připojení
  • Datum a čas ukončení připojení
  • Další zájmové identifikátory
  • IP adresa
  • Port
  • Status události (úspěch či neúspěch spojení)‏

 

Modul NETflow není součástí standardní instalace systému ISPadmin. Je tedy nutné zakoupit jej samostatně. Nejprve je nutné zajistit adekvátní uložiště dat, poté už jen stačí správně nastavit hraniční router a naše technická podpora Vám tento modul aktivuje.

Stav licence lze ověřit pohledem do záložky Klienti Úvod, kde u položky Modul NETflow musí být uvedeno AKTIVNÍ. V případě, že Vaše licence neobsahuje NETflow, je nutné kontaktovat obchodní oddělení na Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript. a požádat o vystavení nového licenčního souboru. Tento soubor Vám bude obratem zaslán zpět v příloze. Aktualizovaný licenční soubor pak stačí nakopírovat do adresáře /data/support/ispadmin/config/.

 

Jak bude z následujících příkladů vidět, obsazený diskový prostor není přímo úměrný průměrné konektivitě. Výsledky mohou být individuální, což závisí zejména na způsobu komunikace, například v síti s VoIP službami se zaznamenává více dat z důvodu logování velkého počtu hlaviček malých UDP paketů.

Obecně platí, že vyhovující jsou samostatné disky o velikostech 320GB nebo 500GB. V rámci bezpečnosti dat doporučujeme zapojení disku do RAID1 (mirror). Je však možné uchovávat data pro NETflow i na systémovém disku v dalším oddíle pro data. Daní za úsporu financí je pak určitý úbytek rychlosti při vyhledávání, zápis je však téměř stejný.

 

Aktuální obsazení Vašeho disku můžete kontrolovat v Statistiky Statistika serveru Grafy, popř. pomocí příkazové řádky následujícími příkazy:

Celková velikost NETFlow dat
du -hl --max-depth=1 /data/support/flow/default/

Objem zaznamenaných dat za vybraný měsíc
du -hl --max-depth=1 /data/support/flow/default/2009/*

Objem zaznamenaných dat za jednotlivé dny
du -hl --max-depth=1 /data/support/flow/default/2009/2009-10/*

 

Provedli jsme měření v reálném provozu s následujícími výsledky:

Průměrný provoz 40~60 Mbit/s

  • Datový tok mezi hraničním routerem a serverem ISPadmin je cca 150~300 kbit/s.
  • Denně se ukládá 50~60 MB dat, tj, přibližně 10~12GB za 6 měsíců.
  • Hraniční router (MikroTik nebo obyčejný stroj s Pentium 4 procesorem) není tímto vůbec zatížen, alespoň ne nijak znatelně.
  • Vyhledávání v již uložených datech je poněkud náročnější a je závislé na výkonu serveru (zejména diskové operace). Toto je do určité míry možné řešit optimalizací vyhledávání a hierarchií ukládaných dat.


Průměrný provoz 200 Mbit/s

  • Denně se ukládá cca 1,6 GB
  • Za 6 měsíců provozu zabráno cca 230 GB


Průměrný provoz 23 Mbit/s (600 aktivních klientů)

  • Denně se ukládá cca 280 MB (5,5 GB / měsíc)‏
  • Za 6 měsíců provozu uloženo cca 33 GB

 

Průměrný provoz 78 Mbit/s (1800 aktivních klientů)

  • Denně se ukládá cca 330 MB (13,5 GB / měsíc)‏
  • Za 6 měsíců provozu zabráno cca 80 GB

 

Příprava nového disku

Pro potřeby ukládání NETflow dat je vhodné přidat samostatný disk. Dle následujícího postupu si můžete nový disk připravit k použití.

Nejprve vytvořte jeden primární oddíl přes celý disk:
fdisk /dev/sdc

Následně jej naformátujte souborovým systémem xfs:
mkfs.xfs /dev/sdc1

Dále editujte soubor /etc/fstab a oddíl namountujte:
nano /etc/fstab
/dev/sdc1             /data/support/flow  xfs      defaults                    0     0

mount /dev/sdc1

Pokud není na systémovém oddíle dostatek volného místa pro vytváření záloh, můžete nastavit ukládání záloh na tento nový disk:

mv /data/backup  /data/support/flow
ln -s  /data/support/flow/backup /data/backup

 

Instalace flow-tools

Pro běh modulu NETflow je nutné nainstalovat tento balíček:

apt-get install flow-tools

Poté upravte konfigurační soubor. Nejprve zakomentujte všechny volné řádky a poté na poslední řádek zapište novou konfiguraci s portem nad 30100:

nano /etc/flow-tools/flow-capture.conf
-w /data/support/flow/default -n 100 -V 5 -N 3 0/0/30123

Dále je nutné vytvořit adresář, do kterého bude služba flow-tools ukládat nasbíraná data:

mkdir -p /data/support/flow/default

Nakonec aktivujte službu flow-capture a ověřte, zda běží:

/etc/init.d/flow-capture restart
ps ax |grep flow

 

Nyní už jen zbývá na hraničním routeru nastavit zasílání hlaviček průchozích paketů na server ISPadmin.

 

Nastavení hraničního routeru

Logování funguje tak, že v ISPadmin se nastaví sběr dat a na hraničním routeru se nastaví odesílání hlaviček paketů na server ISPadmin. Hraniční router musí být umístěn před NATem, v opačném případě by se nelogovaly privátní IP adresy klientů ale již NATované veřejné adresy, což je chybné. Pokud máte svou síť připojenou přes více hraničních routerů, na všech nastavte zasílání zaznamenaných dat na ISPadmin.

Funkce routeru není sběrem dat významně omezena, pozorované zatížení touto činností je neznatelné.

 

Winbox netflow

Ve Winboxu si zobrazte menu IP / Traffic flow, zde přidejte novou položku a nastavte následující údaje:

  • IP adresa serveru ISPadmin
  • Port 30123   (reálné číslo portu musí souhlasit s portem uvedeným v souboru /etc/flow-tools/flow-capture.conf)
  • Verze 5

alert icon V nastavení Trafic Flow Settings musí byt nastaven Interface na ALL, jinak to na Mikrotiku nefunguje. Dále je důležité mít na tomto routeru správně synchronizovaný čas, jinak se potom ničeho nedohledáte. Nastavte synchronizaci přes System / NTP Client a nastavte jako server pro synchronizaci např. ntp.nasa.gov.


Popřípadě můžete použít podobný příkaz:

/ip traffic-flow target add address=IP_serveru:Port version=5

Linuxový router, který sbírá data.

V případě použití Linuxu jako hraničního routeru nastavte utilitu fprobe s uvedenými parametry, aby se automaticky spouštěla po startu systému:

fprobe IP_ISPadmina:Port -i any

Příkaz můžete zapsat do souboru /etc/rc.local nebo jej zařaďte mezi startovací skripty.

Zkompilovaný soubor si můžete stáhnout zde.

 

netflow vyber

 

Zobrazení menu NetFlow v ISPadmin se nastavuje v Nastavení Systémové nastavení Obecné, ID netflow_button.

 

V NetFlow Výběr jsou vypsány všechny zaznamenávané údaje:

IP adresa Do tohoto vyhledávacího pole vložte IP adresu, pro kterou si přejete zobrazit záznam.
Datum od-do Omezení zobrazených záznamů pouze na určité časové období
Protokol Omezení zobrazených záznamů pouze na komunikaci pomocí vybraného protokolu
Port Omezení zobrazených záznamů pouze na vybraný port cílové adresy, tj. obecné určení typu služby (www, ftp, ssh...).
Zobrazit popisy Zaškrtnutím tohoto pole povolíte detailní popis u jednotlivých záznamů. Prozatím se pouze zaměňují čísla známých portů za jména služeb (www, ftp, ssh...).

 

V NetFlow Export lze vyexportovat aktuálně vybraná data do textového souboru a ten pak poskytnout oprávněným orgánům.

900px Scr netflow export

 

V Ostatní Zálohy NetFlow můžete procházet adresářovou strukturu dat zaznamenaných modulem.

Podkategorie

Tipy pro používání této dokumentace

 

Vyhledávání

Vyhledávání požadovaného obsahu je možné prostřednictvím strukturovaného menu orientovaného na jednotlivé sekce, případně lze využít pole pro fulltextové vyhledávání v celém obsahu této online dokumentace.
Breadcrumbs

Tato pomůcka Vám umožní se zorientovat, kde právě jste.

Pokud se například zobrazí pod hlavním menu následující - ISPadmin Wiki / Dokumentace / Správa klientů / CZ / Správa klientů / Menu - KLIENTI / Klienti / Nástěnka / Skupiny - znamená to, že se nacházíte:

 

  • ve Wiki dokumentaci systému ISPadmin
  • v její české lokalizaci
  • v sekci Správa klientů
  • v záložce Klienti
  • v podzáložce Nástěnka
  • v podpodzáložce Skupiny

Changelog

Obsahuje veškeré nově přidané funkce a aktuální úpravy systému přehledně zobrazeny dle jednotlivých verzí a data vydání. Konkrétní články z changelogu jsou dále zobrazeny v jednotlivých sekcích / stránkách dokumentace, ke kterým se nová funkce nebo úprava vztahuje.

Úvodní rozdělovník

Pro snadnější orientaci v dokumentaci slouží úvodní rozdělovník tématicky zaměřený na jednotlivé oblasti podle způsobu aktuálního využívání - Vyzkoušení / Implementace / Běžné užívání systému.

FAQ

Nejčastější dotazy, postupy a návody jsou popsány v kategorii FAQ.

Barevné zvýraznění

Dokumentace obsahuje barevně zvýrazněné položky, které odpovídají skutečné struktuře menu v systému ISPadmin, a to včetně jejich grafického podbarvení. Např. Fakturace Nastavení Šablony Upomínky. Zároveň se jedná i o funkční odkaz na daný článek.

KONTAKT

NET service solution, s.r.o.
Žerotínova 3056/81a
787 01 Šumperk
Česká republika