LINUXSOFT.cz Přeskoč levou lištu

ARCHIV



   

> Diskuze: Poradna 10 Gbit bidir routing

10 Gbit bidir routing
(link)
25.5.2011 17:10
Lidumil Všehomír
Věk: ( ~40 let) , Pracovní pozice: IT Specialist , Praxe v IT let: ( ~ let) , Bydliště: Vesmír

Dobrý den, potřeboval bych poradit, jak optimálně vyladit linuxové jádro pro vysoké síťové výkony. Konkrétně mi jde o pps.

Mám tři servery/routery (1 x proc Xeon X5650, 6GB RAM), každý s dvojicí karet Intel Corporation 82599EB 10-Gigabit SFI/SFP+. Na ně jsem nainstaloval debian 6 a dal tam vlastní ořezané vanilla jádro (2.6.38). Z něj jsem odstranil věci, které nebudu potřebovat (od pcmcia ... přes nepoužité FS až po netfilter). Stroje jsem propojil přes optiku a prostřednímu nastavil forwarding, aby mohl fungovat jako
provizorní router. Vše mi funguje, všude se dopingnu. Při testu s kopírováním na ftp z /dev/shm do /dev/shm to teoreticky vypadalo vše v pořádku. Stejně tak při použití pktgen a paketů s MTU blízko 1500. Při menších paketech pps stoupne jenom mírně a dále už neroste.

MTU = 1500 - pps = 850 000
MTU = 64 - pps = 960 000

další detaily:

nejde mi o jumbo frames (už při 1500 to jede okolo 10Gbit), ale právě o pps

snažil jsem se dále ladit výkon sítě dle tohoto článku http://proj.sunet.se/E2E/tcptune.html následující parametry (bezvýsledně)

echo 1 > /proc/sys/net/ipv4/tcp_window_scaling
echo 1 > /proc/sys/net/ipv4/tcp_timestamps
echo 32000000 > /proc/sys/net/core/rmem_max
echo 32000000 > /proc/sys/net/core/wmem_max
echo 240000 > /proc/sys/net/core/rmem_default
echo 240000 > /proc/sys/net/core/wmem_default
echo 9182 174760 32000000 > /proc/sys/net/ipv4/tcp_rmem
echo 9182 174760 32000000 > /proc/sys/net/ipv4/tcp_wmem
echo 1024000 1400000 2200000 > /proc/sys/net/ipv4/tcp_mem
ifconfig eth5 txqueuelen 100000

Co se týče jader, tak to samozřejmě mám nastaveno tak, aby každou z dvanácti front na síťové kartě obsluhovalo jedno.

I při polovičním počtu přidělených jader to jede na "maximální výkon". Dnes jsem zkoušel generovat provoz, pomocí 2 karet (rozdělení jader 50:50). Počet paketů byl při 64B paketech na každé cca 540000 celkově to tedy generovalo o něco víc (1080000), ale spokojen nejsem. Potřeboval bych tak 3-5Mpps.

Dle mnoha testů a tuningu, které jsem na internetu našel lze však výkon ještě několikanásobně zvýšit.

http://wenku.baidu.com/view/cfdad666f5335a8102d220f0.html

Co se serverů týče: budou to páteřní routery na kterých poběží bird a za nimi bude hučet několik tisíc serverů (pro zběžnou představu)

Kdyby teda ještě někoho napadlo, tak jsem jedno velké ucho :)

Re: 10 Gbit bidir routing
(link)
27.5.2011 10:57
Lidumil Všehomír
Věk: ( ~40 let) , Pracovní pozice: IT Specialist , Praxe v IT let: ( ~ let) , Bydliště: Vesmír

Problém vyřešen ... týkalo se to affinity, ačkoliv jsem měl fronty rozhozené na jednotlivá jádra, tak se to chovalo jako bych to měl na jednom. Nikdy ... NIKDY!!! ... nespouštějte pktgen v subshellu midnight commanderu ... vše mi narval do jednoho vlákna. Tuhle zdánlivou blbost jsem řešil 14 dní. ufff ... howgh :)

DISKUZE

10 Gbit bidir routing 25.5.2011 17:10 Lidumil Všehomír
  L Re: 10 Gbit bidir routing 27.5.2011 10:57 Lidumil Všehomír




Příspívat do diskuze mohou pouze registrovaní uživatelé.
> Vyhledávání software
> Vyhledávání článků

28.11.2018 23:56 /František Kučera
Prosincový sraz spolku OpenAlt se koná ve středu 5.12.2018 od 16:00 na adrese Zikova 1903/4, Praha 6. Tentokrát navštívíme organizaci CESNET. Na programu jsou dvě přednášky: Distribuované úložiště Ceph (Michal Strnad) a Plně šifrovaný disk na moderním systému (Ondřej Caletka). Následně se přesuneme do některé z nedalekých restaurací, kde budeme pokračovat v diskusi.
Komentářů: 1

12.11.2018 21:28 /Redakce Linuxsoft.cz
22. listopadu 2018 se koná v Praze na Karlově náměstí již pátý ročník konference s tématem Datová centra pro business, která nabídne odpovědi na aktuální a často řešené otázky: Jaké jsou aktuální trendy v oblasti datových center a jak je optimálně využít pro vlastní prospěch? Jak si zajistit odpovídající služby datových center? Podle jakých kritérií vybírat dodavatele služeb? Jak volit vhodné součásti infrastruktury při budování či rozšiřování vlastního datového centra? Jak efektivně datové centrum spravovat? Jak co nejlépe eliminovat možná rizika? apod. Příznivci LinuxSoftu mohou při registraci uplatnit kód LIN350, který jim přinese zvýhodněné vstupné s 50% slevou.
Přidat komentář

6.11.2018 2:04 /František Kučera
Říjnový pražský sraz spolku OpenAlt se koná v listopadu – již tento čtvrtek – 8. 11. 2018 od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Tentokrát bez oficiální přednášky, ale zato s dobrým jídlem a pivem – volná diskuse na téma umění a technologie, IoT, CNC, svobodný software, hardware a další hračky.
Přidat komentář

4.10.2018 21:30 /Ondřej Čečák
LinuxDays 2018 již tento víkend, registrace je otevřená.
Přidat komentář

18.9.2018 23:30 /František Kučera
Zářijový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 20. 9. 2018 od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Tentokrát bez oficiální přednášky, ale zato s dobrým jídlem a pivem – volná diskuse na téma IoT, CNC, svobodný software, hardware a další hračky.
Přidat komentář

9.9.2018 14:15 /Redakce Linuxsoft.cz
20.9.2018 proběhne v pražském Kongresovém centru Vavruška konference Mobilní řešení pro business. Návštěvníci si vyslechnou mimo jiné přednášky na témata: Nejdůležitější aktuální trendy v oblasti mobilních technologií, správa a zabezpečení mobilních zařízení ve firmách, jak mobilně přistupovat k informačnímu systému firmy, kdy se vyplatí používat odolná mobilní zařízení nebo jak zabezpečit mobilní komunikaci.
Přidat komentář

12.8.2018 16:58 /František Kučera
Srpnový pražský sraz spolku OpenAlt se koná ve čtvrtek – 16. 8. 2018 od 19:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát jsou tématem srazu databáze prezentaci svého projektu si pro nás připravil Standa Dzik. Dále bude prostor, abychom probrali nápady na využití IoT a sítě The Things Network, případně další témata.
Přidat komentář

16.7.2018 1:05 /František Kučera
Červencový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 19. 7. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát bude přednáška na téma: automatizační nástroj Ansible, kterou si připravil Martin Vicián.
Přidat komentář

   Více ...   Přidat zprávičku

> Poslední diskuze

31.7.2023 14:13 / Linda Graham
iPhone Services

30.11.2022 9:32 / Kyle McDermott
Hosting download unavailable

13.12.2018 10:57 / Jan Mareš
Re: zavináč

2.12.2018 23:56 / František Kučera
Sraz

5.10.2018 17:12 / Jakub Kuljovsky
Re: Jaký kurz a software by jste doporučili pro začínajcího kodéra?

Více ...

ISSN 1801-3805 | Provozovatel: Pavel Kysilka, IČ: 72868490 (2003-2024) | mail at linuxsoft dot cz | Design: www.megadesign.cz | Textová verze