10 Gbit bidir routing (link) |
25.5.2011 17:10
Lidumil Všehomír
|
Věk: ( ~40 let)
, Pracovní pozice: IT Specialist
, Praxe v IT let: ( ~ let)
, Bydliště: Vesmír |
Dobrý den, potřeboval bych poradit, jak optimálně vyladit linuxové jádro pro vysoké síťové výkony. Konkrétně mi jde o pps.
Mám tři servery/routery (1 x proc Xeon X5650, 6GB RAM), každý s dvojicí karet Intel Corporation 82599EB 10-Gigabit SFI/SFP+. Na ně jsem nainstaloval debian 6 a dal tam vlastní ořezané vanilla jádro (2.6.38). Z něj jsem odstranil věci, které nebudu potřebovat (od pcmcia ... přes nepoužité FS až po netfilter). Stroje jsem propojil přes optiku a prostřednímu nastavil forwarding, aby mohl fungovat jako
provizorní router. Vše mi funguje, všude se dopingnu. Při testu s kopírováním na ftp z /dev/shm do /dev/shm to teoreticky vypadalo vše v pořádku. Stejně tak při použití pktgen a paketů s MTU blízko 1500. Při menších paketech pps stoupne jenom mírně a dále už neroste.
MTU = 1500 - pps = 850 000
MTU = 64 - pps = 960 000
další detaily:
nejde mi o jumbo frames (už při 1500 to jede okolo 10Gbit), ale právě o pps
snažil jsem se dále ladit výkon sítě dle tohoto článku http://proj.sunet.se/E2E/tcptune.html následující parametry (bezvýsledně)
echo 1 > /proc/sys/net/ipv4/tcp_window_scaling
echo 1 > /proc/sys/net/ipv4/tcp_timestamps
echo 32000000 > /proc/sys/net/core/rmem_max
echo 32000000 > /proc/sys/net/core/wmem_max
echo 240000 > /proc/sys/net/core/rmem_default
echo 240000 > /proc/sys/net/core/wmem_default
echo 9182 174760 32000000 > /proc/sys/net/ipv4/tcp_rmem
echo 9182 174760 32000000 > /proc/sys/net/ipv4/tcp_wmem
echo 1024000 1400000 2200000 > /proc/sys/net/ipv4/tcp_mem
ifconfig eth5 txqueuelen 100000
Co se týče jader, tak to samozřejmě mám nastaveno tak, aby každou z dvanácti front na síťové kartě obsluhovalo jedno.
I při polovičním počtu přidělených jader to jede na "maximální výkon". Dnes jsem zkoušel generovat provoz, pomocí 2 karet (rozdělení jader 50:50). Počet paketů byl při 64B paketech na každé cca 540000 celkově to tedy generovalo o něco víc (1080000), ale spokojen nejsem. Potřeboval bych tak 3-5Mpps.
Dle mnoha testů a tuningu, které jsem na internetu našel lze však výkon ještě několikanásobně zvýšit.
http://wenku.baidu.com/view/cfdad666f5335a8102d220f0.html
Co se serverů týče: budou to páteřní routery na kterých poběží bird a za nimi bude hučet několik tisíc serverů (pro zběžnou představu)
Kdyby teda ještě někoho napadlo, tak jsem jedno velké ucho :) |
|
|
Re: 10 Gbit bidir routing (link) |
27.5.2011 10:57
Lidumil Všehomír
|
Věk: ( ~40 let)
, Pracovní pozice: IT Specialist
, Praxe v IT let: ( ~ let)
, Bydliště: Vesmír |
Problém vyřešen ... týkalo se to affinity, ačkoliv jsem měl fronty rozhozené na jednotlivá jádra, tak se to chovalo jako bych to měl na jednom. Nikdy ... NIKDY!!! ... nespouštějte pktgen v subshellu midnight commanderu ... vše mi narval do jednoho vlákna. Tuhle zdánlivou blbost jsem řešil 14 dní. ufff ... howgh :) |
|
|
|
Příspívat do diskuze mohou pouze registrovaní uživatelé.
|
|
Vyhledávání software
Vyhledávání článků
28.11.2018 23:56 /František Kučera Prosincový sraz spolku OpenAlt se koná ve středu 5.12.2018 od 16:00 na adrese Zikova 1903/4, Praha 6. Tentokrát navštívíme organizaci CESNET. Na programu jsou dvě přednášky: Distribuované úložiště Ceph (Michal Strnad) a Plně šifrovaný disk na moderním systému (Ondřej Caletka). Následně se přesuneme do některé z nedalekých restaurací, kde budeme pokračovat v diskusi.
Komentářů: 1
12.11.2018 21:28 /Redakce Linuxsoft.cz 22. listopadu 2018 se koná v Praze na Karlově náměstí již pátý ročník konference s tématem Datová centra pro business, která nabídne odpovědi na aktuální a často řešené otázky: Jaké jsou aktuální trendy v oblasti datových center a jak je optimálně využít pro vlastní prospěch? Jak si zajistit odpovídající služby datových center? Podle jakých kritérií vybírat dodavatele služeb? Jak volit vhodné součásti infrastruktury při budování či rozšiřování vlastního datového centra? Jak efektivně datové centrum spravovat? Jak co nejlépe eliminovat možná rizika? apod. Příznivci LinuxSoftu mohou při registraci uplatnit kód LIN350, který jim přinese zvýhodněné vstupné s 50% slevou.
Přidat komentář
6.11.2018 2:04 /František Kučera Říjnový pražský sraz spolku OpenAlt se koná v listopadu – již tento čtvrtek – 8. 11. 2018 od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Tentokrát bez oficiální přednášky, ale zato s dobrým jídlem a pivem – volná diskuse na téma umění a technologie, IoT, CNC, svobodný software, hardware a další hračky.
Přidat komentář
4.10.2018 21:30 /Ondřej Čečák LinuxDays 2018 již tento víkend, registrace je otevřená.
Přidat komentář
18.9.2018 23:30 /František Kučera Zářijový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 20. 9. 2018 od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Tentokrát bez oficiální přednášky, ale zato s dobrým jídlem a pivem – volná diskuse na téma IoT, CNC, svobodný software, hardware a další hračky.
Přidat komentář
9.9.2018 14:15 /Redakce Linuxsoft.cz 20.9.2018 proběhne v pražském Kongresovém centru Vavruška konference Mobilní řešení pro business.
Návštěvníci si vyslechnou mimo jiné přednášky na témata: Nejdůležitější aktuální trendy v oblasti mobilních technologií, správa a zabezpečení mobilních zařízení ve firmách, jak mobilně přistupovat k informačnímu systému firmy, kdy se vyplatí používat odolná mobilní zařízení nebo jak zabezpečit mobilní komunikaci.
Přidat komentář
12.8.2018 16:58 /František Kučera Srpnový pražský sraz spolku OpenAlt se koná ve čtvrtek – 16. 8. 2018 od 19:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát jsou tématem srazu databáze prezentaci svého projektu si pro nás připravil Standa Dzik. Dále bude prostor, abychom probrali nápady na využití IoT a sítě The Things Network, případně další témata.
Přidat komentář
16.7.2018 1:05 /František Kučera Červencový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 19. 7. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát bude přednáška na téma: automatizační nástroj Ansible, kterou si připravil Martin Vicián.
Přidat komentář
Více ...
Přidat zprávičku
Poslední diskuze
31.7.2023 14:13 /
Linda Graham iPhone Services
30.11.2022 9:32 /
Kyle McDermott Hosting download unavailable
13.12.2018 10:57 /
Jan Mareš Re: zavináč
2.12.2018 23:56 /
František Kučera Sraz
5.10.2018 17:12 /
Jakub Kuljovsky Re: Jaký kurz a software by jste doporučili pro začínajcího kodéra?
Více ...
|