LINUXSOFT.cz Přeskoč levou lištu

ARCHIV



   

> Úskalí provozování databázového serveru na Windows

S jakými problémy jsem se setkal při provozování data warehousingu na DB2 v prostředí Windows.

16.7.2010 00:00 | Radim Kolář | přečteno 11152×

Platforma windows, která má nyní podle odhadů 60-70% na serverech je nasazována oproti linuxu zejména z následujících důvodů:

  1. Větší dostupnost windows administrátorů

  2. Windows administrátor je levnější a potřebuje méně znalostí - naprostou většinu věcí nakliká

  3. Firemní politika

  4. Software je k dispozici právě jen pro tento OS

  5. Snadná instalace software, instalační program zařídí vše potřebné

Má ale i své nevýhody:

  1. Nestabilita

  2. Nižší výkon

  3. Z ničeho nic se oběvující problémy

  4. Windows registr, rád se poškozuje

  5. Je potřeba rezignovat na požadavek bezproblémového provozu

  6. Prostředí je dost komplexní - špatně se diagnostikují problémy

Před necelým půl rokem jsem nasadil jednu database warehouse aplikaci na windows server. Důvod pro vybrání windows byl jednak získat praktické zkušenosti s provozem na windows a jednak si ušetřit práci s konfigurací během a po instalaci. Jednalo se o kombinaci IBM DB2 9.7 databáze a Websphere aplikačního serveru.

Počátační testy po instalaci asi nad 1 GB dat vypadaly dobře a tak jsem to už na windows nechal. Asi za 3 týdny se objevily první problémy které byly způsobené nárůstem oběmu zpracovávaných dat. Systém byl pomalý, to co trvalo několik minut mu trvalo i hodiny. Analýza problému ukázala na swapování. Bylo především divné, že systém vůbec swapuje protože monitorovací utilita ukazovala přes 1,2 GB RAM free. Po konzultaci s experty na windows jsem se dozvědel že pokud má server dobře šlapat je potřeba počítat s 2 GB Ram vyhrazeným pro OS Windows (bez aplikací). U Linuxu se počítá 256 MB RAM pro OS + nějaká ta RAM navíc pro cache. Tak jsem si šel tu ramku znova přepočítat podle doporučení Windows expertů a vyšlo mi toto:

  1. 2GB Overhead windows OS

  2. 1GB Overhead websphere

  3. 1GB Overhead DB2

  4. 0,5GB paměti pro J2EE aplikaci

  5. 2 GB paměti pro DB2.

Tak jsem vzal 8 GB RAM, tedy dvojnásobek s čím to běželo na linuxu.

Dalším podstatným problémem, který se oběvil byla fragmentace souborů na disku. Microsoft používá velmi špatný algoritmus pro alokaci volných bloků ať se již jedná o fs FAT32 nebo NTFS. Způsobuje značnou fragmentaci souborů a proto je potřeba často a pravidelně defragmentovat. Pro zajimavost se podívejte jak rozfragmentované byly databázové soubory:

Velikost souboru / počet fragmentů
2,13GB 34316
4,53GB 64791
8,00GB 36395
477MB  4168
4,56GB 1046

Kdyby databáze dělala OLTP tak tam by fragmentace nevadila kromě velmi pomalých záloh. V OLTP se zpracovávají náhodné malé bloky dat zatímco u data warehouse se často procházejí celé tabulky a DB2 optimalizér počítá při generaci přístupového plánu s tím že nejsou výrazně fragmentované. Jak vidíte z tabulky, v našem případě jsou sobory fragmentované velmi výrazně. Špatná zpráva je ta, že defragmentovač obsažený ve Windows je dost slabý a v některých případech neumí soubory defragmentovat. Ne že by je neuměl defragmentovat zcela, to by zase tak nevadilo, on je neumí defragmentovat vůbec. Zakoupil jsem proto komerční NTFS defragmentič a nařídíl každý den defragmentovat databázové soubory.

Když se Windows poskytne potřebná péče tak pak poskytují přijatelný výkon. Import 1M záznamů do 2 tabulek o 150M a 10M záznamů.

Rows: 1000000 read, 0 rejected, 1000000 commited.
Mon Jul 12 13:46:48 CEST 2010 Processing loaded data.
Mon Jul 12 13:49:50 CEST 2010 Done.

Navíc je použit jen jeden SATA disk, při použití více disků či více RAM bychom dostali výrazně lepší výkon. Jeden disk pro indexy, druhý pro data, třetí pro temporary space a čtvrtý pro protokolační soubory - abychom rozložili IO zátěž.

Jak je vidět z Windows se dobrý výkon sice vyrazit dá, ale je k tomu potřeba narozdíl od Linuxu vyvinout nadstandardní úsilí a navíc je to pak ve stavu sice to chodí, ale kdo ví co se rozbije příště. Podobné zkušenosti mám s provozováním Lotus Notes serveru - Win vs Linux.

Verze pro tisk

pridej.cz

 

DISKUZE

Nejsou žádné diskuzní příspěvky u dané položky.



Příspívat do diskuze mohou pouze registrovaní uživatelé.
> Vyhledávání software
> Vyhledávání článků

28.11.2018 23:56 /František Kučera
Prosincový sraz spolku OpenAlt se koná ve středu 5.12.2018 od 16:00 na adrese Zikova 1903/4, Praha 6. Tentokrát navštívíme organizaci CESNET. Na programu jsou dvě přednášky: Distribuované úložiště Ceph (Michal Strnad) a Plně šifrovaný disk na moderním systému (Ondřej Caletka). Následně se přesuneme do některé z nedalekých restaurací, kde budeme pokračovat v diskusi.
Komentářů: 1

12.11.2018 21:28 /Redakce Linuxsoft.cz
22. listopadu 2018 se koná v Praze na Karlově náměstí již pátý ročník konference s tématem Datová centra pro business, která nabídne odpovědi na aktuální a často řešené otázky: Jaké jsou aktuální trendy v oblasti datových center a jak je optimálně využít pro vlastní prospěch? Jak si zajistit odpovídající služby datových center? Podle jakých kritérií vybírat dodavatele služeb? Jak volit vhodné součásti infrastruktury při budování či rozšiřování vlastního datového centra? Jak efektivně datové centrum spravovat? Jak co nejlépe eliminovat možná rizika? apod. Příznivci LinuxSoftu mohou při registraci uplatnit kód LIN350, který jim přinese zvýhodněné vstupné s 50% slevou.
Přidat komentář

6.11.2018 2:04 /František Kučera
Říjnový pražský sraz spolku OpenAlt se koná v listopadu – již tento čtvrtek – 8. 11. 2018 od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Tentokrát bez oficiální přednášky, ale zato s dobrým jídlem a pivem – volná diskuse na téma umění a technologie, IoT, CNC, svobodný software, hardware a další hračky.
Přidat komentář

4.10.2018 21:30 /Ondřej Čečák
LinuxDays 2018 již tento víkend, registrace je otevřená.
Přidat komentář

18.9.2018 23:30 /František Kučera
Zářijový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 20. 9. 2018 od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Tentokrát bez oficiální přednášky, ale zato s dobrým jídlem a pivem – volná diskuse na téma IoT, CNC, svobodný software, hardware a další hračky.
Přidat komentář

9.9.2018 14:15 /Redakce Linuxsoft.cz
20.9.2018 proběhne v pražském Kongresovém centru Vavruška konference Mobilní řešení pro business. Návštěvníci si vyslechnou mimo jiné přednášky na témata: Nejdůležitější aktuální trendy v oblasti mobilních technologií, správa a zabezpečení mobilních zařízení ve firmách, jak mobilně přistupovat k informačnímu systému firmy, kdy se vyplatí používat odolná mobilní zařízení nebo jak zabezpečit mobilní komunikaci.
Přidat komentář

12.8.2018 16:58 /František Kučera
Srpnový pražský sraz spolku OpenAlt se koná ve čtvrtek – 16. 8. 2018 od 19:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát jsou tématem srazu databáze prezentaci svého projektu si pro nás připravil Standa Dzik. Dále bude prostor, abychom probrali nápady na využití IoT a sítě The Things Network, případně další témata.
Přidat komentář

16.7.2018 1:05 /František Kučera
Červencový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 19. 7. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát bude přednáška na téma: automatizační nástroj Ansible, kterou si připravil Martin Vicián.
Přidat komentář

   Více ...   Přidat zprávičku

> Poslední diskuze

31.7.2023 14:13 / Linda Graham
iPhone Services

30.11.2022 9:32 / Kyle McDermott
Hosting download unavailable

13.12.2018 10:57 / Jan Mareš
Re: zavináč

2.12.2018 23:56 / František Kučera
Sraz

5.10.2018 17:12 / Jakub Kuljovsky
Re: Jaký kurz a software by jste doporučili pro začínajcího kodéra?

Více ...

ISSN 1801-3805 | Provozovatel: Pavel Kysilka, IČ: 72868490 (2003-2024) | mail at linuxsoft dot cz | Design: www.megadesign.cz | Textová verze