Archiv pro měsíc: Říjen 2012

Dnes krátce o tom, jaké užitečné příkazy vám poví různé informace o discích na linuxu:

SMART test:

(pokud nemáme nainstalován smartctl tak apt-get install smartctl -y )

smartctl –test=long /dev/sda
Až test doběhne, tak se na výsledek podíváme přes příkaz:
smartctl -l /dev/sda

Další užitečný příkaz je blkid.

Vypíše UUID disku, /dev/zařazení, LABEL a TYPE (ext3, nebo linux_raid_member apod…).

Další utilita je hdparm:

instalace pomocí: apt-get install hdparm -y

hdparm -I /dev/sda  <-tento příkaz poskytne obsáhlé informace o disku

Další příkazy zobrazí další podrobné informace o discích:

lshw -class disk – class storage

lshw -short -C disk  (vypíše konkrétní informace a chvilku to trvá)

lshw vypíše který pevný disk odpovídá jakému zařízení. Doporučuji!

Další podrobný příkaz je :

smartcl -d ata -a -i /dev/sda (vypíše v podstatě hardware disku, id, seriové číslo disku atd…)

Tyto utility se instalují pomocí:
apt-get install lshw -y
apt-get install hdparm -y

 

Vzácný problém, který se však vyskytne na jakémkoliv virtualizovaném serveru když něco měníte (hlavně na KVM), anebo když vyměníte počítači základní desku. Počítač v takovém případě třeba nevidí eth0.

Řešení:

rm -rf /etc/udev/rules.d/70-persistent-net.rules

touch /etc/udev/rules.d/70-persistent-net.rules

shutdown -r0

Příkazem Shutdown -r0 restartujete počítač.

Po restartu Vám na debianu naběhne vše jak má a konečně vidíte eth0, kterou jste předtím neviděli.

Situace jaká je na 3serveru. Jsou tam síťové karty eth0 eth1 eth2 . Rozhraní pro KVM je br0. (samozřejmě vy můžete mít více síťových karet, nebo taky jen eth0 a eth1) (ještě tam mám další rozhraní virbr0 ale o tom dnes mluvit nebudu).
Abychom mohli rozjet takzvaný bonding/teaming/link agregaci, potřebujeme provést následující:
Nainstalujeme balíček pro bonding:
apt-get install ifenslave-2.6  

dále zazálohujeme starou verzi nastavení připojení k síti (kdyby byl náhodou problém) následujícím příkazem:
cp /etc/network/interfaces /etc/network/interfaces.old
No a pak jsem na to udělal script, ve kterém jsem si nastavil, co to tam má nastavit. Protože script používám velmi často, tak si ho jen vždycky editnu, spustím a všechno se provede za mě:

echo “” > /etc/network/interfaces
echo “auto lo” >> /etc/network/interfaces
echo “iface lo inet loopback” >> /etc/network/interfaces
echo “auto bond0” >> /etc/network/interfaces
echo “iface bond0 inet manual” >> /etc/network/interfaces
echo “slaves eth0 eth1 eth2″ >> /etc/network/interfaces
echo ” bond_mode balance-tlb” >> /etc/network/interfaces
echo “bond_miimon 100″ >> /etc/network/interfaces
echo ” bond_downdelay 200″ >> /etc/network/interfaces
echo ” bond_updelay 200″ >> /etc/network/interfaces
echo “#auto eth0” >> /etc/network/interfaces
echo “#iface eth0 inet manual” >> /etc/network/interfaces
echo “auto br0” >> /etc/network/interfaces
echo “iface br0 inet static” >> /etc/network/interfaces
echo “address 192.168.123.33” >> /etc/network/interfaces
echo “netmask 255.255.255.0” >> /etc/network/interfaces
echo “gateway 192.168.123.254” >> /etc/network/interfaces
echo “dns-server 81.31.33.19” >> /etc/network/interfaces
echo “bridge_ports bond0” >> /etc/network/interfaces
echo “bridge_fd 9” >> /etc/network/interfaces
echo “bridge_hello 2” >> /etc/network/interfaces
echo “bridge_maxage 12” >> /etc/network/interfaces
echo “bridge_stp off” >> /etc/network/interfaces

No a potom restartneme síťové připojení pomocí:
/etc/init.d/networking restart

A voila máme bonding! 🙂

Stačí připojit jen 1 kabel do jakékoliv ze síťových karet a můžeme fungovat!

Adresy v tomto článku si zaměňte za nastavení vašich adres. S bridge jsem nic nedělal, jenom jsem si teda nastavil “bridge_stp on”

Kdyby se něco po…kazilo tak stačí přiběhnout k serveru a napsat cp /etc/network/interfaces.old /etc/network/interfaces a máte nahozenou zpět starou konfigurací.

Kterou lze vyřešit buď restartem serveru, nebo pomocí /etc/init.d/networking restart a jste zase UP.

Tohle si prvně raději někde vždycky natrénujte a potom to teprve dělejte na ostrém serveru, protože ať víte, co děláte a že to děláte správně!

 

Musím se pochlubit, že SW RAID 5 na Debianu squeeze mě fakt dostal.

Čekal jsem, že budu muset pevný disk načíst do pole a pak začne teprve obnova, až já zadám příkazem načtení disku do pole. Všechno je jinak. Zapnu server bez hlavního disku (/dev/sda), bez problémů naběhne GRUB2, spustí se Debian squeeze a automaticky se po náběhu systému spouští obnova disků. Přiznávám ale, že pokud by se mi tohle stalo při ostrém provozu, že by najednou z ničeho nic vysadil disk, tak by to nedopadlo asi nejlépe, kdyby do šrotování s databází a dalšími daty musely disky šrotovat i obnovování dat na SPARE (záložní) disk. Což je vcelku zajímavá myšlenka autorů, aby došlo k obnově co nejrychleji. Na druhou stranu asi ale chápu, že mechanismus je tak chytře navržen, že se počítá s následující možností:

Disk vypadne tehdy, když dochází k vynucené kontrole povrchu disku. Tehdy je disk označen za vadný a vyřazen z pole. Spouští se obnova na záložní disk. A kdy se provádí tato kontrola? No samozřejmě tehdy, kdy to chce vynutit administrátor serveru, takže je vše v pořádku a toto řešení je takzvaně blbuvzdorné, protože se provádí tehdy, když je v cronu naplánovaná kontrola. A přece nebude server čekat, až se pan administrátor uráčí přijít k serveru, zjistit že došlo k degradaci pole a pak teprve na jeho žádost začít pracovat. NE! To musí jít hned a tohle je skutečně problémy řešící řešení, za které Debianu Squeeze na jádru 2.6.32.5 AMD64 musím skutečně vzdát hold.

Zatím se mi však obnovuje RAID 5 pole a neobnovuje se RAID1 pole, což je zvláštní, že to nevzalo od nejmenšího diskového pole, ale od největšího. Další geniální věcí je GRUB2. Ten mi sesnalo snad samotné nebe a teprve teď mi dochází, jak masivní rozdíl je mezi GRUBem 1 a Grubem 2. Zatímco GRUB neumí pracovat příliš dobře s jakýmkoliv SW RAID polem, GRUB2 to troufám si říct, zvládá na výbornou.

Je tedy pravda, že jsem aplikoval před vyhozením disku ze serveru příkaz grub-install /dev/sdb to stejné pro sdc a sdd, ale myslím si, že tento příkaz neměl na nic vliv, protože mi to vypsalo chybu.

Tohle moji důvěru v SW RAID na linuxu vcelku slušně zvýšilo. Uvidíme však, jaký bude reálný provoz na serveru. Kombinace úsporný Quad core procesor (bez L3 cache a s frekvencí jen 2.2Ghz), 16 GB RAM DDR3, RAID 5 bez SWAPu, virtualizací na KVM a 4 disky, kde 2 jsou z jedné série, ale jiného datumu, další je stejný typ disku, ale jiná série a poslední pevný disk od jiného výrobce, bude jistě zajímavou zkušeností. Největší strach mám z nedostatečného výkonu úsporného procesoru. Přeci jen absence L3 cache nemusí být zrovna výhra a frekvenci 2.2Ghz rovněž nevidím zcela nejoptimističtěji. Na druhou stranu současný 2.5Ghz čtyřjádrový procesor s architekturou K10 současného serveru podle utility powertop naznačuje, že jen v 14,5% času je využíván maximální výkon 2.5Ghz. Troufám si tedy tvrdit, že pokud na 85,5% procesorového času stačí poloviční rychlost procesoru, pak mohu být naprosto vklidu s nadcházejícím úsporným čtyřjádrovým procesorem, který mi ušetří již za méně než rok, nákupní náklady procesoru. A ruku na srdce, že TDP 45W oproti TDP 125W půjde jistě poznat.

Podle tohoto článku : http://www.texsoft.it/index.php?c=hardware&m=hw.storage.grubraid1&l=it

je nutno nastavit na všech discích v raidu GRUB v případě selhání “primárního” z nich.

Uvedu příklad z článku
Máme 2 disky. Oba jedou v RAID 1. Při instalaci linuxu se nainstaloval však grub pouze do /dev/hda To znamená, že pokud by tento disk vypadl, server by znovu nenabootoval, protože by neměl disk, na kterém by byl nainstalován grub.

Řešení je následující:

pomocí apt-get install grub nainstalujeme grub.

Pak spustíme grub v terminálu pomocí příkazu grub .

Po napsání: root(hd0,0) nám to vypíše krátké info o tom, s čím jdeme pracovat.

další příkaz je setup(hd0)

Pro druhý disk:
root(hd1,0)

setup(hd1)

Až skončíme, tak napíšeme quit a hotovo.

Pokud by vypadnul disk, není potřeba nijak měnit /boot/grub/grub.conf . Systém bezproblému naběhne.

Lze to otestovat tak, že vypneme server, odpojíme první disk a necháme server naběhnout (nabootovat) jiný disk.

po zadání terminálového příkazu cat /proc/mdstat nám to ukáže [_U] kde _ znamená vypadlý disk a U znamená UP – připojený disk.

Po zadání příkazu:

mdadm –detail /dev/md0

(za md0 si dosaďte identifikátor vašeho diskového pole. Může to být md0 až md255)

vidíme už degraded ve State.

Teoreticky by šlo vypsat pouze

mdadm –detail /dev/md0 | grep degraded

Pokud příkaz nevypíše nic, diskové pole není degradované. Pokud vypíše řádek, kde bude napsáno “degraded”, tak jeden z disků je “vypadený”.

Navrácení disku do pole zpět

píšeme příkazy:

fdisk -l
Tento příkaz nám vypíše seznam všech disků a diskových polí.

Příkaz:

cat /proc/mdstat
Vypíše seznam aktivních připojených disků do raid pole. Pokud odpojený disk byl /dev/sda neměli bychom ho tu vidět a pokud jsme ho připojili znovu stejně tak, jak byl předtím, měl by mít opět stejný název zařízení, tedy /dev/sda. Pokud má 2 oddíly. Tak první z nich je /dev/sda1 a druhý /dev/sda2. Představme si, že máme 2 diskové pole. První je /dev/md0 a druhé je /dev/md1 .Pokud první oddíl patří do prvního diskového pole a druhý oddíl disku patří do druhého diskového oddílu, budeme psát následující příkazy uvedené níže:

Pro přiřazení disku do diskového pole použijeme příkazy:

mdadm –manage /dev/md0 –add /dev/hdc1

a do druhého diskového pole druhý oddíl stejného pevného disku.

mdadm –manage /dev/md1 –add /dev/hdc2

 

Pro sledování jak daleko doběhla synchronizace disků můžeme zjistit tímto příkazem docela interaktivně:

watch -n1 cat /proc/mdstat

Příkaz watch bude každou vteřinu vykonávat příkaz cat /proc/mdstat, takže v reálném čase můžeme sledovat na terminálu, jak jsme daleko se synchronizací.

Ohledně synchronizace. Tu děláme někdy ve 4 ráno (můžeme to naplánovat pomocí cronu), kdy je minimální provoz.

 

Ještě ohledně přípravy nového čistého disku pro RAID pole. Raid pole nepřežvýká naprosto čistý disk bez oddílů. Ty musíme vytvořit. Na linuxu existuje spousta utilit, jak toho dosáhnout.

příklad

Pokud máme 2 diskové pole. První diskové pole raid 1 o velikosti 1GB a druhé diskové pole RAID5 o velikosti 200GB, musíme na disku vytvořit 2 oddíly. První 1GB typu RAID (asi s Boot příznakem, pokud je to bootovací první oddíl, že?) a druhý oddíl taky typu RAID bez příznaku bootu (tam budou data a třeba kořenový adresář / ). Takový disk pak stačí vzít a zařadit do diskového pole a už by měl disk být synchronizován a fungovat. POZOR! Při zapojení nového disku je nutné znovu provést postup pro vytvoření GRUBu na novém disku, aby z něj server dokázal nabootovat v případě výpadku jiného disku!

 

Pokud používáme GRUB2, tak ten už nativne podporu RAIDu umí! viz odkaz.

 

…tak nejste v míst kam slunce nesvítí, ale můžete udělat tohle:

mdadm --fail /dev/md1 /dev/sda

mdadm --remove /dev/md1 /dev/sda

za /dev/sda si přiřaďte jméno vadného disku. Za /dev/md1 si přiřaďte vaše diskové pole. Já mám /dev/md0

Prvním příkazem dáme najevo, že ten disk odešel. A tím dalším ho odstraníme z pole.

Doporučuji tento odkaz: http://www.uzitecne.cz/SW-Raid–mdadm/?idfi=2&IDclanku=9

 

V diskusi na odkazu:  http://www.abclinuxu.cz/poradna/linux/show/298096

jsou docela užitečné příkazy jak zjistit jak na tom jsou jednotlivé disky pomocí SMART:

smartctl --test=long /dev/sda
a až test doběhne, tak se podívat přes
smartctl -l /dev/sda

 

Zde je návod česky a snadno:

http://www.linuxexpres.cz/praxe/sprava-linuxoveho-serveru-softwarovy-raid-prakticky

Tento návod jsem hledal už hodně dlouho a opravdu ho mohu doporučit komukoliv kdo začíná na debianech či ubuntu a pracuje se softwarovým RAIDem.

sudo fdisk -l

This will output, for each drive you have, something along the lines of:

Disk /dev/sda: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x000f1f05

There may well be slightly more information available too if you already have some partitions made. From here note the name of the drives you wish to use (for example, /dev/sda). For each drive, create a partition and mark it as a RAID partition.

sudo fdisk /dev/sda

This will open up fdisk, the partition manager. If you already have any partitions on the drive you should first delete them (obviously this will erase any data on them!). To create one partition that is the size of the whole drive:

Command (m for help): n
Command action
	e	extended
	p	primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-182401, default 1): [blank]
Last cylinder or +size or +sizeM or +sizeK (1-182401, default 182401): [blank]

When choosing the first and last cylinder simply hitting return will use the default values (which are probably the values you actually want).

Next we will mark the partition as being part of a RAID array, allowing mdadm to automatically detect it:

Command (m for help): t
Partition number (1-4): 1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid auto)

So far our changes haven’t actually been written to disk, so finally, issue the command to write the changes to disk.

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

 

Growing

One of the advantages of software RAID is the flexibility it gives you, that would normally only be available from high end (expensive) RAID cards. This includes the ability to grow an existing array (only for certain RAID levels), which means if you run out of space you can easily plug in a new drive and keep going.

1. Growing the array

Growing a RAID-5 array with mdadm is a fairly simple (though slow) task. First you will need to prepare the new drive in the same we we prepared the initial drives (step 1, above). To start the actual growing of the array we then add the new drive to the array as a spare:

sudo mdadm --add /dev/md0 /dev/sdd1

Then we grow the array onto this device. Because I had 3 drives before, the new drive obviously makes 4. Make sure to change this to whatever number you now have!

sudo mdadm --grow /dev/md0 --raid-devices=4

As when creating the array, we can follow the progress by checking the file /proc/mdstat.

sudo watch cat /proc/mdstat

Again, I decided to wait for the operation to finish before attempting to grow the filesystem, but you should be able to do it while the array syncs.

Návod je sice na ubuntu 9, ale na debianu squeeze fungoval bez problémů:

http://www.jamierf.co.uk/2009/11/04/software-raid-5-using-mdadm-in-ubuntu-9-10/

Není nic lepšího pro začátečníky s libvirt. Snažím se právě pochopit lépe live migraci na KVM, tohle vám pomůže ujasnit jak je to s node, doménou, nastavením atd…

http://www.root.cz/clanky/konfigurace-virtualizace-v-libvirt/