Al zoekende naar shell builtins om nanoblogger sneller te maken kwamen we een hele elegante en mooie manier tegen om een tail functie te implementeren in de Kornshell.

Het volgende werkt alleen in KSH93 of nieuwer.

Twee nieuwe redirection operatoren <# en ># worden gebruikt om te seeken in respectievelijk stdin en stdout. De gewenste seekpositie geef je aan door een expressie tussen dubbele ronde haken.

Bijvoorbeeld,

cat < file <# (( 80 ))

zal file catten vanaf byte (offset) 80.

En

<# (( EOF-36 ))

seeket tot 36 bytes voor het einde van de file (EOF). Dit werkt natuurlijk ook met de standaard redirection

De waarde van $(n<#) is de huidige offset in file descriptor n.

Wanneer je een diskimage (gemaakt met dd waarschijnlijk) van een disk hebt, waarop meerdere partities staan, dan kun je die niet zomaar mounten.

Onder Linux is het echter wel degelijk mogelijk een partitie uit dit image te mounten.

Als eerste dient de offset van de partitie bepaald te worden.

Als voorbeeld nemen we een disk met twee partities, namelijk een FAT32 en een ext3 partitie en hiervan willen we de Linux partitie mounten

    # fdisk -l disk.img
    You must set cylinders.
    You can do this from the extra functions menu.

    Disk disk.img: 0 MB, 0 bytes
    16 heads, 32 sectors/track, 0 cylinders
    Units = cylinders of 512 * 512 = 262144 bytes
    Disk identifier: 0x0baec047

            Device Boot      Start         End      Blocks   Id  System
         disk.img1               1          61       15600    b  W95 FAT32
         disk.img2   *          62         978      234752   83  Linux

Bepaal nu de offset van de Linux partitie, we gebruiken de -u optie van fdisk om precies te kunnen uitrekenen waar we moeten zijn.

    # fdisk -ul disk.img
    You must set cylinders.
    You can do this from the extra functions menu.

    Disk disk.img: 0 MB, 0 bytes
    16 heads, 32 sectors/track, 0 cylinders, total 0 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Disk identifier: 0x0baec047

       Device Boot      Start         End      Blocks   Id  System
    disk.img1              32       31231       15600    b  W95 FAT32
    disk.img2   *       31232      500735      234752   83  Linux

Zoek nu de partitie en kijk naar het startpunt (in dit geval 31232)

Vermenigvuldig het startpunt met 512 en gebruik dit als mount offset

    # echo $(( 31232 * 512 ))
    15990784

en mount met de offset

    # mount -o loop,offset=$(( 31232 * 512 )) disk.img /mnt

We hebben het oude Studio AT nieuw leven ingeblazen, AT Computing gaat bloggen.

Op dit blog komen onderwerpen, oplossingen en leuke UNIX/Linux weetjes aan de orde waar wij als AT Computing bijna dagelijks mee te maken hebben.

Alle artikelen van voor vandaag (12 september) zijn overgeheveld van Studio AT naar dit blog.

Het zijn roerige tijden rond open standaarden en open source.

Lang, lang geleden is er door Kees Vendrik een trein gebouwd. De afgelopen jaren heeft de nieuwe bedrijfstak een spoor gelegd en eind vorig jaar is de trein gaan rijden. Dat was omdat de Tweede Kamer besloot dat open standaarden moeten en open source de voorkeur geniet. Ook werd er energie gestoken in haalbaarheidsonderzoeken voor open source bij het Octrooicentrum Nederland en ook bij de waakhonden van eerlijke handel de NMa. Allemaal ontwikkelingen ten gunste van open ICT. En daarmee ten gunste van iedereen!

Maar er zijn wat beren op de weg, of om in de beeldspraak te blijven, beren op het spoor verschenen. Het lijkt er sterk op dat Microsoft het OOXML-formaat er bij de ISO door gaat krijgen als nieuwe standaard. De manier waarop is reden voor veel discussie. Hoe gaat dat straks verder als Microsoft terecht of onterecht aan kan voeren dat zijn software volledig compliant is met open standaarden? En wat gaat GOUD voor gevolgen krijgen?

En wat gaat dit betekenen voor 'echte' open standaarden en open source software, laat ik dat vanaf hier maar 'open ICT' noemen, dat bekt wat gemakkelijker. Dit wil overigens niet zeggen dat open standaarden en open source over één kam geschoren kan worden. Het zijn echt twee heel verschillende zaken, die hooguit in elkaars verlengde liggen.

Ik denk dat deze rijdende trein niet meer stopt, maar wordt het een boemeltreintje of een HSL? Krijgt de jonge, nieuwe "Open ICT-bedrijfstak" serieuze voet aan de grond? Wanneer stappen de grote, reeds bestaande ICT-organisaties in? Hoe lang houdt de 'Open-ICT-bedrijfstak' nog last van de associatie met gratis/goedkoop?

Staatssecretaris Van Heemskerk merkte tijdens de bespreking van 'Nederland Open in Verbinding' op dat het hem opviel dat in het Open-ICT wereldje iedereen gewoon op tijd was en hij steeds meer jasje/dasje zag verschijnen. In elk geval is er een tendens waarbij de nieuwe bedrijfstak steeds serieuzer genomen wordt. Maar wat hiervoor geldt is: als je jezelf professioneel profileert, word je ook als zodanig behandeld.

Ik ben heel erg benieuwd waar het spoor de trein brengt...

Security through Obscurity is een methodiek om beveiliging te implementeren door geheimhouding. Een systeem dat op deze wijze ontworpen of gebouwd is heeft vaak theoretische kwetsbaarheden, maar de ontwerpers of eigenaren geloven dat deze foutjes onbekend zijn en dat het onwaarschijnlijk is dat aanvallers deze fouten zullen vinden.

Wanneer we in de praktijk naar de methoden van beveiliging kijken, dan zien we vaak dat er gebruik gemaakt wordt van dit principe. Veel beheerders hebben dan ook het idee dat als niemand weet hoe de servers te bereiken zijn of wat de kwetsbaarheden zijn, ze dan ook niet gehackt zullen worden. Natuurlijk is er niets dat minder waar is. Er zijn zeer veel snuffeltools op het internet en iedere machine die aan een netwerk hangt laat daarop ook zijn sporen achter. De verstopte server is dus snel gevonden en de hack kan worden ingezet.

Waar het om gaat is dat beheerders niet alleen op security by obscurity moeten vertrouwen. In plaats daarvan moeten ze een zgn. "defense in depth" strategie toepassen waarbij de veiligheid van het systeem niet moet afhangen van het geheim zijn van het ontwerp. Tegelijkertijd kunnen geheimen wel degelijk nuttig toegepast worden: de opzet van je DMZ wil je bijvoorbeeld niet zomaar prijsgeven. Deze vormt een obstakel, dat de hacker moet overwinnen, voordat hij weet welk systeem het meest zinvol is om aan te vallen. Hoe langer hij hiermee bezig is, hoe meer kans hij loopt dat hij over een tripwire (*) struikelt.

Beter is het dan ook dat de beveiliging op een hoog niveau staat. Hierbij kunnen we denken aan sterke wachtwoorden, key-authenticatie, certificaten en dergelijke en natuurlijk een goede monitoring van deze beveiligingen. Ook dienen de diverse nieuwsgroepen en fora gevolgd te worden, om na te gaan of er in de huidige geïnstalleerde software geen kwetsbaarheden gevonden zijn. Wanneer dat namelijk wel het geval is, kan er van worden uitgegaan dat een potentiële hacke deze informatie ook heeft en er zeker misbruik van zal maken.

Een erg goed medium om op de hoogte te blijven van gevonden kwetsbaarheden in software wordt geboden door De Waarschuwingsdienst ,een initiatief van de Nederlandse overheid. Vooral de mailalert service is een goede aanvulling.

Waar ook terdege rekening mee gehouden moet worden is het zorgen voor een goed gevoel voor beveiliging bij de gebruikers. De gebruikers dienen te weten dat wachtwoorden regelmatig veranderd moeten worden, dat er geen briefjes onder toetsen borden verstopt worden en dat een goed beveiligingsbeleid geen onzin is.

• Een tripwire is een 'struikeldraad' waar een hacker over struikelt bij zijn hackpogingen. Hierdoor zal er ergens een alarm afgaan waardoor de hacker kan worden betrapt. Tripwire is ook de naam van een bedrijf dat applicaties ontwikkelt voor informatiebeveiliging.

Enige tijd geleden heb ik hier wat geschreven over het programma Nagios en wat wij als AT Consultancy hiermee allemaal doen. Nu hebben wij Nagios behoorlijk aangepast aan onze eisen en wensen en daarvoor hebben we natuurlijk het nodige aan de software veranderd en bijgebouwd. Om nu te zorgen dat op ieder systeem dezelfde versie is geïnstalleerd en dat iedereen die een nieuwe versie wil ontwikkelen ook de laatste versie heeft, is het essentieel dat er gebruik gemaakt wordt van een versiebeheersysteem.

In de praktijk zijn er twee grote spelers op het gebied van open source applicaties voor versiebeheer, namelijk Subversion en CVS. Beide systemen hebben natuurlijk hun eigen voor- en nadelen, maar aangezien Subversion later ontwikkeld is als CVS is een groot aantal problemen, dat zich in CVS voordeed, in Subversion opgelost. Binnen AT Consultancy maken wij daarom ook gebruik van Subversion om ons versiebeheer te doen.

Versie beheer is niet alleen het in- en uitchecken van software in een beheersysteem, maar ook een vorm van discipline. Iedere ontwikkelaar dient de discipline te hebben om iedere nieuwe versie aan het systeem toe te voegen, en ook dient, voordat aan de ontwikkeling van een nieuwe versie wordt begonnen, eerst een complete synchronisatie met de server plaats te vinden, om de actuele situatie ook lokaal te hebben. Dit klinkt allemaal erg omslachtig, maar gelukkig valt dit in de praktijk erg mee. Er zijn namelijk ook grafische beheer tools beschikbaar, zowel voor Subversion als voor CVS, bijvoorbeeld TortoiseSVN en TortoiseCVS. Ook is er voor SVN een aantal webinterfaces beschikbaar, bijvoorbeeld ViewVC, waarmee het beheer nog eenvoudiger wordt.

Mijn ervaring is dat het gebruik van een versiebeheersysteem in de praktijk nauwelijks extra werk met zich meebrengt, maar dat de voordelen enorm zijn. Het is ook een goede back-upfaciliteit, dus het plotseling verdwijnen van een complete ontwikkelboom zal zelden nog voor komen.

Bij de herinneringen aan 9/11 moet ik onwillekeurig weer denken aan alle beschermingsmaatregelen, die toen werden ingevoerd. Sommige zinvol, andere twijfelachtiger. Het op allerlei plekken fouilleren van mensen werkt natuurlijk preventief, maar ik vraag me nog steeds af hoe effectief dat is voor het bestrijden van terroristische aanvallen. Vooral in 2002 kwamen er allemaal weldenkende mensen aan bod die vonden dat de overheden overdreven reageerden en die wel eens zouden aantonen hoe zinloos zulke maatregelen waren.

Toch moeten we misschien wat zorgvuldiger zijn met ons oordeel. Zijn we in ons eigen vakgebied niet soms even paniekerig en zijn enkele van onze maatregelen niet even weinig doeltreffend? Met name bij het fouilleren werd aangehaald dat het veel mankracht kostte. Het leidt tot veel oponthoud en het is weinig effectief, want je kon er in veel gevallen toch omheen komen. Maar als je bij de IT-sector naar het veiligheidsbeleid kijkt, moet je toch concluderen dat er overeenkomsten zijn. Is de houding ten aanzien van patches niet vaak: installeer in ieder geval altijd de security patches? Deze instelling komt dan voort uit het gevoel dat er zoveel wormen, robot-aanvallen e.d zijn dat je jezelf daartegen zeker moet beschermen. Hoeveel werk en dus tijd en geld kost ons dat niet? En is het echt nodig om alle willekeurige servers van de nieuwste patches te voorzien? En hoeveel werk hebben de beheerders vervolgens bij het aan de tand voelen van de nieuwe configuraties?

Eigenlijk zou ik willen pleiten voor de aanpak die je tegenwoordig bij goed beveiligde kantoren ziet: iedere medewerker en gast die binnenkomt krijgt een elektronisch pasje en met dat pasje kun je alleen in die gangen en kamers komen waar je toegang toe moet hebben. Als je nu ook op je netwerk de toegang zodanig beperkt dat een gebruiker alleen bij de machines en diensten kan komen die hij of zij nodig heeft, dan kun je volstaan met een veel minder stringent patch-beleid. Je directe gebruikers vertrouw je toch wel. Door selectieve toegang is het voor een "software-infectie" niet mogelijk om een groot aantal machines te besmetten en blijft het "uitbraakgebied" noodzakerlijkwijs beperkt.

Sommige servers, zoals de externe webserver, staan natuurlijk op plekken waar wel veel gebruikers binnenkomen. Daar zul je wel de nieuwste security patches willen aanbrengen. Bovendien kan fouilleren met behulp van een firewall daar zeker helpen. Maar in paniek raken en voortdurend de nieuwste patches op alle machines willen invoeren lijkt me overdreven.

Enige tijd geleden heb ik hier wat geschreven over het programma Nagios. Dat ik nogal onder de indruk ben van dit programma is wel duidelijk geworden uit het vorige verhaal. Ik hoef hier geen tweede keer uit te leggen waarom, dat zou overbodig zijn. Maar waar ik het deze keer over wil hebben is de opstelling zoals we die zelf binnen AT Consultancy hebben opgezet. Dit is ook de configuratie waar ik helemaal lyrisch van kan worden.

De Nagios-inrichting bij AT Consultancy is opgezet met behulp van Distributed Monitoring en is ook redundant uitgevoerd. Onze redundantie houdt in dat we twee Nagios-servers hebben ingericht, die beiden dienst doen als Nagios-master. De server in Amsterdam is de echte master en de server in Nijmegen is slave. Nu houdt de server in Nijmegen continu de server in Amsterdam in de gaten en als blijkt dat die een probleem heeft, dan wordt de functionaliteit uit Amsterdam direct in Nijmegen overgenomen. Daar hoeven wij als beheerders niks aan te doen.

Om deze setup te realiseren hebben we wel het nodige aan Nagios en bijbehorende programma's aan moeten passen. Aangezien Nagios Open Source is, was dat ook mogelijk. Hierdoor is 'onze' Nagios compleet toegesneden op onze situatie. En dat geldt ook voor elke andere specifieke situatie: Nagios kan helemaal naar wens worden aangepast.

Het gedistribueerde systeem houdt in dat er bij al onze klanten een zogenaamde ATbox staat. Dit is een gestripte Nagios-server, die alle systemen en services bij de klant in de gaten houdt en de status hiervan doorgeeft aan de Nagios-servers in Amsterdan en Nijmegen. De beheerder bij de klant kan zelf ook op de ATbox de huidige status van de zijn eigen systemen zien en weet dus te allen tijde of er verstoringen zijn. Door de beheerder bij de klant wordt deze extra functionaliteit als erg prettig ervaren.

Al met al is Nagios een programma dat exact naar eigen wensen te kneden is en waarbij het monitoren van systemen en services naar een hoger plan getild wordt.

Thuiswerken is in. Al in augustus vorig jaar werd geconstateerd dat acht op de tien huishoudens in Nederland een internet aansluiting hebben. Dus Nederland is het haast het ideale land voor thuiswerken.

Waar ik nogal eens tegenaan loop is bezorgdheid bij de ICT-verantwoordelijke of de privé-PCs niet zorgen voor ..... en noem het dan maar op: de zoveelste interne virusuitbraak, gegevens die op straat komen te liggen door spyware, het lekken van email-adressen waar door het spam- / virus-probleem alleen nog maar groeit. Kijk maar eens op www.waarschuwingsdienst.nl

Linux Live CD

Een paar jaar geleden hadden we een potentiële klant, die werkt met veel wisselende partnerbedrijven. Zo'n tijdelijk samenspan van bedrijven moet samen een project doen. Onze gesprekspartner wilde de IT-infrastructuur wel faciliteren, maar wilde niet dat iedereen zomaar in kon loggen. Dus moest er speciale software komen. De IT-afdeling van ieder partnerbedrijf gaat natuurlijk steigeren als zoiets voor een korte termijn moet en voor maar een paar mensen.

Voor mij lag de oplossing voor de hand: onze Linux Live-CD. Dat is een CD-Rom die zelfstandig boot en dan een eigen werkomgeving biedt die volledig los staat van de software die op de PC aanwezig is. De speciale software kan eenvoudig op de CD-Rom erbij worden gezet. dus deel CD-Roms uit en wie de CD-Rom heeft kan meedoen. De Linux CD kijkt helemaal niet naar de harddisk van de PC die erin zit. De Windows programma's die daarop staan snapt Linux ook helemaal niet. Dus ook geen virussen en geen spyware. Uiteindelijk is er niets van gekomen onder meer omdat men graag laptops wilde gebruiken en via Win-Modems wilde kunnen inbellen. De hardware variatie in met name die winmodems bleek gewoon heel groot en niet oplosbaar met de beperkte Linux-drivers die er toen waren.

Certificaat

Ik heb het altijd jammer gevonden dat die CD-Rom toen niets is geworden. Soms komt zoiets echter toch nog goed: bij een andere relatie groeide de wens om een wisselende groep externe mensen tijdelijk toegang tot hun kantooromgeving te geven. De CD-oplossing is nu bijna operationeel. En met extra's: iedere CD heeft zijn eigen certificaat waarmee de vebinding naar de IT-infrastructuur wordt opgebouwd. Dat certificaat heeft een eigen wachtwoord en zonder dat wachtwoord is geen verbinding mogelijk. Omdat het certificaat achteraf op de CD-Rom bijgezet kan worden (via een extra session) kun je de CD-Roms klaar hebben liggen en uitdelen zodra een medewerker er een nodig heeft.

Het is zeer bevredigend om te zien dat wat je destijds voor ogen stond nu realiteit is. En nog zeer veilig ook: de CD-Rom is vergelijkbaar met een inbeltoken. Het wachtwoord is vergelijkbaar met een pincode. Toegegeven, op een chip-card mag je maar drie of vier pogingen doen en daarna wordt de chip geblokkeerd. Maar de certificaten kunnen ook worden geblokkeerd en je hoeft er alleen voor te zorgen dat de wachtwoorden sterk genoeg zijn om niet even te worden gekraakt voordat iemand ontdekt dat hij z'n CD-Rom kwijt is. Met sterke encryptie is een wat langer wachtwoord al snel voldoende. Door de certificaten een beperkte geldigheidsduur te geven, hoeft zelfs iemand die het kwijtraken nooit rapporteert geen probleem te zijn.

Ook zonder de nieuwste technieken kun je vaak mooie oplossingen vinden.

Ik ben al een tijdje helemaal weg van Nagios.

Nagios is een programma, waarmee je geautomatiseerde systemen permanent in de gaten kunt houden. Nagios registreert van alles, zoals de bezetting van harddisks, het gebruik van geheugen, het aantal ingelogde gebruikers, de status van mail- en webservers, van databases en van het netwerk.

Het programma waarschuwt als er iets mis gaat, maar je kunt het ook gebruiken om de vinger aan de pols te houden. Je kunt er vaak al in een vroeg stadium mee aan zien komen wanneer iets mis zal gaan. Je kunt bijvoorbeeld de toename van data in een bepaalde periode bijhouden en aan de hand daarvan een inschatting maken wanneer een harddisk zal vollopen. Zo gebruik je het programma pro-actief en daar zit de grootste waarde. Je kunt ermee ingrijpen voordat er een storing optreedt. Dat is goed voor de continuïteit van de bedrijfsvoering en het is ook goed voor de portemonnee. Want stilstand in bedrijven en instellingen kost heel veel geld.

Je kunt Nagios wel vergelijken met de bewakingsapparatuur op een intensive care. Niet alleen het hart wordt in de gaten gehouden (servers), maar ook de longen (data-opslag) en de bloedsomloop (het netwerk) en uiteraard tal van andere functies.

Het mooie aan Nagios is dat het open source software is. Je hoeft er geen licentie voor te betalen. Anders dan bij bekende commerciële pakketten voor monitoring, zoals HP Open View, Tivoli en CA Unicenter. Die kosten een klein vermogen. Nagios kan bovendien iets, wat deze dure pakketten niet kunnen: gedistribueerd monitoren. Zo houden wij op centrale punten in Nijmegen en Amsterdam alle gegevens van de systemen van onze klanten bij, terwijl die er zelf ook continu over beschikken.

Nagios is geen makkelijk programma. Het heeft een behoorlijk steile leercurve. In het begin lag ik er geregeld mee in de clinch. Maar op een gegeven moment krijg je het door en worden de configuratieproblemen kleiner. Je ziet dan de structuur en de mogelijkheden en er gaan steeds nieuwe deuren open. Het duurt even voordat je de volle schoonheid ervan inziet. Wat bijdraagt aan de populariteit van Nagios is dat er allerlei aanvullende software wordt ontwikkeld. Zo is er een tool, waarmee je mooie grafieken kunt maken.

Oktober vorig jaar, tijdens Linux World 2006 in de Jaarbeurs in Utrecht, knoopte iemand van een grote instelling een gesprek met mij aan op onze stand.

Hij vertelde dat zijn R&D-afdeling applicatiesoftware wilde ontwikkelen onder Linux, maar dat ze zeker geen aparte Linux-beheeromgeving wilden inrichten. Zou beheer ook mogelijk zijn vanuit de Windows-omgeving? Dus: kunnen de ontwikkelaars na het inloggen op hun eigen Windows systeem via Active Directory Server vandaar uit ook op de Linux-machines werken?

Natuurlijk moet dat kunnen, denk je dan. Linux machines koppelen aan een Windows omgeving om bestanden op te slaan en op te vragen vanuit Windows PCs kunnen we allang. Daar is ook veel documentatie over. Toch draai je met deze vraag de meest gebuikte benadering om: nu staat niet Linux centraal, maar Windows. Daarbij wil je ook nog Single Sign On: er moeten geen wachtwoorden meer worden gevraagd als je vanuit Windows naar Linux gaat. Op papier zag het er hoopvol uit, maar ervaring maakt je toch voorzichtig. Als je eventjes zoekt met Google vind je een hele waslijst met tips en recepten. Meteen ook komen de eerste waarschuwingen: het door Microsoft geschreven programma ktpass.exe dat je met name voor het Single Sign On aspect nodig hebt, wordt opvallend vaak genoemd en verschillende recepten voor verschillende Windows versies. We hebben al die recepten nagetrokken en voor ons werkte er geen enkele! Om een lang verhaal kort te maken: we hebben één keer iets zien werken met ktpass.exe, maar die oplossing nog een keer kunnen herhalen lukte absoluut niet.

Dan maar langs de andere kant geprobeerd. Via de Linux-omgeving. Na nog flink wat meer gestoei met de Windows/Linux combinatie had ik de Single Sign On eindelijk aan de praat dankzij een hulpprogramma van Samba. Ditmaal wel reproduceerbaar en goed te documenteren.

Dat gaf me een zeer goed gevoel. Immers, met deze oplossing is Linux geen vreemde eend meer in de Windows-bijt. Je kunt nu Linux niet alleen gebruiken voor je fileservers, webservers, mailservers, maar ook als gewone gebruiker voor software-ontwikkeling enzovooort, en dat alles met alleen een Windows beheer omgeving. Dat is toch wel een leuke doorbraak. Het is niet alleen handiger als je maar weinig Linux machines hebt staan, het bespaart ook enorm veel kosten, want je hoeft nu niet te kiezen tussen de prijzige licenties van Windows voor iedere nieuwe server of de complicatie en dus kosten van een dubbele beheeromgeving.

Windows hoeft daarmee helemaal niet weg als je meer met Linux wilt gaan doen. Je kunt tussen die twee werelden nu precies de balans aanbrengen, die je zelf wilt.

Kortom, dit is best of both worlds in de praktijk.