Manche Probleme begegnen einem mehrmals im Leben. Meistens erkennt man erst beim zweiten Mal, dass man sich die Lösung besser hätte aufschreiben sollen. Mit den Beiträgen unter "Tipps & Tricks" möchte ich meine Lösungen festhalten und sie gleichzeitig verbreiten.

Windows macht manchmal schon einen Mist mit den Zeilenumbrüchen.  Statt ein \n-Zeilenumbruch, wie es z.B. Linux und Mac OS X machen, verwendet Windows einen Zeilenumbruch, bestehend aus zwei Zeichen: \r\n. Ist wohl vielen bekannt.

Nun, als Perl-Entwickler entwickelt man manchmal auch Perl-Skripte, die in der ersten Zeile den Interpreter angegeben ist. Dummerweise erkennen manche Linux-Distributionen ein \r als Teil des Interpreterpfades an, und versuchen anstatt /usr/bin/perl den Aufruf von /usr/bin/perl\r - auf der Konsole steht dann immer /usr/bin/perl^M.

Die Lösung besteht darin, alle in der Datei enthaltenen \r\n durch jeweils \n zu ersetzen. Doch, wie macht man das am Besten ohne viel Aufwand? Der folgende Befehl zeigt, wie es sehr einfach geht, eine einzelne Datei entsprechend umzuwandeln:

perl -pi -e 's/\r\n?/\n/' foo.pl

Manche Probleme begegnen einem mehrmals im Leben. Meistens erkennt man erst beim zweiten Mal, dass man sich die Lösung besser hätte aufschreiben sollen. Mit den Beiträgen unter "Tipps & Tricks" möchte ich meine Lösungen festhalten und sie gleichzeitig verbreiten.

Thread stack overrun: 4992 bytes used of a 131072 stack, and 128000 bytes needed. Use 'mysqld -O thread_stack=#' to specify a bigger stack.

Vor etwas mehr als zwei Jahren, genauer gesagt am 03. Dezember 2007, habe ich mein Gewerbe angemeldet. Seither hatte ich viel zu tun und eigentlich alles ist besser gelaufen als geplant und erwartet, wofür ich wirklich sehr, sehr dankbar bin! Ich freue mich, selbständig zu sein und meinen Kunden das bieten zu können, was sie benötigen: Professionelle Software-Entwicklung mit Schwerpunkt skalierbare Webapplikationen in Perl ;-).

rainboxx Matthias Dietrich

Königsallee 43

71638 Ludwigsburg

Gestern habe ich an einem kleinen Spaß-Projekt gearbeitet, worin ein durch Javascript populiertes Koordinatensystem existiert. In dieses Koordinatensystem werden Elemente gemalt, die selbst als Koordinatensystem definiert sind. Jeder Punkt hat dabei einen boolschen Wert, also entweder 1 oder 0:

var element = new Array(
                        new Array( 0, 1, 1, 0 ),
                        new Array( 1, 0, 1, 0 )
                       );

Mit zwei verschachtelten for-Schleifen kann man nun schön über das zweidimensionale Array drübergehen und die Elemente in das Koordinatensystem an die entsprechende Stelle malen.

Soweit, so gut. Es kam dann der Augenblick, als ich ein neues Element mit nur einem Punk auf der x-Achse definiert habe:

var element = new Array(
                        new Array( 1 ),
                        new Array( 1 )
                       );

Dieses Element wurde nie gezeichnet, weil Javascript aus irgendeinem Grund die Anzahl der Elemente in der zweiten Dimension des Arrays als undefiniert ansah. Hier mal ein Beispiel:

var element = new Array(
                        new Array( 0, 1, 1, 0 ),
                        new Array( 1, 0, 1, 0 )
                       );
alert(element[0][1]);      // --> "1"

var element2 = new Array(
                         new Array( 1 ),
                         new Array( 1 )
                        );
alert(element2[0][0]);     // --> "undefined"

Eine ganze Weile habe ich nach dem Problem gesucht, weil ich einfach keines sehen konnte. Klar, für mich ist hier auch immer noch keines ersichtlich und ich würde das Verhalten als Bug ansehen. Warum Javascript einen einzelnen boolschen Wert im Array als leer ansieht, ist mir nicht verständlich.

Die Lösung war dann, den boolschen Wert als String anzugeben, was IMHO ein wenig doof ist (und natürlich auch mehr Schreibarbeit bedeutet, solange die Elemente noch von Hand definiert werden. Der Vollständigkeit wegen hier ein Komplettbeispiel:

var element = new Array(
                        new Array( 0, 1, 1, 0 ),
                        new Array( 1, 0, 1, 0 )
                       );
alert(element[0][1]);      // --> "1"

var element2 = new Array(
                         new Array( 1 ),
                         new Array( 1 )
                        );
alert(element2[0][0]);     // --> "undefined"

var element3 = new Array(
                         new Array( "1" ),
                         new Array( "1" )
                        );
alert(element3[0][0]);     // --> "1"

Vielleicht kann mir jemand auf die Sprünge helfen, warum Javascript dieses Verhalten an den Tag legt. Ich würde das gerne mal wissen :).

Ach ja, das Ganze habe ich bisher nur im Firefox 3.0.11 getestet; wie es in den anderen Browsern aussieht, kann ich derzeit nicht sagen.

[via]

Bei Johannes Kleske habe ich ein interessantes Zitat aus der SZ gelesen:

"Wenn dieses Gesetz in Kraft tritt, wird es nicht Kinder vor Missbrauch schützen, nicht Täter vor sich selbst schützen oder dingfest machen, nicht Neugierige davor schützen, straffällig zu werden. Es wird nicht einmal etwas werden, mit dem die CSU irgendwen vor sich hertreiben kann.

Das alles ist sehr weit weg. Weit weg von den Differenzierungen der Fahnder, der Therapeuten und der Psychologen. Es ist lediglich nah dran an der Emotion des Bürgers. Es gibt nichts, was die Leute so leer und wütend macht wie gequälte Kinder, nichts, was einen so fassungslos macht wie Mitbürger, die ihre Nachkommen mit Plastiktüten, Kameraobjektiven, Besenstielen, Flaschenhälsen und dem eigenen Körper traktieren.
[...]
Die Beschwörung einer organisierten Jagd ist also nur ein Wahlkampf-Tool. Hilfreicher wäre, wenn Ursula von der Leyen da ansetzen würde, wo ihre Kompetenz liegt, in dem Ort, der einen Großteil der Täter auch im Internetzeitalter beherbergt: in der Familie."

Ich empfehle jedem, den Artikel bei der Süddeutschen Zeitung durchzulesen.  Weitere Informationen gibt es auch immer wieder im Odem Blog zu dem Thema, oder man liest bei SpOn.

Eigentlich wollte heute Steffen Müller den Vortrag "Padre - Perl Application Development and Refactoring Environment" halten. Warum das umgestellt wurde, weiß ich nicht. Gehalten hat den Vortrag dann Gabor Szabo, der aus Israel zum Perl Workshop angereist ist und ab Montag noch eine Testing-Schulung hier in Frankfurt hält.

Was ist Padre?

Wie der Name bereits sagt, ist es eine Perl-Applikation zum Entwickeln und Refactoring. Ja, eine Perl-Applikation, nicht eine Applikation zum Entwickeln von Perl-Programmen, was ich zuerst gedacht habe. Die unterstützten Sprachen sind vielfälltig, ich habe allerdings keine Auflistung gefunden, welche Sprachen tatsächlich unterstützt werden - leider.

Was kann Padre?

Viel. Fast so viel wie Eclipse mit dem EPIC-Plugin. Hier eine Auflistung:

Syntax Checking
Syntax Highlighting
Auto indent (auch mit perltidy)
Inkrementelle Suche
Bracket matching
Folding
Variablenauflistung
Codebrowser
Debugging mit Stepping, Breakpoints und Watches
Suggest & complete
Fehleridentifizierung
Interaktive Shell
Code snippets ("Templates")
...

Ein großer Vorteil ist auch die Fehlerbehandlung, was hier als "Fehleridentifizierung" aufgeführt ist. Dies bedeutet, dass Fehler (z.B. nicht-deklarierte Variablen bei "use strict") nicht nur angemeckert und die entsprechende Perl-Fehlermeldung gezeigt wird. Mehr noch, die Fehlermeldungen werden angeschaut und es wird versucht, Tipps zu geben, was falsch ist und vor allem, was man anstelle dessen machen sollte (nämlich nicht "use strict" entfernen!). Dies scheint recht gut zu funktionieren und ist vor allem für Anfänger im Perl-Umfeld geeignet.

Padre ist komplett in Perl - und portabel!

...bis auf die Umsetzung der GUI, dabei wurde wxWidgets verwendet, was in C geschrieben ist. Das hat den Vorteil, dass es den nativen Windowmanager vom jeweiligen System (Mac OS X, Linux, Windows) nutzt und sich die Anwenung somit perfekt in das System einbindet (fast perfekt - dazu aber weiter unten mehr). Wie angesprochen, läuft die Anwendung dank dem Aufbau auf Perl auf den gängigen Systemen wie Mac OS X, verschiedenen Linux-Distributionen und Windows. Unter Linux ist dies abhängig davon, wie der Distri-Herausgeber die wxWidgets-Bibliothek zur Verfügung stellt.

Ebenfalls ein Vorteil der Perl-Basis ist: Man kann es beliebig erweitern! Der Code liegt (natürlich) im Source vor und man kann diesen leicht verändern und erweitern, sofern man Perl kann. Kleine Hacks, oder Anpassungen an den eigenen Workflow können wenn nötig hinzugefügt werden.

Caveats unter Mac OS X

Während des Vortrags habe ich begonnen, Padre auf meinem MacBook Pro zu installieren - es gibt eine kurze Anleitung auf der Padre-Seite. Leider hatte ich eine alte Version von wxWidgets drauf und musste diese erst über die Macports updaten, was erstmal eine Weile gedauert hat. Danach mussten noch ein paar Module installiert werden, was sich als etwas problematisch herausstellte.

Das Padre-Modul hat einige Abhängigkeiten. Nachdem die Installation dieser Module nach einer Weile abgebrochen war, habe ich die Installation (der Module) nocheinmal gestartet, um nur die Module zu sehen, deren Installation fehlgeschlagen war. Es waren zwei oder drei, die ich dann einzeln versucht habe, zu installieren, was nach ein paar Versuchen ohne Änderung funktioniert hatte. Die Tests schlugen erstmal fehl und liefen danach einwandfrei durch - sehr komisch. Leider konnte ich nicht mehr festhalten, welche Module dies waren, da mein UMTS-Modem den Mac zum Lahmen gebracht hat und dieser neugestartet werden musste.

Die Nutzung ist recht einfach, hat aber noch ein paar Probleme mit den Tastatureigenheiten vom Mac. Die Funktion von "Ctrl" unter Linux und Windows liegt unter'm Mac auf der "Cmd"-Taste und Backslashes werden über die Tastenkombination "Alt" + "Shift" + "7" abgesetzt. In Padre liegt allerdings der Rechte-Maus-Klick auf dem Shortcut "Alt" + "7", um für Nutzer, die Tastenkombinationen intensiv nutzen, ein wenig Heimatgefühl zu bieten.  Erwartungsgemäß müsste nun bei der Eingabe eines Pipe-Symbols ("|") das Kontext-Menü erscheinen, was allerdings nicht passiert. Erstmal erfreut, wird ein kleines Hello-World-Programm geschrieben. Doch bei der Eingabe eines "\n" für Zeilenumbruch erscheinte bei "\" das Kontext-Menü ;).

Alles noch ein wenig komisch, aber Padre ist ja noch nicht bei Version 1.0 angekommen. Nach einer Weile konnte ich dann auch Backslashes schreiben.

Fazit

Ich werde demnächst desöfteren Padre verwenden, um mich ein wenig einzufinden. Das Werkzeug scheint sehr gut zu sein und eine gute Alternative zu Eclipse. Ich denke zwar nicht, dass ich demnächst voll umsteigen werde, da mir noch die SVN-Integration fehlt - und vor allem in der Art, wie Subclipse es bietet. Für Einsteiger scheint das Tool aber sehr gut zu sein.

Hier gibt es übrigens noch einen Überblick mit Screenshots unter Linux - vielleicht auch einen Blick wert: perl-howto.de

Demletzt gab es im Netz eine Reihe von Artikeln über die Wichtigkeit von Suchmaschinen in Websites bzw. Communities. Es wurde angesprochen, auf was man Wert legen sollte und was Suchmaschinen eigentlich genau machen. Ich hatte mich ursprünglich darüber gefreut und gleichzeitig gewundert, dass es auf diesem Blog zu finden war, wurde dann aber bald enttäuscht: die Artikelreihe ging nicht in die Tiefe, sondern wollte den Leuten sagen, dass es besseres gibt als eine LIKE-Suche. Der Artikel ist übrigens auf Gründerszene zu finden.

In mindestens einem meiner schlummernden Projekte habe ich eine Suchmaschine eingeplant. Bisher war ich ziemlich auf Lucene aus - einfach aus dem Grund: es ist weit verbreitet und ich selbst habe (noch) nicht viel Ahnung vom Aufsetzen und richtigen Konfigurieren. Die Hoffnung war, entsprechende Dokumentation und Hilfe aus der Community zu finden, so dass die Suchmaschine erstmal ganz ok funktioniert und später erweitert werden kann. Eine LIKE-Suche kam allerdings nie in Frage.

Gestern, am Eröffnungstag des 11. Deutschen Perl Workshops in Frankfurt im Haus der Jugend, hatte ich die Session von Andreas Scherbaum besucht, die den Titel "PostgreSQL optimieren und mit Perl kombinieren" gehalten hatte (die alternative Session von Alvar Freude mit dem Titel "42 Goldene Regeln für Perl im Unternehmenseinsatz" war für mich nicht interessant). Neben vielen nützlichen Tipps und Internals, bei denen einige noch neu für mich waren, wurde die in PostgreSQL integrierte Volltextsuche angesprochen. Die Volltextsuche von MySQL habe ich schon im praktischen Einsatz bei einem Kunden gesehen und verwendet, hatte mich aber nie vom Hocker gehauen. Denn diese Indexiert einfach nur die Wörter, die in einer Spalte enthalten sind, damit man einfacher darüber suchen kann. Doch die von PostgreSQL ist ein wenig mehr...

PostgreSQL hat einen integrierten Stemmer

Was ist ein Stemmer? Ein Stemmer generiert Grundformen vom Wörtern. Enthält ein Text z.B. das Wort "Katzen", wird daraus (je nach Stemmer unterschiedlich) "Katz". Ebenfalls werden die Suchanfragen durch den Stemmer gejagt, so dass der Text bei der Suche nach "Katze" und "Katzen" gefunden wird. Es werden somit Konjugationen, Mehrzahlformen etc. vereinheitlicht - und das ist viel Wert.

PostgreSQL unterstützt viele Sprachen und lässt sich flexibel erweitern bzw. man kann seinen eigenen Stemmer schreiben. Dabei ist es egal, ob es sich um Wörter oder Zahlen handelt.  Z.B. könnte man auch Artikelnummern "normalisieren".

Stop Words werden gefiltert

Stop Words oder auch Stoppwörter sind sehr häufig in Texten vorkommende Wörter. Im Deutschen z.B. "das", "ist", "ein", "was", "es", etc.  Eine Suche nach einem kurzen Satz, der eines dieser Wörter findet, würde jeden Text finden. Um das zu vermeiden, werden Stop Words definiert, die beim Indexieren herausgefiltert werden, um auch wirklich das zu finden, was man wirklich suchen möchte.

Die Stop Words können ebenfalls definiert und abgeschaltet werden. Das kann durchaus Sinn machen, man sollte das aber nicht ohne Grund tun.

Macht das denn alles Sinn in einer Datenbank?

Ja, das ist eine gute Frage. Datenbanken sind zwar dazu da, Texte und Daten zu speichern.  Eine Datenbank als Suchmaschine zu verwenden, scheint allerdings recht abwägig. Ich bin auch der Meinung, dass das nicht der beste Weg ist, allerdings für die erste Version einer Suchmaschinenwebsite scheint es durchaus passend zu sein: man kann gezielt suchen, die Suchbegriffe durch AND's und OR's erweitern und erhält akzeptable Suchergebnisse bei scheinbar auch etwas höherer Last.

Das Problem: es skaliert nicht. Verwendet man eine Datenbank für die normalen Daten und zusätzlich als Suchmaschine, kann man die nicht einfach so auf eine weitere Hardware schieben und parallel suchen. Man müsste die Datenbank clustern oder replizieren, was recht aufwändig ist. Es bleibt also meistens bei einer Datenbank, und bei vielen Suchanfragen werden die Resourcen knapp und dies beeinträchtigt die normalen Datenabfragen. Eine Suchmaschine wie Lucene kann man dagegen recht einfach auf mehrere Rechner verteilen und den Index wie scp oder rsync ständig aktuell halten. Das skaliert dann auch.

Als ich demletzt ein bereits auf dem Blog angekündigtes Modul für den Upload zum CPAN vorbereitete, bin ich auf ein "Problem" im Zusammenhang mit Mac OS X gestoßen. Um was es geht und wie es gelöst werden kann, folgt hier...

Manche Betriebssysteme legt verschiedenste Metadaten für Ordner und Dateien in versteckten Dateien an. Während Mac OS X für fast jede Datei und jeden Ordner eine zusätzliche Datei angelegt wird, macht Windows das nicht ganz so extrem und legt nur für jeden Ordner eine Datei an, plus eine Datei mit Vorschaubildern des Ordners. Standardmäßig sind solche Dateien für den User versteckt, so dass sie weder stören noch deren vorhandensein bemerkt wird. Erst wenn auf Ordner und Dateien im Netzwerk zugegriffen werden, auf die auch andere Betriebssysteme zugreifen, werden die Dateien bemerkt - oder die entsprechenden Optionen für das Anzeigen von versteckten Dateien gesetzt werden.

Wo liegt also das Problem, wenn man die Dateien auf dem eigenen System nicht sieht? Auf fremden Systemen (z.B. über Netzwerkfreigaben) sind sie nur irritierend, ein Problem gibt es dort meistens nicht. Beim CPAN allerdings gibt es Probleme, auch bei so manch anderen Diensten kann das gut passieren.

Warum ist das ein Problem?

Das CPAN ist ein Archiv von ettlichen wiederverwendbaren Perl-Modulen verschiedenster Autoren. Diese Module durchlaufen automatisierte Tests und müssen deshalb bestimmte Kriterien erfüllen: Metainformationen wie Abhängigkeiten, Lizenz, Autor und weiteres müssen enthalten sein und das Modul muss als komprimiertes Tar- oder Zip-Archiv mit einer entsprechenden Ordner- und Dateistruktur hochgeladen werden. Ist dies nicht der Fall, wird die hochgeladene Version des Moduls nicht aufgenommen.

Eine der Bedinungen zur Ordnerstruktur ist, dass im Archiv ein einziger Ordner vorhanden sein darf, welcher alle weiteren Dateien enthält. Und hier kommt das Problem: da Mac OS X für den obersten Ordner dieser Struktur Metadaten auf gleicher Ebene anlegt, enthält das Archiv nicht nur den Ordner mit dem eigentlichen Inhalt, sondern auch die Metadaten. Das verstößt gegen die Richtlinien.

Lösung

Im Internet ist an verschiedenen Stellen die Rede von einem kleinen, bei Mac OS X mitgelieferten Commandline-Tool Namens dot_clean, welches einen Zielordner rekursiv durchgeht und alle ._*-Dateien entfernt. Dieses soll gegen ein Problem in dieser Art helfen. Ich selbst habe es nicht verwendet und bin mir nicht sicher, ob es das Problem wirklich behebt. Denn ein manuelles Löschen der Dateien hatte in meinem Fall nichts gebracht, denn sie wurden sofort angelegt, als ich das Archiv (per Commandline) zusammenpacken wollte.

In meinem Fall geholfen hat das Setzen einer Umgebungsvariable Namens COPY_EXTENDED_ATTRIBUTES_DISABLE:

Diese Umgebungsvariable bewirkt, dass alle ._*- bzw. Metadateien nicht mitkopiert werden und erzeugt ein "reines" Archiv, ohne lästige Metadaten. Um nicht immer bei jedem Erstellen eines solchen Tar-Archivs oder anderen Operationen an das Setzen der Variable zu denken, kann sie auch in der .profile oder .bashrc gesetzt werden:

Versteckte Metadateien auf Netzlaufwerken unterbinden

Seit Mac OS X 10.4 gibt es eine offizielle Beschreibung von Apple, mit welcher das Anlegen von Metadateien auf Netzlaufwerken generel unterbunden werden kann. Dazu öffnet man die Konsole und gibt folgenden Befehl ein:

Die Originalbeschreibung zum Vorgehen findet man hier (englisch): http://support.apple.com/kb/HT1629