Änderungen

Nach Feedback auf den letzten Blogeintrag habe ich mich nochmal an das Feedchecker Script gemacht und ein paar Änderungen eingepflegt:

• Ruby 1.8 Kompatibilität (da ich selbst auf Ruby 1.9 entwickle)
• Vereinfachtes Suchen der Urls durch XPath-Expression
• Konfigurierbare Anzahl der parallel abzuholenden Feeds

Mehr Details gibts in der Commit-History auf github.

Geschwindigkeit

In meinen Tests verwende ich meine Liste mit ca. 160 Feeds. Einmal mit den Standardeinstellungen und einmal mit der Option, dass 10 Feeds parallel abgeholt werden.

Zuerst ein paar Vorbereitungen:

Mit Standardeinstellungen:

Mit 10 Threads:

Mit 10 Threads und aggressiveren Timeouts von 20 statt 60 Sekunden:

Viel Spaß damit und ein frohes Fest euch allen!

Was tun mit riesigen Feedlisten?

Es geht wahrscheinlich vielen so: Man sammelt im laufe der Jahre hunderte Feeds in seiner Liste ohne nun wirklich zu wissen welche noch aktuell sind und welche nicht. In der letzten Zeit hatte ich genau aus diesem Grund mal wieder das Bedürfnis meine RSS-Feeds auszumisten. Da ich ein fauler Mensch bin und eigentlich keine Lust habe hunderte von Feeds "von Hand" zu prüfen, habe ich ein kleines Tool geschrieben, das mir dabei hilft kaputte, nicht erreichbare oder verwaiste Feeds zu entdecken.

Das Tool

Das Tool wurde in ruby geschrieben, ist frei unter der GPLv2 verfügbar und hoert auf den nicht besonders kreativen Namen feedchecker. Um es zu benutzen ist das Trollop-Gem sowie das Peach-Gem notwendig. Dieses lassen sich einfach mittels "gem install trollop" sowie "gem install peach" installieren.

Update: Unter Debian scheint das SSL-Plugin nicht mit der normalen Ruby-Installation mit installiert zu werden. Darum sollte es noch mittels "aptitude install libopenssl-ruby" nachinstalliert werden.

Verwedung

Da das Tool nicht viel kann, haellt sich die Komplexitaet der Optionen in Grenzen:

Mit einem Aufruf des Scripts lässt sich zumindest die Liste der zu prüfenden Feeds stark eingrenzen.

Eventuell hat ja ausser mir noch jemand eine Verwendung dafür. Falls ja ist dies mein Weihnachtsgeschenk an euch.

Vor kurzem hatte ich das Bedürfnis Bilder automatisiert, mit Hilfe eines Ruby-Scripts, zu verkleinern. Dieses Script sollte zudem ohne Änderungen sowohl auf Linux als auch auf Windows lauffähig sein.

Fuer diese Aufgabe ist Imagemagick natürlich ein super Werkzeug, da man es auch als Bibliothek von Ruby aus nutzen kann und auch für Windows verfuegbar ist. Unter Windows ist hierfür eine Installation von Ruby, sowie die Installation von Imagemagick und dem passenden RMagick Ruby-Gem notwendig. Unter Linux reicht es Imagamagick und Ruby mit dem Paketmanager seiner Wahl zu installieren und mittels "gem install rmagick" das Gem zu installieren.

Der eigentliche Code gestaltet sich relativ simpel. Prinzipiell lässt sich ein Bild mit wenigen Anweisungen verkleinern:

Die Methode resize_to_fit() sorgt hier für das Verkleinern auf bestimmte Maximalwerte in Länge und Breite. Weiteres erfährt man aus der Doku

Wer ab und zu ruby programmiert, wird wahrscheinlich auch gefallen an irb, der ruby-Shell, gefunden haben. Bisher hat mich daran die Tatsache gestoert, dass sie per Default keine TAB-Vervollstaendigung mitbringt. Marc hat mich per Twitter auf einen Eintrag in seinem Blog hingewiesen, der das aendert:

Speichert man nun folgende Anweisungen in der Datei ~/.irbrc, bekommt man eine funktionierende Autovervollstaendigung und schoenes Syntax-Highlighting.

Das Modul scheint Funktionen der darunter liegenden Commandshell zu nutzen, denn so Sachen wie zum Beispiel Strg+R fuer inkrementelle Suche funktionieren nun ebenfalls.

Bei vielen Diensten wie z.B. Twitter werden mittlerweile statt normalen URLs verkuerzte abgeschickt. Sollte man mal auf die Idee kommen diese wieder in Orginalform haben zu wollen, koennte man dazu fuer jeden der bekannten Dienste Methoden implementieren. Oder man benutzt die API des Dienstes longurl.com. Die Software dahinter wurde uebrigens unter der AGPL lizensiert und den SourceCode kann man hier ankucken.

Ich habe natuerlich gleich die Klasse fuer bit.ly erweitert:

Somit lassen sich mit der Methode ShortURL.expandURL(uri) URLs auch verlaengern.

Zusaetzlich gibt es fuer diesen Dienst noch eine Firefox Erweiterung und ein Greasemonkey Script um die langen URLs in Tooltips darzustellen.

Vor einiger Zeit habe ich ein Tool gesucht um Newsfeeds aus einer OPML-Datei auf Erreichbarkeit zu ueberpruefen. Nachdem ich keines gefunden hatte, habe ich mir selbst eines geschrieben.

Das kleine Tool wurde nun nochmals ein klein wenig ueberarbeitet. Hier mal die groebsten Aenderungen:

• Support von Threads
• Abfangen nicht konformer HTTP-Antworten
• Abfangen von "connection refused"-Fehlern

Alleine die Verwendung von Threads bringt einen erheblichen Performancegewinn. Als Beispiel dient meine Feedliste mit 179 Feeds. Hier ist das Ergebnis der Version ohne Threads:

Und hier mal die Version mit Threads:

Das Script gibt es hier zum download. Feedback ist wie immer willkommen.

Ich arbeite gerade an einem kleinen Tool, fuer das ich den URL-Kuerzungsdienst bit.ly ansprechen wollte. Daher habe ich mir eine Ruby-Klasse dafuer geschrieben, die die RESTfull-API anspricht:

Das Ergebnis schaut so aus:

./bitlyapi.rb
http://bit.ly/2BTVbK

RSS- und andere Newsfeeds sind ne tolle Sache, das ist klar. Nur haben sich bei mir mittlerweile eine Menge Feeds angesammelt bei denen es mal vorkommt, dass einige der Blogs und Podcasts umgezogen oder nicht mehr erreichbar sind. Ab und zu kommt es auch vor, dass der Feed umgestellt wird ohne eine Weiterleitung einzurichten.

Im kleinen koennte man hier ab und zu mal seine Liste manuell checken um zu sehen was Sache ist. Bei mir sind es allerdings > 160 Feeds. Darum habe ich ein kleines Tool geschrieben, das im Endeffekt nichts anderes macht als sich die Feeds aus einer opml-Datei zu holen, diese abzurufen und den HTTP-Response-Code auszuwerten. Dazwischen werden noch ein paar moegliche Fehler abgefangen.
Feeds, bei denen Weiterleitungen aktiv sind, Seiten bei denen der Feed nicht gefunden wurde oder zu denen aus anderen Gruenden keine Verbindung aufgebaut werden kann, werden ausgegeben. Bei umgeleiteten Feeds wird noch die URL, auf die umgeleitet wird, angezeigt.

Anwenden kann man das Tool in dem man es herunter laedt, ausfuehrbar macht und auf der Kommandozeile aufruft. Als ersten Parameter erwartet das Script eine opml-Datei:

Vorausgesetzt wird ein Ruby-Interpreter. Ich habe das ganze in der Version 1.8.6 getestet. Es werden zudem noch ein paar Teile der Ruby-Kernbibliothek benutzt. Das Teil ist in recht kurzer Zeit entstanden und daher ist es durchaus moeglich, dass in den 52 Zeilen Ruby-Code noch der eine oder andere Fehler steckt.
Fehlerberichte oder Verbesserungsvorschlaege sind durchaus erwuenscht und koennen als Kommentar, per Mail oder Jabber abgegeben werden.