Änderungen

Nach Feedback auf den letzten Blogeintrag habe ich mich nochmal an das Feedchecker Script gemacht und ein paar Änderungen eingepflegt:

Ruby 1.8 Kompatibilität (da ich selbst auf Ruby 1.9 entwickle)
Vereinfachtes Suchen der Urls durch XPath-Expression
Konfigurierbare Anzahl der parallel abzuholenden Feeds

./feedchecker.rb -h
This is a simple, script which takes an opml file and checks all contained feeds for
errors.

Usage:

feedchecker.rb [options] -i <filename>

where [options] are:
--input, -i <s>: Input opml file
--timeout, -t : Timeout interval in seconds (default: 60)
--age, -a : Specify the minimum age in days (default: 365)
--fetchparallel, -f : Specify the amount of feeds to fetch parallel (default: 5)
--version, -v: Print version and exit
--help, -h: Show this message

Mehr Details gibts in der Commit-History auf github.

Geschwindigkeit

In meinen Tests verwende ich meine Liste mit ca. 160 Feeds. Einmal mit den Standardeinstellungen und einmal mit der Option, dass 10 Feeds parallel abgeholt werden.

Zuerst ein paar Vorbereitungen:

wget http://github.com/pfleidi/feedchecker/raw/master/feedchecker.rb
chmod +x feedchecker.rb

Mit Standardeinstellungen:

time ./feedchecker.rb -i feeds.opml
...
real 1m33.162s
user 0m18.909s
sys 0m1.296s

Mit 10 Threads:

time ./feedchecker.rb -i feeds.opml -f 10
...
real 1m20.754s
user 0m19.493s
sys 0m1.340s

Mit 10 Threads und aggressiveren Timeouts von 20 statt 60 Sekunden:

time ./feedchecker.rb -i feeds.opml -f 10 -t 20
...
real 0m39.808s
user 0m19.205s
sys 0m1.472s

Viel Spaß damit und ein frohes Fest euch allen!

Posted by Sven Pfleiderer in computer | Comments (0) | Trackbacks (0)

Defined tags for this entry: code, computer, opensource, rss, ruby, software, web, xml

Was tun mit riesigen Feedlisten?

Es geht wahrscheinlich vielen so: Man sammelt im laufe der Jahre hunderte Feeds in seiner Liste ohne nun wirklich zu wissen welche noch aktuell sind und welche nicht. In der letzten Zeit hatte ich genau aus diesem Grund mal wieder das Bedürfnis meine RSS-Feeds auszumisten. Da ich ein fauler Mensch bin und eigentlich keine Lust habe hunderte von Feeds "von Hand" zu prüfen, habe ich ein kleines Tool geschrieben, das mir dabei hilft kaputte, nicht erreichbare oder verwaiste Feeds zu entdecken.

Das Tool

Das Tool wurde in ruby geschrieben, ist frei unter der GPLv2 verfügbar und hoert auf den nicht besonders kreativen Namen feedchecker. Um es zu benutzen ist das Trollop-Gem sowie das Peach-Gem notwendig. Dieses lassen sich einfach mittels "gem install trollop" sowie "gem install peach" installieren.

Update: Unter Debian scheint das SSL-Plugin nicht mit der normalen Ruby-Installation mit installiert zu werden. Darum sollte es noch mittels "aptitude install libopenssl-ruby" nachinstalliert werden.

Verwedung

Da das Tool nicht viel kann, haellt sich die Komplexitaet der Optionen in Grenzen:

./feedchecker.rb --help
This is a simple, script which takes an opml file and checks all contained feeds for
errors.

Usage:

feedchecker.rb [options] -i <filename>

where [options] are:
--input, -i <s>: Input opml file
--timeout, -t : Timeout interval in seconds (default: 60)
--age, -a : Specify the minimum age in days (default: 365)
--fetchparallel, -f : Specify the amount of feeds to fetch parallel (default: 5)
--version, -v: Print version and exit
--help, -h: Show this message

Mit einem Aufruf des Scripts lässt sich zumindest die Liste der zu prüfenden Feeds stark eingrenzen.

feedchecker.rb -i /tmp/rss.opml
http://atsutane.freethoughts.de/feed/atom feed isn't well formed and could't be parsed
http://blog.b-o-f-h.net/index.php?/feeds/index.rss2 is out of date. Age: 388 days without an update
http://blog.choas.net/RSS age could not be checked
http://blog.fefe.de/rss.xml?html age could not be checked
http://blog.roothell.org/feeds/index.rss2 Connection timed out
http://codebu.de/blog/?feed=rss2 Redirect ... new URI: http://codebu.de/blog/feed/
...

Eventuell hat ja ausser mir noch jemand eine Verwendung dafür. Falls ja ist dies mein Weihnachtsgeschenk an euch.

Posted by Sven Pfleiderer in computer | Comments (6) | Trackbacks (0)

Defined tags for this entry: code, computer, feedreader, rss, ruby, software

Gerade lese ich, dass newsbeuter 1.3 freigegeben worden ist. Ich habe daraufhin gleich mal ein aktuelles PKGBUILD fuer Arch Linux erstellt und hochgeladen. Viel Spass damit!

Posted by Sven Pfleiderer in computer, web | Comments (2) | Trackbacks (0)

Defined tags for this entry: computer, feedreader, linux&unix, newsbeuter, opensource, rss, web

Ich wollte schon eine Weile einen Beitrag schreiben mit einer Liste der Podcasts, die ich so hoere und ansehe. Da ich ein fauler Mensch bin, habe ich mir ein Script zusammen gebaut, das mir eine HTML-Liste anhand der Kategorie aus einer OPML-Datei generiert. Es wurden Links zur Seite, zum Feed und zum letzten Eintrag generiert:

Falls jemand noch ein paar Empfehlungen fuer mich hat: Immer her damit.

Korrektur: Da es teilweise schwerwiegende Unterschiede in der Auflistung der Feeds gibt, wird teilweise der chronologisch erste und teilweise der letzte Eintrag des Feeds verlinkt. Naja ich denke der Link auf die Seite und der Podcast-Feed sollten auch reichen.

Posted by Sven Pfleiderer in computer, web, zeitgeist | Comments (6) | Trackbacks (0)

Defined tags for this entry: computer, media, rss, web, webwide, zeitgeist

Der grossartige, von mir genutzte, Feedreader newsbeuter ist nun endlich in der Version 1.0 verfuegbar. Nun gibt es auch eine eigene Website des Projekts.

Hier mal die Releasenotes:

1.0 (2008-08-20):
Implemented support for highlighting of regular expressions
Implemented search function in help dialog
Implemented "show-read-articles" configuration option to toggle displaying of read articles
Implemented "always-download" configuration option to configure a list of feed URLs for which newsbeuter ignores the Last-Modified timestamp
Added read progress display in article view
Added optional format string support for "browser" configuration option
Added "reset-unread-on-update" configuration command

Weitere Infos bekommt man unter anderem im Newsbeuter-Devel-Blog und auf der offiziellen Downloadseite

Als jahrelanger User und Fan dieser Software, kann ich sie nur weiter empfehlen.

Posted by Sven Pfleiderer in misc, web | Comments (5) | Trackbacks (0)

Defined tags for this entry: computer, feedreader, misc, newsbeuter, opensource, rss, software, web

Vor einiger Zeit habe ich ein Tool gesucht um Newsfeeds aus einer OPML-Datei auf Erreichbarkeit zu ueberpruefen. Nachdem ich keines gefunden hatte, habe ich mir selbst eines geschrieben.

Das kleine Tool wurde nun nochmals ein klein wenig ueberarbeitet. Hier mal die groebsten Aenderungen:

Support von Threads
Abfangen nicht konformer HTTP-Antworten
Abfangen von "connection refused"-Fehlern

Alleine die Verwendung von Threads bringt einen erheblichen Performancegewinn. Als Beispiel dient meine Feedliste mit 179 Feeds. Hier ist das Ergebnis der Version ohne Threads:

time ./feedchecker.rb /tmp/rss.opml
./feedchecker.rb /tmp/rss.opml 2.70s user 0.88s system 1% cpu 4:05.40 total

Und hier mal die Version mit Threads:

time ./feedcheckerthread.rb /tmp/rss.opml
./feedcheckerthread.rb /tmp/rss.opml 1.51s user 0.35s system 4% cpu 42.661 total

Das Script gibt es hier zum download. Feedback ist wie immer willkommen.

Posted by Sven Pfleiderer in computer, web | Comments (0) | Trackbacks (0)

Defined tags for this entry: code, computer, programming, rss, ruby, tool, web

RSS- und andere Newsfeeds sind ne tolle Sache, das ist klar. Nur haben sich bei mir mittlerweile eine Menge Feeds angesammelt bei denen es mal vorkommt, dass einige der Blogs und Podcasts umgezogen oder nicht mehr erreichbar sind. Ab und zu kommt es auch vor, dass der Feed umgestellt wird ohne eine Weiterleitung einzurichten.

Im kleinen koennte man hier ab und zu mal seine Liste manuell checken um zu sehen was Sache ist. Bei mir sind es allerdings > 160 Feeds. Darum habe ich ein kleines Tool geschrieben, das im Endeffekt nichts anderes macht als sich die Feeds aus einer opml-Datei zu holen, diese abzurufen und den HTTP-Response-Code auszuwerten. Dazwischen werden noch ein paar moegliche Fehler abgefangen.
Feeds, bei denen Weiterleitungen aktiv sind, Seiten bei denen der Feed nicht gefunden wurde oder zu denen aus anderen Gruenden keine Verbindung aufgebaut werden kann, werden ausgegeben. Bei umgeleiteten Feeds wird noch die URL, auf die umgeleitet wird, angezeigt.

Anwenden kann man das Tool in dem man es herunter laedt, ausfuehrbar macht und auf der Kommandozeile aufruft. Als ersten Parameter erwartet das Script eine opml-Datei:

./feedchecker.rb /tmp/rss.opml

Vorausgesetzt wird ein Ruby-Interpreter. Ich habe das ganze in der Version 1.8.6 getestet. Es werden zudem noch ein paar Teile der Ruby-Kernbibliothek benutzt. Das Teil ist in recht kurzer Zeit entstanden und daher ist es durchaus moeglich, dass in den 52 Zeilen Ruby-Code noch der eine oder andere Fehler steckt.
Fehlerberichte oder Verbesserungsvorschlaege sind durchaus erwuenscht und koennen als Kommentar, per Mail oder Jabber abgegeben werden.

Posted by Sven Pfleiderer in computer, web | Comments (0) | Trackback (1)

Defined tags for this entry: blogging, computer, programming, rss, ruby, software, tool, web

Um in newsbeuter wie in vim navigieren zu koennen, fuegt man folgende Zeilen in die ~/.newsbeuter/config ein:

# vimlike bindings
unbind-key ^B
bind-key ^B pageup
unbind-key ^F
bind-key ^F pagedown
bind-key k up
bind-key j down
bind-key h quit
unbind-key l 
bind-key l open
bind-key L toggle-show-read-feeds

Weitere Optionen kann man der offiziellen Dokumentation entnehmen.

Posted by admin in computer | Comments (2) | Trackbacks (0)

Defined tags for this entry: computer, feedreader, linux&unix, rss, software, stuff

Mein lieblings Feedreader wurde in einer neuen Version freigegeben:

0.9 (2008-05-01):

Improved locking to allow multiple newsbeuter instances (one instance per cache file)

Flagged articles don't get deleted anymore.

Added commandline option to podbeuter to automatically start download.

Added "article-sort-order" configuration option to freely configure the sort order of article lists

Added possibility to delete articles

Lots of bug fixes

Hrist war wie immer so nett dazu gleich ein PKGBUILD fuer Arch Linux zu erstellen.

Posted by admin in computer | Comments (0) | Trackbacks (0)

Defined tags for this entry: feedreader, linux&unix, rss, software, stuff

«	May '13					»
Mo	Tu	We	Th	Fr	Sa	Su
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

roothausen

Entries tagged as rss

Entries tagged as rss

Feedchecker Version 0.4

Änderungen

Geschwindigkeit

Feeds ausmisten

Was tun mit riesigen Feedlisten?

Das Tool

Verwedung

Newsbeuter 1.3

Podcasts

Newsbeuter 1.0

Feedchecker Aktualisierung

Feeds ueberpruefen

VIM Bindings in newsbeuter nutzen

Newsbeuter 0.9

Calendar

Quicksearch

Kategorien

Archiv

Feeds

Links

Tags

Lizenz