roothausen

  • Impressum
  • Administration
  • Kontaktformular
  • Jabber
  • Tagcloud
  • Twitter
  • Soup
  • Github

Entries from December 2009

Feedchecker Version 0.4

16:09

Thursday, December 24. 2009

Änderungen

Nach Feedback auf den letzten Blogeintrag habe ich mich nochmal an das Feedchecker Script gemacht und ein paar Änderungen eingepflegt:

  • Ruby 1.8 Kompatibilität (da ich selbst auf Ruby 1.9 entwickle)
  • Vereinfachtes Suchen der Urls durch XPath-Expression
  • Konfigurierbare Anzahl der parallel abzuholenden Feeds

./feedchecker.rb -h
This is a simple, script which takes an opml file and checks all contained feeds for
errors.

 Usage:

feedchecker.rb [options] -i <filename>

where [options] are:
          --input, -i <s>:   Input opml file
        --timeout, -t <i>:   Timeout interval in seconds (default: 60)
            --age, -a <i>:   Specify the minimum age in days (default: 365)
  --fetchparallel, -f <i>:   Specify the amount of feeds to fetch parallel (default: 5)
            --version, -v:   Print version and exit
               --help, -h:   Show this message
 

Mehr Details gibts in der Commit-History auf github.

Geschwindigkeit

In meinen Tests verwende ich meine Liste mit ca. 160 Feeds. Einmal mit den Standardeinstellungen und einmal mit der Option, dass 10 Feeds parallel abgeholt werden.

Zuerst ein paar Vorbereitungen:


wget http://github.com/pfleidi/feedchecker/raw/master/feedchecker.rb
chmod +x feedchecker.rb
 

Mit Standardeinstellungen:


time ./feedchecker.rb -i feeds.opml
...
real    1m33.162s
user    0m18.909s
sys     0m1.296s
 

Mit 10 Threads:


time ./feedchecker.rb -i feeds.opml -f 10
...
real    1m20.754s
user    0m19.493s
sys     0m1.340s
 

Mit 10 Threads und aggressiveren Timeouts von 20 statt 60 Sekunden:


time ./feedchecker.rb -i feeds.opml -f 10 -t 20
...
real    0m39.808s
user    0m19.205s
sys     0m1.472s
 

Viel Spaß damit und ein frohes Fest euch allen!

Posted by Sven Pfleiderer in computer | Comments (0) | Trackbacks (0)
Defined tags for this entry: code, computer, opensource, rss, ruby, software, web, xml

Feeds ausmisten

01:16

Saturday, December 19. 2009

Was tun mit riesigen Feedlisten?

Es geht wahrscheinlich vielen so: Man sammelt im laufe der Jahre hunderte Feeds in seiner Liste ohne nun wirklich zu wissen welche noch aktuell sind und welche nicht. In der letzten Zeit hatte ich genau aus diesem Grund mal wieder das Bedürfnis meine RSS-Feeds auszumisten. Da ich ein fauler Mensch bin und eigentlich keine Lust habe hunderte von Feeds "von Hand" zu prüfen, habe ich ein kleines Tool geschrieben, das mir dabei hilft kaputte, nicht erreichbare oder verwaiste Feeds zu entdecken.

Das Tool

Das Tool wurde in ruby geschrieben, ist frei unter der GPLv2 verfügbar und hoert auf den nicht besonders kreativen Namen feedchecker. Um es zu benutzen ist das Trollop-Gem sowie das Peach-Gem notwendig. Dieses lassen sich einfach mittels "gem install trollop" sowie "gem install peach" installieren.

Update: Unter Debian scheint das SSL-Plugin nicht mit der normalen Ruby-Installation mit installiert zu werden. Darum sollte es noch mittels "aptitude install libopenssl-ruby" nachinstalliert werden.

Verwedung

Da das Tool nicht viel kann, haellt sich die Komplexitaet der Optionen in Grenzen:


 ./feedchecker.rb --help
This is a simple, script which takes an opml file and checks all contained feeds for
errors.

 Usage:

feedchecker.rb [options] -i <filename>

where [options] are:
          --input, -i <s>:   Input opml file
        --timeout, -t <i>:   Timeout interval in seconds (default: 60)
            --age, -a <i>:   Specify the minimum age in days (default: 365)
  --fetchparallel, -f <i>:   Specify the amount of feeds to fetch parallel (default: 5)
            --version, -v:   Print version and exit
               --help, -h:   Show this message
 

Mit einem Aufruf des Scripts lässt sich zumindest die Liste der zu prüfenden Feeds stark eingrenzen.


feedchecker.rb -i /tmp/rss.opml                                                                                      
http://atsutane.freethoughts.de/feed/atom feed isn't well formed and could't be parsed
http://blog.b-o-f-h.net/index.php?/feeds/index.rss2 is out of date. Age: 388 days without an update
http://blog.choas.net/RSS age could not be checked
http://blog.fefe.de/rss.xml?html age could not be checked
http://blog.roothell.org/feeds/index.rss2 Connection timed out
http://codebu.de/blog/?feed=rss2 Redirect ... new URI: http://codebu.de/blog/feed/
...
 

Eventuell hat ja ausser mir noch jemand eine Verwendung dafür. Falls ja ist dies mein Weihnachtsgeschenk an euch.

Posted by Sven Pfleiderer in computer | Comments (6) | Trackbacks (0)
Defined tags for this entry: code, computer, feedreader, rss, ruby, software
(Page 1 of 1, totaling 2 entries)

Calendar

« December '09 »
Mo Tu We Th Fr Sa Su
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31      

Quicksearch

Kategorien

  • XML computer
  • XML misc
  • XML web
  • XML zeitgeist


All categories

Archiv

  • July 2010
  • June 2010
  • May 2010
  • April 2010
  • March 2010
  • Recent...
  • Older...

Feeds

  • XML RSS 2.0 feed
  • ATOM/XML ATOM 1.0 feed
  • XML RSS 2.0 Comments

Links

Shackspace
Yaxim
Radio Tux
Kais Blog
Blumen Pfleiderer
Alk
paxos
filzo
Marc Seeger
polzifer

Previous | Next

Tags

android bad world blog blogging browser changes code comic computer contentmanagement encryption feedreader firefox free fun google gui hardware howto html im jabber java life lighttpd linux&unix media misc mobile murphy networking newsbeuter opensource picture politics presentation privacy programming regular expression rss ruby s9y screenshot sdk security server shortys software stuff tail -f /var/log/life test tool tv video web webdesign webwide windows xml zeitgeist

del.icio.us

  • Appcelerator Developer Center - Documentation
  • Coderspiel — Rewiring Android for type-safe layout resources
  • pkrumins's stackvm at master - GitHub
  • Netty - the Java NIO Client Server Socket Framework - JBoss Community
  • Learn Your Motherf#@kin' Science: A Textbook for Juggalos | Cracked.com
  • The C Book - Table of Contents
  • andrewvc's node-streamlogger at master - GitHub
  • Setting up a JavaScript Build Process – JavaScriptr
  • js-build-tools - Project Hosting on Google Code
  • YUI Compressor
  • JsUnit
  • InfoQ: Ralph Johnson, Joe Armstrong on the State of OOP
  • ztellman's aleph at master - GitHub
  • Clojure - home
  • Mac OS X keyboard shortcuts

(More)

Lizenz

Creative Commons License - Some Rights Reserved