Tod den Bugs!
Kurzes Update von der Front: Gerade eben wurden div. Bugs gesichtet und vernichtet. Diese betrafen vorallem den Webmaster Bereich und die Search Results.
Zusätzlich wurde die Datenkbank auf doppelete Einträge überprüft und die Duplikate entfernt – was der Link-Schwund in der Statistik erklärt.
Gute News für alle, die uns schon lange einen Liebesbrief schreiben wollten und es leider nicht konnten: wir besitzen nun eine Postadresse. Wir freuen uns auf eure Liebesbeweise..
Stiftung Warezsuchmaschinen Test
Auf Hinweis des Users “surfaces” haben wir zum Test noch die Suchmaschienen “crawli.net” und “ddlgetter.net” hinzugenommen. Diesmal testen wir das aktuelle Szene Release:
“Agora.DVDRiP.MD.German.XViD-AOE”
1. WRZ.to 40 Ergebnisse
2. ddlgetter.net 36 Ergebnisse
3. Collectr.net 14 Ergebnisse
4. DDL-Search.biz 2 Ergebnisse
4. Crawli.net 2 Ergebnisse
Bezüglich Performance:
1. Crawli.net 332ms
2. ddlgetter.net 992ms
3. WRZ.to 1,09sek
4. Collectr.net 4,53sek
5. DDL-Search.biz 7.5285sek
Die Performance Results sind allerdings mit Vorsicht zu geniessen:
- Kleine Seiten mit wenig Results haben es natürlich einfacher bessere Performance zu liefern (kleinere DB, weniger Resultate zum verarbeiten)
- Antwortzeiten Unterschiede zwischen 200ms und 2sek sind für den User kaum spürbar..
Performance Verbesserungen
Die “Niederlage” im Blogpost von heute früh, konnten wir natürlich nicht auf uns sitzen lassen und haben den Todo-Listen Punkt “Performance” in der Roadmap nach vorne geschoben.
Erste Verbesserungen sind bereits ersichtlich:
- Apache eTag aktiviert.
- gzip Komprimierung aktiviert
- Verbesserungen der config des mod_passengers Moduls
Weitere Optimierungen auf dem Server und im Code werden folgen.
Mittlerweile dauert der Search-Request 744ms – da ist aber noch einiges zu holen.
aaaaand the winner is… wrz.to
Heute haben wir 4 aktuelle Suchmaschinen nach Anzahl Results und Performance getestet.
Als Suchstring haben wir das aktuelle Szene Release:
Up.in.the.Air.DVDRiP.AC3.Dubbed.German.XVID-AOE verwendet.
Hier die Results:
1. Platz: WRZ.to – 26 Results
2. Platz: wsearch.in – 10 Results
3. Platz: collectr.net – 7 Results
4. Platz: ddl-search.bi – 1 Result
Bezüglich Suchperformance sind wir auch vorne mit dabei:
1. wSearch.in 444ms
1. WRZ.to 1,77sek
3. collectr.net 5,91sek
4. ddl-search.biz 19.66sek
Uns ist bewusst, dass wir bei “älteren” Suchbegriffen nur bedingt mit ddl-search und collectr mithalten können (Schliesslich haben sie einige Jahre Vorsprung *grins*). Diesen Rückstand holen wir aber in grossen Schritten auf.
Sicherlich ist die schlechtere Performance der “grossen 2″ auch auf das höhere Besucher Aufkommen zurückzuschliessen – dies sollte aber keine riesigen Unterschiede von 4-18Sekunden bewirken (da wir die Tests zu einem Zeitpunkt ausführten, an dem nur wenige Besucher online sind..)
Was passsiert hier noch?
Vorneweg: So einiges!
Wir möchten noch folgende Stichwörter in die Runde werfen:
- WRZ.to CSE (Custom Search Engine)
- Automatisierter Content (es wird automatisch bei der Suche erkannt, dass es sich um Film XY handelt und dazu Plot, Cover, IMDB Infos usw angezeigt)
- User System (Benutzer können sich registrieren, kommentieren, bewerten, die Seite nach ihren Wünschen anpassen und vieles mehr)
- Mehr Werbemittel für Webmater
- Automatisierter Online-Check für bekannte Filehoster
- Bugfixing
- Mehr Results
- Ausweitung auf den US / RU Markt
RSS/Atom Feeds und Such Plugin
Wir haben heute wiedereinmal einige neue Änderungen in die Seite eingespielt. Folgendes hat sich verändert bzw. ist hinzu gekommen:
- Such Plugin für Firefox/IE7/IE8, zum installieren einfach: Such Plugin installieren anklicken
- RSS Feeds für Suchergebnisse. Wenn Ihr die Suche nutzt könnt Ihr nun einen RSS oder Atom Feed zu Eurem Suchbegriff abonnieren, sodass Ihr immer auf dem laufenden bleibt, wenn es neue Ergebnisse zu Euerer Suche gibt
- Bessere Suchergebnisse. Die Eroktik Kategorie wird jetzt standardmäßig in den Ergebnissen ausgeblendet, es werden nur XXX Einträge angezeigt wenn links in der Sidebar die Kategorie explizit selektiert wird.
Wir werden in den nächsten Tagen nach und nach weitere Funktionen einbauen. Wir brauchen eure Hilfe dabei, sagt uns was Ihr euch wünscht in den Kommentaren und wir bauen es ein!
Die Wrz.to Hardware: 2. HighPerformance Server online
Unser Web & Datenbankserver (wie unter: http://blog.wrz.to/die-wrz-to-hardware/ beschrieben)
Web & DB Server:
Intel Core2Duo 2x 2.66+ GHz 4 MB L2
4 GB DDR2
2x 750 GB – SATA2 RAID1
Wurde durch einen:
Intel Corei5 4x 2.66+ GHz 8 MB L2
8GB RAM
Intel SSD X25-M 2x 80 GB RAID1
abgelöst. Somit haben wir bereits 2 Maschinen dieses Typ’s im Einsatz.
Hauptsächlicher Grund für das Upgrade: der Crawler verursacht einen hohen mySQL Load auf dem Datenbank und Webserver, was die Auslieferungszeiten der Webseite negativ beeinflusst. In den kommenden Tagen werden wir ausserdem eine Master/Master mySQL Replikation zwischen den beiden Servern aufsetzen – somit kann der hohe mySQL Load durch den Crawler auf dem Crawler-Server gehandlet werden..
Stabilität verbessert, aktuellere Results & neue Suchergebnis Darstellung
Heute wurde auf wrz.to ein grosses Update aufgschaltet.
1) Stabilität verbessert & aktuellere Results
Um das ganze zu erklären, müssen wir etwas weiter ausholen:
Der Sphinx Indexer ist dafür zuständig, die Einträge aus der mySQL Datenbank zu lesen und für die performante Sphinx Fulltext Search Engine zu indexieren. Dieser wurde bisher alle 30Minuten ausgeführt – sprich es wurde halbstündlich die ganze Datenbank mit mittlerweile fast 500’000 Einträgen gelesen und verarbeitet – dies beanspruchte natürlich massiv Performance und dauert ca. 1Minute.
Nun haben wir unser System mit Sphinx Delta so optimiert, dass dieser Lauf nur noch alle 5h durchgeführt wird.
Wie liefern wir euch aber nun aktuelle Suchergebnisse? Es wurde ein Delta Index erstellt, welcher nur die Änderungen seit dem letzten komplett Durchlauf beinhaltet. Dieser ist natürlich wesentlich kleiner, als der komplett Index und arbeitet deshalb wesentlich performanter, deshalb können so praktisch Real-Time Ergebnisse geliefert werden.
Weiteres dazu unter: http://freelancing-god.github.com/ts/en/deltas.html
2) Neue Suchergebnisse
Die Suchergebnissseite wurde nochmals überarbeitet und bietet nun die praktischen Filteroptionen:
- Group by “Alle Ergebnisse”: die Ergebnisse werden nicht nach Seiten groupiert, sondern werden direkt untereinander angezeigt, wie ihr das von anderen Suchmaschinen gewohnt seid.
- Group by “Sites”: Es werden nur Ergebnisse der jeweiligen Seite angezeigt.
- Group by “Hoster”: Es werden nur Ergebnisse angezeigt, welche auf dem jeweiligen Hoster verfügbar sind. Beispielsweise auf Rapidshare.com
Das Bug hunting geht weiter
Wir arbeiten momentan mit hochtouren an der Behebung von Bugs und der Einführung neuer Features.. momentan steht auf unserer Todo-Liste folgendes:
# Ideen — 13 left
# Bugs — 7 left
# Features — 31 left
es erwartet euch folglich noch einiges!
Die Wrz.to Hardware
Gerne möchten wir euch einen kleinen Blick hinter die Kulissen von wrz.to bieten. Dazu ein Überblick über unsere momentane Hardware:
Crawler:
Intel Corei5 4x 2.66+ GHz 8 MB L2
8GB RAM
Intel SSD X25-M 2x 80 GB RAID1
Web & DB Server:
Intel Core2Duo 2x 2.66+ GHz 4 MB L2
4 GB DDR2
2x 750 GB – SATA2 RAID1
Ihr seht, es ist massiv Performance vorhanden.. 