Going Solr! nl

Door creator1988 op donderdag 23 december 2010 14:50 - Reacties (7)
Categorie: Frontend, Views: 4.464

Klik voor meer informatie over de implementatie van Solr.

De filters in de linkerkolom is een van de lastigste problemen die je tegenkomt als je een site als funda bouwt. Want hoe bereken je in 100 millisecondes hoeveel resultaten een gebruiker overhoudt als hij op een filter klikt? Dat zijn toch al snel 40 verschillende nieuwe queries!

Op dit moment wordt bovenstaand probleem opgelost door zéér brede tabellen te gebruiken waarin we bijvoorbeeld de volgende velden hebben:

code:
1
2
3
Adres  | ind_Opp_100_150 | ind_Opp_150_200 | ind_Zwembad |
Bla 1  | 1               | 0               | 1           |
Bla 2  | 0               | 1               | 0           |


Door al dit soort velden te hebben kan je snel bepalen welk deel van je set een oppervlakte heeft tussen de 100 en 150 m2 ( COUNT(ind_Opp_100_150) ).

SOLR?
Met de opkomst van een sloot aan NoSQL oplossingen de afgelopen jaren zijn er wél constructieve oplossingen bedacht voor ons probleem; een daarvan is Apache SOLR. Een 'blazing fast open source enterprise search platform' dat faceted search (zoeken middels filters) als een van haar core taken beschouwt.

Dus na maanden voorbereiding, en enkele maanden bouwen is een deel van onze zoekarchitectuur overgegaan van MSSQL naar SOLR, waarmee we meteen de grootste gebruiker van SOLR op Windows ter wereld zijn. Mooi moment dus om ook nieuwe functionaliteit te introduceren. Vanaf vandaag live bij u thuis:

Al het verkochte woningaanbod vanaf december 2009. 100% SOLR powered (en nog druk aan het indexen dus je ziet nog maar de helft)!

Volgende: Video! On-the-fly zoeksuggesties: Levenshtein en Soundex in de praktijk 12-'10 Video! On-the-fly zoeksuggesties: Levenshtein en Soundex in de praktijk
Volgende: NHibernate vs. Entity Framework 12-'10 NHibernate vs. Entity Framework

Reacties


Door Tweakers user truegrit, donderdag 23 december 2010 15:11

Dat is inderdaad mooi spul, wij gebruiken het ook (zonder SOLR dan, alleen Lucene) voor zoeken en het aantal resultaten bij een volgende filter uitrekenen.

Tevens leuk om te lezen hoe funda nou eigenlijk werkt!

Door Tweakers user Apache, donderdag 23 december 2010 15:44

Ja, Lucene is redelijk common op de projecten die ik kenm meestal in combinatie met iets als hibernate search ofzo.

Dat jullie de grootste windows gebruikers zijn wil natuurlijk niet veel meer zeggen dan: grote apps draaien meestal op *nix :P

Tot nu toe ben ik in de JEE bitter weinig windows tegengekomen op servers :)

Door Tweakers user YopY, donderdag 23 december 2010 16:01

SOLR is ook geďntegreerd in een CMS die wij gebruiken (wij = boeken- en tijdschriftenuitgeverijen), maar met wisselend succes. Ik geloof niet dat dat echt aan SOLR zelf ligt, maar meer aan de implementatie en het niet specifiek genoeg zijn van de requirements, maar vooruit.

/ervaring deelt.

Door Tweakers user creator1988, donderdag 23 december 2010 16:09

Apache schreef op donderdag 23 december 2010 @ 15:44:
Ja, Lucene is redelijk common op de projecten die ik kenm meestal in combinatie met iets als hibernate search ofzo.

Dat jullie de grootste windows gebruikers zijn wil natuurlijk niet veel meer zeggen dan: grote apps draaien meestal op *nix :P
De consultants die hier kwamen om ons er alles over te vertellen begonnen ook wel een beetje te trillen toen we zeiden dat we op Windows wouden draaien ;) . Werkt overigens prima.
YopY schreef op donderdag 23 december 2010 @ 16:01:
SOLR is ook geďntegreerd in een CMS die wij gebruiken (wij = boeken- en tijdschriftenuitgeverijen), maar met wisselend succes. Ik geloof niet dat dat echt aan SOLR zelf ligt, maar meer aan de implementatie en het niet specifiek genoeg zijn van de requirements, maar vooruit.
Ja, dit is voor ons wel pretty much core business; en dat zie je ook wel in het project. Ik geloof dat er in totaal zes maanden aan gewerkt is met gemiddeld twee FTE (inclusief architectuur, functioneel, technisch, implementatie, voortraject).

Door Tweakers user flowerp, vrijdag 24 december 2010 11:36

creator1988 schreef op donderdag 23 december 2010 @ 16:09:
[...]

De consultants die hier kwamen om ons er alles over te vertellen begonnen ook wel een beetje te trillen toen we zeiden dat we op Windows wouden draaien ;) . Werkt overigens prima.
Het zou inderdaad wel prima moeten werken. SOLR is een Java applicatie en Windows is nog steeds een primair supported platform.

Normaal is het wel raar om grote server side apps op Windows te draaien, maar dat geldt natuurlijk niet voor .NET shops ;) Wel vraag ik me af of het OS echt uitmaakt in deze. In neem aan dat SOLR gewoon op z'n eigen machine (waarschijnlijk machines in een cluster) draait en dat het daadwerkelijk OS dus helemaal niet boeit voor de .NET code?

[Reactie gewijzigd op vrijdag 24 december 2010 11:36]


Door Teun, zondag 26 december 2010 15:12

Nou, zo raar is het nu ook weer niet om Windows als server platform te gebruiken voor grote applicaties. De licentie kosten van de software vallen over het algemeen in het niet bij andere hosting kosten. Sites als myspace.com of stackoverflow.com draaien ook op Windows. Bij funda draait SOLR op Windows omdat onze beheerder daar beter in zijn.

Door Tweakers user dionoid, woensdag 29 december 2010 10:33

Even mierenneuken: het is dus Solr, en niet SOLR, SOLr, sOlr, soLr of SoLR :)

Leuk om te lezen dat Solr al op meerdere plekken ingezet wordt (maar nog niet vaak op Windows, blijkbaar).

Voor wie wat technische achtergrondinformatie zoekt over de integratie van Solr met een drukbezochte ASP.NET website:
http://weblogs.asp.net/dr...with-solr-on-windows.aspx

[Reactie gewijzigd op woensdag 29 december 2010 10:34]


Reageren is niet meer mogelijk