Créez votre moteur de recherche personnalisé avec Marlin
Alex Morley-Finch, un développeur basé à Nottingham, a créé Marlin, un moteur de recherche open-source pour indexer des pages web qui l'intéressent. Pour environ 10$ et moins d'un gigaoctet de stockage, il a catalogué 560 000 pages. Le projet utilise un petit modèle de langage pour résumer les pages.
« “I think this is very doable in a weekend, and cheap enough that the GPU bill isn’t the reason not to try,” » - The Register
Que faut-il retenir ?
- Marlin a été créé pour indexer des pages comme des portfolios, des zines et des projets artistiques.
- Le projet a coûté environ 10$ en temps de calcul GPU et utilise moins de 1 Go de stockage.
- La première version a indexé à 90% des sites corporate et de documentation, contrairement aux attentes.
- Alex Morley-Finch a dû créer un outil manuel pour fusionner les 671 catégories et 121 000 tags générés aléatoirement.
Pourquoi cette nouvelle compte-t-elle ?
Marlin montre qu'il est possible de créer un moteur de recherche personnalisé à moindre coût, offrant une alternative aux géants du web. Cela ouvre des possibilités pour les développeurs et les amateurs de tech souhaitant des résultats de recherche plus ciblés. Cependant, les limites de scalabilité et de catégorisation automatique restent des défis.
560 000 pages indexées
💬 Alex Morley-Finch, Développeur de logiciels
Public concerné : développeurs
Comment créer un moteur de recherche personnalisé comme Marlin ?
Avec Marlin, un projet open-source, vous pouvez indexer des pages web qui vous intéressent pour environ 10$ et 1 Go de stockage. Le code est disponible sur GitHub avec des tutoriels pour configurer votre propre liste de priorités.
