Nhemu - Comparador de preços Nacional feito com Tecnologia!

Estou a um bom tempo longe do blog, tenho trabalhado com algumas coisas. Há alguns meses tenho trabalhado no Nhemu (http://www.nhemu.com), um comparador de preços baseado nas principais tecnologias da área de Recuperação de Informação, Extração de Dados e Aprendizagem de Máquina (Machine Learning).  

O Nhemu é provavelmente o único comparador de preços nacional que contém um coletor de ofertas automático, ou seja, ele não precisa que o lojista gere um arquivo XML (ou qualquer outro formato) e envie suas ofertas. No Nhemu, os sites cadastrados (hoje, cerca de 200 lojas e crescendo) são diariamente varridos por robôs visando encontrar as ofertas disponíveis nessas lojas virtuais e adicioná-las ao Nhemu. Esses robôs são desenvolvidos a partir das técnicas apresentadas nos principais trabalhos publicados na área de pesquisa em Web Crawling.

Além do Crawler (Robô), o Nhemu desenvolveu um sistema de classificação automática de ofertas em categorias. Isso é necessário já que as ofertas são coletadas automaticamente. O Nhemu precisa indicar a qual categoria determinada oferta pertence. Por exemplo, ao obter as informações de um celular Nokia N8, o Nhemu determina que aquele é um Celular da sub-categoria Smartphone.  Esse sistema de classificação também foi desenvolvido baseando-se em trabalhos publicados na área de Aprendizado de Máquina.

Outra importante parte do Nhemu é o sistema de busca, desenvolvido a partir de tecnologias em Recuperação de Informação. Totalmente personalizado e aperfeiçoado para buscar ofertas em e-commerce (não adianta só colocar o Lucene e achar que vai ficar bom). Além disso nossa busca também possui uma funcionalidade experimental chamada "nuvem de tags". Construída de forma automática, assemelha-se a busca facetada na medida que auxilia os usuários a filtrarem suas respostas. Entretanto a nuvem de tags não precisa dos dados estruturados dos produtos, podendo ser facilmente implementada em qualquer base de produtos. Finalmente, a busca também a  possui a funcionalidade "Você quis Dizer" que está em constante aperfeiçoamento. "Consertando" consultas com erros de digitação ou ortografia errada (especialmente de palavras estrangeiras).


Por fim, temos o componente de nosso sistema que torna o Nhemu um comparador de preços de fato, o Agrupador. Esse programa recebe um conjunto de milhões de ofertas e determina quais ofertas de diferentes lojas são na verdade o mesmo produto mas com descrições diferentes. Dessa forma, podemos agrupar ofertas do mesmo produto de diferentes lojas e comparar seus preços. Como ele faz isso? De forma totalmente automática usando técnicas de Recuperação de Informação e alguns outros processos mágicos.


É engraçado como muitas pessoas se espantam ao saber que apenas 6 pessoas conseguem desenvolver e manter um comparador de preços com milhões de ofertas de mais de 200 lojas. A explicação é óbvia, usamos a tecnologia a nosso favor. Com isso conseguimos deixar nossos custos bem baixos (sério, baixos!).


Portanto não deixem de acessar: http://www.nhemu.com