A arquitetura do DuckDuckGo, uma nova ferramenta de buscas

DuckDuckGo (DDG) é uma ferramenta de busca relativamente nova, e um concorrente não desejado para o Google. Ele se promove como uma ferramenta de busca "justa" concorrente para o Google, e amplamente apoiada por sites como o The New York Times, PCMag.com e até mesmo considerado pelo Search Engine Land como uma ameaça a longo prazo como opção de ferramenta de busca. Conforme publicado por Yaara Lancet, possui funcionalidades que o Google não contempla além de não registrar o histórico de buscas do usuário mantendo sua privacidade.

Construído e liderado por Gabriel Weinberg, um ex-aluno do MIT, o DDG conforme notícia no Yahoo News, acusa o Google de prejudicar seus resultados de busca.

A arquitetura do DDG faz uso intenso de software livre, conforme descrito em sua página de descrição da arquitetura. Segundo Gabriel Weinberg, a arquitetura inicial do DDG fora projetada para atender a uma baixa demanda, a princípio:

Esta arquitetura foi projetada para alcançar a velocidade máxima durante uma consulta no lançamento inicial de nosso software. Projetamos um software para alcançar uma eventual escalabilidade, não tínhamos ainda muito tráfego - embora nós estivéssemos crescendo num ritmo muito bom.

O DuckDuckGo é codificado em Perl e JavaScript com a ajuda da biblioteca YUI do Yahoo. É disponibilizado por meio de nginx, FastCGI e memcached e roda em FreeBSD e Ubuntu via daemontools - um conjunto de ferramentas para administrar processos unix.

Dentre os destaques de ferramentas utilizadas pelo DDG, segundo Weinberg, estão:

• Servidor de DNS fornecido pelo DNSMadeEasy - Costumávamos usar o serviço da djbdns, mas o DNS Made Easy é mais rápido, faz com que seja mais fácil lidar com fail-over, e além disso, é um serviço barato.
• Os scripts Perl acessam um banco de dados PostgreSQL (quando necessário) para recuperar nossas informações consideradas zero-clique, entre outras coisas.
• Tudo funciona em FreeBSD.
• Para fail-over e fins de escalabilidade, nós temos imagens que reproduzem um EC2.

Weinberg destaca na arquitetura do DDG a utilização de uma mistura de PostgreSQL+bucardo, CDB, Solr, BerkelyDB, S3 e arquivos textos de dados. Todo o monitoramento é realizado por meio do Server Density, scripts próprios e o DNSMadeEasy (que também utilizam para DNS e failover).

Segundo o Washington Post, a atenção ao DuckDuckGo cresceu pelo fato de autoridades dos EUA e da União Europeia intensificarem a fiscalização nas práticas de pesquisa do Google, que tem sido criticado por injustamente inibir o conteúdo de seus concorrentes e os resultados de suas buscas em seu próprio benefício. Segundo ainda o Washington Post, no início deste ano, em uma resposta às críticas de que estava agindo como um monopólio, o Google reconheceu publicamente o DuckDuckGo como um concorrente real.