Em muitas ocasiões, muitos membros da comunidade ágil reclamam que a certificação Scrum é sem sentido porque quase todos que fazem o curso recebem um certificado. Michael James, da Danube Technologies, escreve que em 1 Janeiro de 2009 este não será mais o caso.
No Scrum Gathering em Stockholm, os participantes deste outono (já CSM's e CST's) foram convidados a escrever uma versão beta do teste. A versão atual é um teste de múltipla escolha cujo objetivo é descobrir se a pessoa que faz o teste tem o mínimo de conhecimento sobre Scrum.. Simon Kirk fez o teste e se saiu razoavelmente bem – mesmo testando o seu entendimento sobre o Manifesto Ágil. Tom Mellor, CST na State Farm, disse que sua pontuação foi 84/100 e esta foi a média para os instrutores (CSTs) que fizeram o teste. Além disso, ele constatou que o sigma estava baixo e que a nota mais alta foi 89.
Mike Dwyer, Coach ágil na BigVisible Solutions, preferia um teste mais profundo: "Pegue qualquer assunto em Scrum e peça para o aluno listar três argumentos válidos a favor e contra este assunto. Em seguida para descrever sua opinião e justificar. Não deveria haver mais que três questões respondidas e pelo menos dez questões feitas. Eu não quero chegar a um consenso aqui, eu quero respostas bem pensadas porque nós estamos sempre relacionados a novidades e aprendizado." Enquanto Peter Stevens, do Scrum Breakfast, gostaria de um teste de interpetação de papéis. Uma série de situações e desafios seriam dados a pessoa que estiver se submetendo ao teste como o Daily Scrum from Hell. Sua pontuação estaria associada a como se saíssem nestas situações.
Tobias Mayer, da Agile Thinking, vê valor no teste dizendo:
...encoraja participantes de um curso CSM a reservar um tempo para ler livros, artigos, blogs e grupos de discussão para melhorar o entendimento acadêmico do Scrum, seja antes do treinamento ou posteriormente( o teste é para ser feito online, depois que o treinamento é finalizado). Em outras palavras, encoraja os potenciais CSMs a assumir a responsabilidade de seu próprio aprendizado e não somente esperar para ser mimado por um certificado depois de dois dias de treinamento sentados em uma classe.
Alistair Cockburn, autor do Agile Software Development, acha que o problema básico é mais profundo que somente um teste. Ele diz que pessoas assistem ao curso de CSM procurando por um Scrum Bootcamp que certifiquem eles como prontos para ser Scrum Masters, está além do problema. Ele acha que "milhares de pessoas têm certificados CSM sem possivelmente saber regras básicas do Scrum, o curso de CSM se tornou um Scrum Bootcamp (de fato)". Ele sugere que é interesse da comunidade Scrum introduzir um Scrum Bootcamp que é direcionado para a maioria das pessoas e usar isto como uma introdução ao curso de Scrum Master que será de interesse de alguns milhares de pessoas.
Por último Tom Mellor, um membro do conselho da Scrum Alliance, nos lembra que:
Ken criou inicialmente o CSM como uma sátira ao PMI. Ele nunca planejou que o curso fosse para ensinar pessoas a serem ScrumMasters; ele queria que as pessoas entendessem ("master") os conceitos, princípios, e regras do Scrum. É claro, ninguém, incluindo Ken, previu que Scrum se tornaria tão extraordinariamente popular. Baseado no imenso crescimento do CSM, foi uma decisão do conselho de direção da Scrum Alliance, colocar um nível de credibilidade em torno da certificação através de um teste – um elemento que estava visivelmente faltando. Esta decisão surgiu, francamente e de maneira simples, do reconhecimento da demanda de muitas organizações e pessoas para colocar um elemento de integridade para a certificação.
Itens anteriormente em InfoQ que mencionam aspectos relacionados a certificação: We Vouch For e Martin Fowler on Avoiding Common Scrum Pitfalls