O livro “A cultura da experimentação: Como os experimentos nos negócios podem melhorar sua capacidade de inovação” foi eleito pela revista Forbes um dos 10 melhores livros de tecnologia de 2020. O autor, o professor da Harvard Business School, Stefan H. Thomke, mostra que o desenvolvimento de processos de experimentação nas empresas é a melhor forma de impulsionar a inovação e obter uma significativa vantagem competitiva.
Ao longo da leitura deste livro, você conhecerá empresas notáveis que adotaram sem restrições a experimentação disciplinada para impulsionar a inovação. Tornando-se uma organização de experimentação. Mesmo tendo estudado os princípios estatísticos e de gestão que são a parte central da experimentação, o autor declara que nunca havia analisado de perto como esses princípios afetam a experiência do cliente e o design do modelo de negócio.
Também nos traz insights para empresas sem raízes digitais que estão cada vez mais expostas à concorrência que utiliza esse recurso. E mais: As ideias e os princípios abordados neste livro são aplicáveis a qualquer contexto de negócio, não importa se a sua empresa é off-line ou on-line, B2C ou B2B, do setor da manufatura, varejo, serviços administrativos e financeiros, logística, viagens, mídia, entretenimento, saúde.
O processo de experimentação nos negócios
Em ambientes reais de negócios a situação é mais complexa do que num laboratório de engenharia ou de biologia molecular, porque esses agentes não agem influenciados por opiniões ou preferências. O cenário dos negócios está em constante mudança, as relações entre as variáveis são complexas e pouco compreendidas e, em algumas situações, as próprias variáveis são incertas ou desconhecidas.
Por exemplo, um gestor pode querer saber se manipular os incentivos de um funcionário melhora sua produtividade, ou o gerente de um varejista pode querer saber se mudar o layout da loja aumentará as vendas. Essas ações de tentativa e erro, às vezes, são chamadas de experimentos, mas não devem ser confundidas com as abordagens mais disciplinadas descritas neste livro, destaca o autor.
Em outras palavras, nessas circunstâncias não temos como conhecer ao certo a causa e o efeito, pois outras variáveis fora a intervenção (por exemplo, a saúde do funcionário, uma liquidação na loja) podem ter afetado o resultado do experimento.
E como funciona a experimentação nos negócios?
Stefan H. Thomke diz que o processo de experimentação nos negócios geralmente começa com a seleção ou a criação de uma ou mais hipóteses possíveis e testáveis, que podem ou não incluir as melhores soluções possíveis, já que ninguém tem como saber com antecedência quais são elas.
Esses testes geram novos aprendizados sobre aspectos do resultado que se desconhecia ou não tinha previsto (ou não tinha como conhecer ou prever): os erros ou surpresas. Começa pela busca permanente do que funciona e do que não funciona. E como saber? A resposta é simples: testando, experimentando.
A capacidade de testar afeta profundamente o seu modelo de negócios
A capacidade de uma empresa de criar e aperfeiçoar seus produtos, as experiências de seus clientes, seus processos e modelos de negócio – em outras palavras, de competir – é profundamente afetada por sua capacidade de experimentar e deve fazer parte do seu modelo de negócios. Na verdade, nenhuma inovação pode existir sem antes ser uma ideia posteriormente moldada pela experimentação.
Experimentação controlada em grande escala revolucionária à maneira como todas as empresas conduzem seus negócios e o modo como os gestores tomam decisões. Para começar, as empresas sem raízes digitais estão cada vez mais interagindo com os clientes na internet ou via aplicativos.
É dificílimo beneficiar-se do número enorme de pontos de contato digitais, opções de design e decisões de negócios sem ter acesso a testes em grande escala destas interações. O livro é sobre decisões de inovação testáveis que envolvem algum grau de incerteza.
A lógica da experimentação busca causa e efeito
A lógica que fundamenta a experimentação é a busca do conhecimento sobre causa e efeito. Todos os experimentos produzem informações ao compreender o que funciona e o que não funciona. É uma permanente busca através da experimentação do que funciona e não funciona. Saber o que não funciona é tão importante quanto descobrir o que funciona. E mais: os bons experimentos também devem orientar as próximas rodadas de testes. “Fracasso e invenção”, observa Jeff Bezos, CEO da Amazon, que são gêmeos inseparáveis. Se você já sabe que vai funcionar, não é um experimento.
O fantástico timing da publicação de ‘A Cultura da Experimentação’
Atualmente a revolução digital nos leva também a usar o método científico na gestão dos negócios com as ferramentas de inteligência artificial, velocidade e redução processamento e mineração de um grande volume de dados. Este livro trata de como as empresas podem usar a experimentação para inovar continuamente nos seus negócios. Em outras palavras, na inovação, a incerteza é necessária porque cria oportunidades.
A inovação é importante porque impulsiona o crescimento lucrativo e cria valor para os stakeholders, ou seja, estamos nos referindo a ninguém mais, ninguém menos que todas as pessoas interessadas nos processos e resultados de uma empresa, desde clientes, acionistas, funcionários e fornecedores da empresa.
O dilema é que, apesar de serem bombardeados de informações vindas de todas as direções, os gestores de hoje precisam trabalhar em um mundo incerto, sem acesso aos dados necessários para embasar suas decisões estratégicas e táticas em contextos diferentes.
Acontece muito de descobrirmos que as ideias verdadeiramente inovadoras contradizem nossas experiências prévias, nossas suposições ou o pensamento convencional. Seja melhorando a experiência do cliente, testando novos modelos de negócio ou desenvolvendo novos produtos e serviços, até os gestores mais experientes erram muito, gostando ou não, isso porque o contexto define novas casualidades.
O poder da experimentação: atrair mais e mais inovação
Uma lição importante que aprendemos com as organizações que dominaram a experimentação nos seus modelos de negócios, em grande escala , é que elas traçam uma distinção clara entre “fracassos” e erros. Os experimentos melhoraram muito sua capacidade de inovação mas a questão chave é a seguinte:
O que fez a diferença é a capacidade de lançar um experimento para avaliar o impacto da ideia. Ou o clássico vamos testar para ver como funciona (testar, testar… Assim como aprendi quando iniciei em 2005 a minha caminhada como gestor de marketing direto e finanças). Simples assim “tudo é um teste”!
O “fracasso” é visto como um fator que contribui para a aprendizagem (ou seja, não é punido), a experimentação também é incentivada. Tanto que é de extrema importância perguntar por que o experimento fracassou. O design do experimento teve algum problema, considerando a pergunta que estava sendo feita? A pergunta não era testável? O “fracasso” envolve tantas possibilidades que é errado insistir que um fracasso necessariamente implica algo errado.
É impossível ter uma cultura de experimentação se “não ganhar” for o mesmo que “perder”, lembra o autor. Ao mesmo tempo, uma cultura de experimentação também não é uma organização que sai por aí “quebrando tudo”, onde qualquer coisa pode ser jogada contra a parede em nome da disrupção criativa.
“Não vencer” é diferente de perder. Os gestores que enfatizam demais a vitória por medo de perder tempo com experimentos de baixo rendimento podem, inadvertidamente, incentivar os funcionários a se concentrar em soluções conhecidas e frágeis ganhos de curto prazo.
As organizações que introduziram a experimentação em suas operações aprenderam que o sucesso e o fracasso atuam juntos em um equilíbrio paradoxal. E mais: “(…) fracassos e erros são coisas diferentes. Não confunda fracassos com erros“. Ao contrário dos fracassos, os erros produzem poucas informações novas ou proveitosas e, portanto, não têm valor, lembra o autor.
O ethos da organização é pensado experimentalmente
Fazer experimentos é tão importante quanto realizar cálculos financeiros. Este livro também mostra como uma organização pode se beneficiar do poder desses experimentos, desenvolvendo sua capacidade de conduzir muitos testes em alta velocidade para fazer mais e melhores perguntas.
Quando falo em uma organização de experimentação, refiro-me a uma empresa na qual a experimentação é adotada (tanto em termos de ação quanto de orientação) por todos os funcionários, de todos os níveis, destaca o autor mais uma vez. Veremos que, considerando que hoje as empresas operam em um mundo digital, beneficiar-se das novas ferramentas significa a possibilidade de conceber e executar experimentos com rapidez, baixo custo e em grande escala. Os resultados são rápidos e, devido à escala, seu sucesso ou fracasso pode ser avaliado prontamente.
Experimentar não é sucesso garantido
Este livro vem com uma ressalva: orientar uma empresa à prática da experimentação contínua não garante que todos os experimentos serão um sucesso ou que tudo será perfeito já na primeira vez. A experimentação em si não é garantia de sucesso.
Na verdade, as organizações de experimentação mantêm um grande foco nos fatores que realmente importam e não dependem tanto de experiências prévias, dados do passado, intuição, imitação ou das chamadas “melhores práticas”. A criatividade, as habilidades e a imaginação têm um papel importante aqui. Não se trata só de ciência, mas também de arte.
Só que, mesmo se o experimento fracassar, ele gerará informações importantes: por que o experimento não funcionou; quais premissas estavam erradas; quais foram os problemas do design e/ou da implementação
E o mais importante: o que podemos aprender para o próximo experimento? É claro que aprender com o sucesso e o fracasso sempre foi algo intrínseco da experimentação. O que mudou é que agora temos ferramentas que nos permitem aprender sobre o desempenho da inovação (novos produtos, experiências do cliente e modelos de negócio) com rapidez, baixo custo e em uma escala sem precedentes.
O que aprendemos de tão precioso com o exemplo da Booking
A Booking, empresa de reservas de hotéis na internet, nos traz lições preciosas de como inovar usando a experimentação de hipóteses para seu negócio. “O exemplo da Booking nos dá um vislumbre empolgante e esclarecedor de como a experimentação pode ser aplicada nos negócios, em uma prática baseada no método científico aperfeiçoado ao longo de séculos, uma prática que passei longos anos estudando”, destaca o autor.
Vejamos o exemplo a seguir da Booking, que foi crucial para possibilitar à empresa enfrentar os perigos das suposições equivocadas e beneficiar-se do poder da experimentação. A Booking sem dúvida fez por conquistar o título de organização de experimentação e o capítulo mostra em detalhes como a empresa se destacou nessa área à medida que crescia e como continua a alavancar essas realizações. Uma característica distintiva das organizações de experimentação é que elas não se dão ao luxo de descansar sobre os louros de suas vitórias.
No início de sua história, a Booking descobriu que não podia basear-se apenas na intuição e nas suposições, como um gestor da empresa me disse: “Todos os dias vemos evidências de que as suposições das pessoas costumam ser equivocadas. Nove em cada dez de nossas previsões sobre o comportamento dos clientes estão erradas”.
Por exemplo, presumia-se que os clientes gostariam de pacotes combinados de hotel com outros produtos. Essa suposição baseava-se no fato de os folhetos de viagem, aqueles que costumávamos pegar em agências de viagens, oferecerem esse tipo de pacote. Só que a Booking é um serviço on-line. Será que o que funciona em uma agência de viagens também funciona em um site? Também se presumia que os clientes gostariam de um chat para falar com um atendente durante o processo de reserva na internet.
Por quê? Porque outras empresas oferecem recursos de atendimento virtual. Também se presumia que os clientes veriam vídeos de possíveis destinos de viagem enquanto navegavam pelo site. Por quê? Bem, simplesmente parecia óbvio. E nenhuma dessas suposições se comprovou correta.
A constatação de que essas suposições, palpites ou premissas intuitivas não eram aplicáveis aos clientes da Booking resultou do trabalho de funcionários “capacitados para experimentação”. A Booking guarda todos os experimentos, independentemente de terem sido sucessos ou fracassos, em sua plataforma de TI e os disponibiliza para serem acessados por qualquer pessoa da empresa.
Um contra exemplo como falta de experimentação derrotou um campeão
Ron Johnson saiu da Apple para assumir o cargo de CEO da rede de lojas de departamentos J. C. Penney em 2011. Ele liderou sua equipe para implementar um novo e ousado plano. Sob sua liderança, a empresa eliminou cupons de desconto e gôndolas de produtos em liquidação, encheu suas lojas de departamento de marcas de luxo famosas e usou a tecnologia para eliminar caixas registradoras, operadores de caixa e produtos no checkout.
Só que, em apenas 17 meses depois, as vendas despencaram, as perdas dispararam e Johnson, o campeão da Apple, perdeu o emprego. Como a J.C. Penney poderia errar tão feio com um CEO vitorioso que implantou o modelo da Apple Store em escala global? E mais: A empresa não tinha montanhas de dados de transações revelando os gostos e as preferências dos clientes?
O que dizer da experiência de Johnson com a criação do conceito de enorme sucesso da Apple Store, que redefiniu a experiência do cliente nas lojas com inovações como o Genius Bar e os pagamentos sem precisar passar pelo caixa? Essas inovações levaram às maiores médias de vendas por metro quadrado no varejo de qualquer loja física do mundo, atraindo mais visitantes do que os parques temáticos da Disney.
O Conselho de Administração da J.C. Penney deve ter esperado que Johnson conseguiria repetir o sucesso das lojas da Apple em sua tradicional cadeia de lojas de departamento, com mais de mil unidades nos Estados Unidos. Por que isso não aconteceu? Para começar, a maioria dos gestores trabalha com dados insuficientes ou sem experiência relevante para tomar boas decisões de inovação em outros contextos. Aí está o X da questão: como os clientes reagiriam nesse novo contexto.
Ou seja, a empresa pode até ter dados de transações, mas essas informações só dizem respeito a comportamentos passados e não conseguem prever como os clientes podem reagir a mudanças futuras. O futuro não é extensão do passado. Além disso, muitas vezes os gestores confiam na intuição para tomar as decisões, mas as ideias de fato inovadoras normalmente contradizem a experiência. Na verdade, a maioria das ideias não funciona.
Faça um teste num novo contexto
A boa notícia é que os gestores têm, sim, como saber se uma mudança no produto, serviço ou modelo de negócio terá sucesso. Eles podem fazer isso submetendo a mudança proposta a um experimento rigoroso. E muitas empresas seguem basicamente esse mesmo processo quando lançam novos modelos de negócio e outras mudanças inovadoras. Testam as suas hipótese na nova realidade, em vez de usar os dados passados.
Se a J.C. Penney tivesse conduzido experimentos rigorosos para testar as inovações propostas por seu CEO, a empresa poderia ter descoberto que, apesar do sucesso dessas inovações na Apple, os clientes da Penney provavelmente as rejeitariam.
Big data: uma avenida ampla mais cheia de buracos
Mas num mundo de big data de tantas informações e inteligência artificial, por que mais experimentação? A resposta é simples: O big data é um excelente sistema de mineração de dados e correlações, mas são insuficientes para identificar casualidades, pois nem sempre a correlação tem efeito causal. Simples assim! Na dúvida, teste.
Para lidar com a incerteza, os gestores costumam confiar na experiência e na intuição. No entanto, como já vimos no exemplo de Ron Johnson, o inovador do varejo por trás do conceito da Apple Store, essa experiência geralmente depende do contexto, além de que um sucesso pode resultar em excesso de confiança.
Será que, em vez de contar apenas com a experiência e a intuição, os gestores não poderiam criar modelos para prever os resultados da inovação com base na análise de big data? Afinal, as empresas têm montanhas de dados à sua disposição, que, se utilizados do jeito certo, poderiam lhes dar uma ideia das mudanças mais promissoras.
Sem os testes de casualidade os executivos têm apenas uma compreensão fragmentária de seus negócios e podem facilmente tomar decisões erradas, empolgados com o fascínio da correlação dados sem nexo com os efeitos causais. Correlação e causalidade são duas coisas diferentes e ter um entendimento superficial das razões que levam as coisas a acontecer pode sair caro ou, no caso da medicina, até ser perigoso.
No âmbito da inovação, o big data tem três limitações
Primeiro, para começar, quanto mais recente for uma inovação, menor será a probabilidade de haver dados confiáveis disponíveis. Na verdade, se dados confiáveis estiverem disponíveis, é porque alguém já deve ter lançado a inovação, e isso não seria mais uma novidade.
Em segundo lugar, os próprios dados costumam depender do contexto (como no exemplo de Johnson). O simples fato de uma solução ter funcionado para outra empresa em outro mercado não significa que vai funcionar para a nossa empresa no nosso mercado.
E, finalmente, em terceiro lugar, a análise de big data usando métodos matemáticos padronizados, como a análise de regressão, resulta principalmente em informações de correlação, não de causalidade. Tanto que algumas variáveis com fortes correlações não apresentam quaisquer relações causais diretas.
As armadilhas das correlações induzem a erros de causalidade
O enigma das mãos e dos sorvetes, por exemplo, foi demonstrado que o tamanho da palma da mão de uma pessoa se correlaciona com a expectativa de vida e que o consumo de sorvete se relaciona com o número de incidentes de afogamento. Mas, antes de sair correndo atrás de um cirurgião para reduzir o tamanho de sua mão ou parar de tomar sorvete, considere os padrões naturais a seguir: as mulheres têm mãos menores e também vivem mais e mais pessoas vão nadar e tomar sorvete quando faz calor.
O desconhecimento das relações causais representa um grande problema se uma empresa espera que suas ações causem resultados previsíveis, como um aumento na retenção de clientes ou uma maior receita de vendas. A solução seria complementar a análise de dados com experimentos disciplinados. Para se beneficiar das oportunidades resultantes da incerteza, as organizações precisam imbuir seu processo decisório de uma mentalidade de experimentação.
Gerar hipóteses testáveis e mensuráveis
A equipe projeta um conjunto de experimentos para testar as hipóteses usando métricas de desempenho mensuráveis. O que importa é a força de uma hipótese: ela precisa ser testável e mensurável. Os bons experimentos não dependem apenas de bons fatores operacionais, mas também requerem hipóteses meticulosamente elaboradas. Trabalhe com feedback rápido. As pessoas aprendem melhor quando suas ações são seguidas de um feedback imediato.
O tempo passa, a atenção se volta a outros problemas, e, quando o feedback finalmente chega, a janela de oportunidade já está fechada e o vínculo entre causa e efeito deixa de existir.
Um road map para inovação nos negócios
As empresas devem encontrar as respostas para sete perguntas importantes e “antes de tentar implementar um programa ousado de experimentação na empresa, precisa basear-se mais nas evidências experimentais e menos na intuição dos executivos para orientar essas decisões”, lembra de forma enfática o autor. Quais métricas de curto prazo de fato preveem melhorias de longo prazo na participação das buscas e na receita?
1 – O experimento tem uma hipótese testável?
Deve-se primeiro identificar exatamente o que desejam aprender e medir. Elegância, por Albert Einstein: “Nem toda a experimentação do mundo pode provar que estou certo; um único experimento pode provar que estou errado”.
2 – Os stakeholders se comprometeram a respeitar os resultados
Antes de fazer qualquer teste, os stakeholders devem concordar sobre o que fazer quando os resultados saírem. Eles precisam se comprometer a levar todas as descobertas em consideração em vez de escolher só os dados que confirmem um ponto de vista específico. E, talvez ainda mais importante, devem estar dispostos a abandonar uma proposta refutada pelos dados. Mas é mais fácil falar do que fazer.
3 – O experimento é executável?
O problema é que esse tipo de experimento nem sempre é viável. O custo de um teste envolvendo uma amostra de tamanho adequado pode ser proibitivo ou a mudança nas operações inexequível. No contexto dos negócios, aprender com um experimento não é necessariamente tão fácil quanto isolar uma variável independente, manipulá-la e observar mudanças na variável dependente. Os ambientes mudam constantemente e as causas potenciais dos resultados da organização muitas vezes são incertas ou desconhecidas, de maneira que as relações entre eles costumam ser complexas e pouco compreendidas.
4 – Como podemos garantir resultados confiáveis?
Buscar sempre um processo para monitorar os resultados de uma implementação e compará-los com o benefício previsto.
5 – Entender as relações de causa e efeito
Nem sempre basta conhecer a relação de causa e efeito. E se você conseguir verificar que uma coisa causa outra, e não souber o por quê? Será que você deveria tentar descobrir o mecanismo causal? E mais: tenha claro a diferença entre correlação e causalidade.
6 – Nós nos beneficiamos ao máximo do experimento?
Outra tática interessante é a engenharia de valor. A maioria dos programas inclui alguns componentes que geram mais benefícios que custos e outros cujos custos superam os benefícios. Muitas empresas investem nos experimentos mas não conseguem tirar o máximo proveito deles.
Para evitar esse erro, os executivos devem levar em consideração os efeitos que a iniciativa proposta pode ter em vários clientes, mercados e segmentos e concentrar seus investimentos nas áreas de maior retorno potencial. A melhor pergunta normalmente não é “O que funciona?”, mas “O que funciona onde?” ou “O que é surpreendente?”
7 – Nossas decisões estão mesmo sendo orientadas pelos experimentos?
Nem todas as decisões de gestão podem ou devem ser tomadas com base em experimentos. Decisões como adquirir uma empresa ou entrar em um novo segmento de mercado são mais eficazes se forem baseadas no senso crítico, na observação e na análise. Conduzir um experimento pode ser muito difícil, senão impossível, ou pode impor tantas restrições ao experimentador que os resultados acabam perdendo toda a validade. Entretanto, se tudo o que puder ser testado de fato for, os experimentos poderão se tornar fundamentais
Uma palavra final: “De preferência, um experimento deve ser simples o suficiente para possibilitar a fácil identificação das relações de causa e efeito”, diz o autor.
Simples assim! Os valores são: tome suas decisões com base em dados, sempre coloque o cliente em primeiro lugar. Faça a sua empresa focada na demanda e não na oferta. O que nos causa problemas não é o que não sabemos, é o que temos certeza de que sabemos e que no fim não é verdade – frase atribuída a Mark Twain, autor e humorista.
E, finalmente, “quando os gestores descobrem e se beneficiam do poder surpreendente da experimentação nos negócios, eles ficam absolutamente empolgados”, diz o autor.
Confesso que vibrei e me empolgo quando consigo levar as empresas nesse caminho. E reforçam os ensinamentos que aprendi desde 2005 quando iniciei a minha trajetória de executivo na área de marketing direto e finanças até os dias atuais. Não existe bola de cristal no caminho da inovação e da lucratividade. Testes todas as hipóteses e premissas do seu modelo de negócios.
| *Aloisio Sotero é professor e mentor em Precificação e Gestão de Negócios. Vice-diretor da Faculdade Central do Recife e membro associado do Instituto Brasieliro de Governança Corporativa. |
Veja também
- Financiamento estudantil: como funciona e quando vale a pena fazer?
- Grupo Mateus, GPA e Assaí: qual ação vence na batalha dos atacarejos?
- Lançamentos mostram que hatches compactos devem ser novas ‘vítimas’ dos SUVs
- Certidão de óbito: como tirar e quais documentos levar?
