Um estudo sobre métricas para avaliação de modelos de simulação, realizado por cientistas da Embrapa, demonstrou que a condição fundamental para o sucesso é que o analista de dados busque aprofundar seus conhecimentos sobre o fenômeno que está sendo simulado, para que possa escolher a melhor forma de analisar a eficiência dos modelos. De acordo com o pesquisador da Embrapa Meio Ambiente Alfredo Luiz, qualquer forma de análise, se usada de forma isolada e sem um estudo aprofundado das características das variáveis simuladas, pode resultar em uma interpretação equivocada da eficiência dos modelos. O uso de modelos de simulação é cada dia mais comum e necessário na pesquisa agropecuária. Eles são usados há muito tempo e podem ser apenas conceituais ou mentais, apresentados na forma de texto ou gráficos ou mesmo miniaturas, como maquetes, ou computacionais, capazes de construir uma grande quantidade de cenários em pouquíssimo tempo. “Todos buscam representar um aspecto da realidade, geralmente complexo, de forma mais simples e compreensível. Servem para melhorar o conhecimento sobre um fenômeno ou, depois de provarem que representam determinada situação real, para serem usados na realização de experimentos virtuais”, destaca Luiz. Experimentos virtuais, feitos com o uso de modelos computacionais de simulação, permitem obter resultados em segundos e com custo quase zero. Supondo que é preciso saber como a produtividade da soja em determinado município é afetada pela data de plantio, por exemplo, um experimento real consistiria em semear a soja no mesmo local em várias datas e acompanhar seu desenvolvimento por meses, até a colheita. Como cada ano apresenta variações de chuva, temperatura etc., seria necessário repetir o experimento em outros anos para chegar a uma conclusão. Ou seja, um experimento real, mesmo simples, consome muito tempo e recursos, além de estar sujeito a todo tipo de imprevisto por ser conduzido no campo, correndo risco de que pragas, doenças e intempéries afetem o seu desempenho. “Ao usarmos dados meteorológicos reais do passado, de vários anos, podemos alimentar os modelos para simular qual seria o desempenho da soja em qualquer dia de semeadura. Esse é só um exemplo de utilidade dos modelos”, enfatiza Luiz. Outro campo onde são necessariamente usados é para simular o futuro. No caso de modelos de mudanças climáticas, não há como ir ao futuro para saber como determinada cultura se desenvolverá em supostas novas condições meteorológicas. Com o uso de modelos de simulação é possível gerar dados meteorológicos diários para dezenas de anos no futuro. A questão, alerta o pesquisador, é que existem inúmeras formas de fazer a avaliação dos modelos. "O valor do trabalho foi demonstrar que a interação entre o analista de dados e a equipe especializada nos modelos, que conhece profundamente o fenômeno que está sendo simulado, é que permite escolher a melhor forma de analisar a eficiência dos modelos. Muitas vezes, não basta aplicar um método apenas", diz Luiz. Para o pesquisador da Embrapa Cerrados Fernando Macena, um caso interessante ocorreu no desenvolvimento do trabalho e exemplifica isso. “Ao fazer a análise da eficiência do modelo STICS na simulação da temperatura do solo na área experimental da Embrapa Cerrados, um dos métodos reprovaria o modelo, enquanto outro apontou para a existência de um viés – erro tendencioso, ou seja, sempre uma superestimação ou uma subestimação do valor, no modelo e ainda outro indicava que os dados guardavam similaridade com os dados observados”, disse Macena. “Depois de entrar em contato com membros da equipe de desenvolvimento do STICS, na França, foi possível identificar a fonte do problema. O modelo que estávamos usando pressupunha um albedo (valor relacionado à capacidade o solo de refletir a luz solar) adequado aos solos de clima temperado e não aos solos tropicais do Cerrado brasileiro. Ao mudar o valor do albedo, o viés foi corrigido e, depois de aplicado novamente aos dados, mesmo o método que antes julgava o modelo ineficiente passou a aprová-lo", explica o pesquisador. Por fim, os pesquisadores lembram que os modelos não são perfeitos nem devem ser considerados imutáveis. Diante de um modelo, deve se medir sua eficiência e, caso necessário, modificá-lo. Uma dica final é que usar gráficos entre valores simulados e observados pode indicar qual modificação é a mais indicada. O trabalho foi apresentado na 20ª edição do Simpósio de Estatística Aplicada à Experimentação Agronômica (SEAGRO), que neste ano coincidiu com a realização da 67ª RBras (Reunião Anual da Região Brasileira da Sociedade Internacional de Biometria), que ocorreu entre 24 e 28 de julho de 2023, em Londrina, PR. O tema desse ano era "A (Bio)estatística e a Biometria na era da revolução digital" (https://67rbras20seagro.com.br/).