Não faz muito tempo que astrônomos passavam a noite olhando através de um telescópio, fazendo observações cuidadosas de um ou alguns pontos de luz.
Com base nessas poucas observações, eles extrapolavam generalizações sobre o Universo.
"Era tudo o que as pessoas podiam fazer na época, porque era difícil coletar dados", diz Leanne Guy, cientista de gestão de dados no novo Observatório Vera C. Rubin.
Rubin, localizado no Chile e financiado pelo Departamento de Energia dos Estados Unidos e pela Fundação Nacional de Ciência, vai inundar os astrônomos de dados.
Cada imagem capturada pela câmera do Rubin consiste em 3,2 bilhões de pixels que podem conter asteroides, planetas-anões, supernovas e galáxias ainda não descobertos. E cada pixel registra 1 dos 65.536 tons de cinza. São 6,4 bilhões de bytes de informação em apenas uma imagem. Dez dessas imagens teriam aproximadamente a mesma quantidade de dados que todas as palavras que o jornal The New York Times publicou em formato impresso durante seus 173 anos de história. O Rubin capturará cerca de mil imagens a cada noite.
Conforme os dados de cada imagem são rapidamente transferidos para os servidores de computador do observatório, o telescópio se voltará para o próximo trecho do céu, tirando uma foto a cada 40 segundos aproximadamente.
Isso acontecerá repetidamente quase todas as noites por uma década.
O total final somará volume de dados equivalente a "6" seguido por 16 zeros: 60.000.000.000.000.000.
A astronomia está seguindo o caminho de campos científicos como a biologia, que hoje está inundada de sequências de DNA, e a física de partículas, na qual os cientistas devem filtrar torrentes de detritos de colisões de partículas para extrair indícios de algo novo.
"Produzimos muitos dados para todos", disse William O'Mullane, diretor-associado de gestão de dados do Vera C. Rubin. "Então essa ideia de vir ao telescópio e fazer sua observação não existe mais, certo? Sua observação já foi feita. Você só precisa encontrá-la."
Os astrônomos poderão fazer suas pesquisas a qualquer hora, em qualquer lugar, contando com redes de alta velocidade, computação em nuvem e os algoritmos de inteligência artificial para filtrar descobertas.
Todos esses dados precisam ser armazenados e processados.
Para fazer isso, O'Mullane supervisionou a construção de um centro de dados de última geração no Rubin com armazenamento suficiente para reter um mês de imagens em caso de uma interrupção prolongada da rede.
Manter os quase 60 quilômetros de cabos de fibra óptica que conectam o observatório à cidade de La Serena, no Chile, pode ser desafiador. Pessoas roubaram equipamentos. Um incêndio na estrada e um caminhão que atingiu um poste causaram interrupções. O'Mullane disse que uma vez alguém usou um cabo para praticar tiro.
Quando os dados estão fluindo, eles são enviados para o Laboratório Nacional de Aceleradores SLAC, um centro de pesquisa do Departamento de Energia em Menlo Park, Califórnia, para cálculos que vão além da análise inicial no observatório.
Embora o Rubin vá capturar mil imagens por noite, essas não serão as primeiras a serem enviadas ao mundo. Em vez disso, os computadores do SLAC criarão pequenos instantâneos do que mudou em comparação com o que o telescópio viu anteriormente.
Para cada nova imagem, imperfeições óbvias, como rastros de satélites passando e manchas geradas por raios cósmicos atingindo os sensores da câmera, serão apagadas. "Tentamos filtrar o lixo não astronômico", afirmou O'Mullane.
Em seguida, o software vai comparar a cena com um modelo que combina pelo menos três observações anteriores da mesma parte do céu.
Quando o modelo é subtraído da imagem mais recente, qualquer coisa que não tenha mudado desaparece. O que resta são características que mudaram. Essas incluem estrelas explodindo conhecidas como supernovas, estrelas variáveis que ficaram mais brilhantes ou mais escuras e asteroides que estão passando.
Apenas uma imagem conterá cerca de 10 mil mudanças destacadas. E um alerta será gerado para cada mudança — aproximadamente 10 milhões de alertas por noite.