Red Hat SummitRed Hat OpenShift AI
O Red Hat® OpenShift® AI é uma plataforma para gerenciar o ciclo de vida de modelos de IA preditiva e generativa em escala, em ambientes de nuvem híbrida.
O que é o Red Hat OpenShift AI?
Desenvolvido com tecnologias open source, o OpenShift AI oferece recursos confiáveis e operacionalmente consistentes para as equipes experimentarem, disponibilizarem modelos e entregarem aplicações inovadoras.
O OpenShift AI viabiliza a preparação e a aquisição de dados, além do treinamento, ajuste fino, disponibilização e monitoramento dos modelos. Ele também facilita a aceleração de hardware. Com um ecossistema aberto de parceiros de software e hardware, o OpenShift AI oferece a flexibilidade necessária para atender aos seus casos de uso específicos.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Acelere a disponibilização de aplicações com IA
Combine os recursos testados do Red Hat OpenShift AI e do Red Hat OpenShift em uma plataforma de aplicações de IA empresarial que estimula a colaboração entre equipes. Cientistas de dados, engenheiros e desenvolvedores de aplicações podem colaborar em um único ambiente com consistência, segurança e escalabilidade.
O release mais recente do OpenShift AI dá acesso a modelos menores pré-otimizados, desenvolvidos para aumentar a eficiência. Além disso, ele ajuda a gerenciar os custos de inferência com a disponibilização distribuída de modelos por meio de um framework de vLLM. E para reduzir ainda mais a complexidade operacional, o OpenShift AI oferece ferramentas avançadas para automatizar as implantações e acesso self-service a modelos, ferramentas e recursos.
Funcionalidades e benefícios
Economize tempo no gerenciamento da infraestrutura de IA
Disponibilize acesso sob demanda aos recursos, para que as equipes possam escalar o treinamento de modelos e a disponibilização de ambientes por self-service, conforme a necessidade. Reduza também a complexidade operacional gerenciando aceleradores de IA (GPUs) e recursos de cargas de trabalho em um ambiente clusterizado escalável.
Ferramentas de IA/ML testadas e compatíveis
A Red Hat monitora, integra, testa e oferece suporte às ferramentas comuns de AI/ML e à disponibilização de modelos na nossa plataforma de aplicações Red Hat OpenShift. Assim, você não precisa se preocupar com isso. O OpenShift AI é resultado de anos de desenvolvimento dentro do projeto da comunidade Open Data Hub da Red Hat e de projetos open source como o Kubeflow.
Flexibilidade em toda a nuvem híbrida
Ao disponibilizar o OpenShift como um software autogerenciado ou um serviço em nuvem totalmente gerenciado, o Red Hat OpenShift AI oferece uma plataforma segura e flexível na qual você pode escolher onde desenvolver e implantar seus modelos: on-premise, na nuvem pública ou até mesmo na edge.
Utilize nossas práticas recomendadas
A Red Hat Consulting oferece serviços que permitem que você instale, configure e utilize todo o potencial do Red Hat OpenShift AI.
A Red Hat Consulting oferece suporte e mentoria especializados para ajudar você a começar sua jornada com a IA, aprimorar as habilidades da sua equipe de plataforma de ML ou construir uma base de MLOps sólida.
Red Hat Enterprise Linux AI
O Red Hat® Enterprise Linux® AI é uma plataforma de modelo base usada para desenvolver, testar e executar modelos de linguagem de larga escala (LLMs) da família Granite para aplicações empresariais.
Parcerias
Amplie os benefícios da plataforma Red Hat OpenShift AI com outros serviços e soluções integradas.
NVIDIA e a Red Hat oferecem aos clientes uma plataforma escalável que impulsiona diversos casos de uso de IA com flexibilidade incomparável.
Intel® e a Red Hat ajudam as organizações a estimular a adoção da IA e a operacionalizar os modelos de inteligência artificial e machine learning.
A IBM e a Red Hat oferecem inovação open source para acelerar o desenvolvimento da IA, o que inclui o IBM watsonx.aiTM, um estúdio de IA empresarial para desenvolvedores.
Starburst Enterprise e Red Hat viabilizam insights mais ágeis e precisos por meio da análise rápida dos dados em diversas plataformas de dados distribuídas e desconectadas.
Infraestrutura Kubernetes escalável para plataformas de IA
Saiba como aplicar princípios e práticas de operações de machine learning (MLOPs) para criar aplicações com tecnologia de IA.
Colaboração por meio de workbenches de modelos
Disponibilize imagens de cluster prontas e personalizadas para seus cientistas de dados trabalharem com modelos usando a IDE que preferirem, como o JupyterLab. O Red Hat OpenShift AI monitora as alterações no Jupyter, no TensorFlow, no PyTorch e em outras tecnologias de IA open source.
Disponibilize modelos em escala com o Red Hat OpenShift AI
É possível disponibilizar modelos por meio de uma versão otimizada do vLLM (ou qualquer outro servidor de sua escolha) para fazer integrações em aplicações com tecnologia de IA on-premise, na nuvem pública ou na edge. Eles podem ser recriados, reimplantados e monitorados com base nas alterações feitas no notebook de origem.
Padrão da solução
Aplicações de IA com a Red Hat e o NVIDIA AI Enterprise
Crie uma aplicação com RAG
O Red Hat OpenShift AI é uma plataforma para criar projetos de ciência de dados e disponibilizar aplicações com IA. Você pode integrar todas as ferramentas para dar suporte à Geração Aumentada de Recuperação (RAG), um método para receber respostas da IA a partir dos seus próprios documentos de referência. Quando você conecta o OpenShift AI ao NVIDIA AI Enterprise, é possível testar large language models (LLMs) para encontrar o melhor modelo para sua aplicação.
Crie um pipeline de documentos
Para usar a RAG, primeiro você precisa ingerir seus documentos em um banco de dados vetorial. Na nossa app de exemplo, inserimos um conjunto de documentos da solução em um banco de dados do Redis. Como esses documentos mudam com frequência, criamos um pipeline para esse processo que executaremos periodicamente. Dessa forma, sempre teremos as versões mais recentes dos documentos.
Confira o catálogo de LLM
O NVIDIA AI Enterprise oferece um acesso a um catálogo de diferentes LLMs para que você tenha opções diversas e selecione o modelo com os melhores resultados. Os modelos são hospedados no catálogo da API da NVIDIA. Depois de configurar um token de API, é possível implantar um modelo usando o NVIDIA NIM que disponibiliza a plataforma diretamente a partir do OpenShift AI.
Como escolher o modelo ideal
Conforme você testa LLMs diferentes, seus usuários podem avaliar cada resposta gerada. Você pode configurar um dashboard de monitoramento do Grafana para comparar as avaliações e o tempo de resposta e latência de cada modelo. Depois, use esses dados para escolher o melhor LLM para a produção.
Leitura recomendada
Estudo de caso
DenizBank dá mais autonomia aos seus cientistas de dados com o Red Hat OpenShift AI
Vídeo
As medidas de segurança para LLMs protegem seus modelos de IA Generativa
Conteúdo de analistas
Relatório da Omdia: como criar uma base operacional robusta para IA
Checklist
Cinco maneiras de implementar o MLOps com sucesso
Como testar o Red Hat OpenShift AI
Sandbox do desenvolvedor
Para desenvolvedores e cientistas de dados experimentarem criar aplicações com IA em um ambiente flexível e pré-configurado.
Teste de 60 dias
Quando sua organização estiver pronta para avaliar todos os recursos do OpenShift AI, faça um teste de solução de 60 dias. É necessário ter um cluster do Red Hat OpenShift.
