Red Hat Hadirkan Cara Pengembangan AI yang Lebih Mudah

Perusahaan biasanya menghadapi banyak tantangan saat memindahkan model AI dari fase eksperimen ke fase produksi. Sebabnya antara lain kenaikan biaya hardware, kekhawatiran mengenai privasi data, dan kekurangpercayaan untuk berbagi data dengan model berbasis SaaS. AI generatif (GenAI) berubah dengan cepat, dan banyak perusahaan kesulitan untuk membangun core AI platform yang bisa diandalkan dan bisa berjalan di on-premise atau di cloud.

Menurut IDC, agar berhasil memanfaatkan AI, enterprise harus memodernisasi banyak aplikasi yang sudah ada dan lingkungan data mereka, menghilangkan penghalang antara sistem yang sudah ada dan platform penyimpanan, meningkatkan keberlanjutan infrastruktur dan berhati-hati dalam memilih tempat menjalankan beban kerja yang berbeda di cloud, pusat data, dan edge. Ini menunjukkan bahwa platform AI harus fleksibel untuk mendukung enterprise saat mereka bergerak maju dalam pengadopsian AI, kebutuhan, dan adaptasi sumber daya mereka.

Untuk itulah, baru-baru ini Red Hat melakukan peningkatan pada Red Hat OpenShift AI, platform open hybrid artificial intelligence (AI) dan machine learning (ML) yang dikembangkan di Red Hat OpenShift. Dengan peningkatan ini, perusahaan dapat merancang dan menghadirkan pengembangan aplikasi AI di seluruh hybrid cloud. Peningkatkan ini juga akan memungkinkan inovasi yang lebih cepat, meningkatkan produktivitas dan kapasitas untuk menyertakan AI ke dalam operasional bisnis sehari-hari melalui platform yang lebih fleksibel, skalabel dan bisa beradaptasi, yang mendukung model prediktif maupun generatif, dengan atau tanpa menggunakan lingkungan cloud.

Strategi AI Red Hat memungkinkan fleksibilitas di seluruh hybrid cloud, menyediakan kemampuan untuk meningkatkan foundation model yang pre-trained atau sudah dikurasi dengan data pelanggan mereka dan kebebasan untuk mendukung berbagai akselerator hardware maupun software. Fitur-fitur Red Hat OpenShift AI yang baru dan sudah ditingkatkan itu dapat memenuhi kebutuhan-kebutuhan tadi berkat adanya akses ke inovasi AI/ML terbaru dan dukungan dari ekosistem mitra yang ekspansif dan AI sentris.

Adapun peningkatan pada platform Red Hat OpenShift AI 2.9 meliputi:

• Model serving di edge memperluas penerapan model AI ke lokasi terpencil menggunakan OpenShift node  Ia memberikan kemampuan inferensi di lingkungan yang sumber dayanya terbatas dengan akses air-gapped network. Fitur pratinjau teknologi ini memberikan perusahaan pengalaman operasional yang skalabel dan konsisten mulai dari core hingga ke cloud dan ke edge serta mencakup kemampuan observasi yang luar biasa.
• Model serving yang ditingkatkan dengan kemampuan untuk menggunakan beberapa server model untuk mendukung AI prediktif dan GenAI, termasuk dukungan untuk KServe, sebuah definisi sumber daya khusus Kubernetes yang mengatur serving untuk semua jenis model, vLLM dan text generation inference server (TGIS), mesin serving untuk LLM dan runtime Caikit-nlp-tgis, yang menangani natural language processing (NLP). Peningkatan pada model serving akan memungkinkan pengguna menjalankan AI prediktif dan GenAI pada satu platform untuk beberapa penggunaan, sehingga mengurangi biaya dan menyederhanakan pengoperasian. Hal ini memungkinkan model serving yang luar biasa untuk LLM dan menyederhanakan alur kerja pengguna di sekitarnya.
• Mendistribusikan beban kerja dengan Ray, menggunakan CodeFlare dan KubeRay, yang memanfaatkan beberapa cluster node untuk pemrosesan data dan pelatihan model yang lebih cepat dan efisien. Ray adalah kerangka kerja untuk mempercepat beban kerja AI, dan KubeRay membantu mengelola beban kerja ini di Kubernetes. CodeFlare merupakan pusat dari kemampuan beban kerja terdistribusi Red Hat OpenShift AI, yang menyediakan kerangka kerja yang mudah digunakan pengguna dan membantu memudahkan orkestrasi dan pemantauan tugas. Kemampuan antrean dan manajemen terpusat memungkinkan pemanfaatan node secara optimal, dan memungkinkan pengalokasian sumber daya, seperti GPU, untuk pengguna dan beban kerja yang tepat.
• Pengembangan model yang lebih baikmelalui ruang kerja proyek dan gambar workbench tambahan yang memberikan fleksibilitas kepada para data scientist untuk menggunakan IDE dan toolkit, termasuk VS Code dan RStudio, yang saat ini tersedia sebagai pratinjau teknologi, dan CUDA yang disempurnakan, untuk berbagai kasus penggunaan dan jenis model.
• Visualisasi model monitoring untuk metrik kinerja dan operasional, meningkatkan kemampuan observasi terhadap kinerja model AI.
• Profil akselerator terbaru yang memungkinkan administrator mengonfigurasi berbagai jenis akselerator hardware yang tersedia untuk pengembangan model dan alur kerja model-serving. Hal ini memberikan akses pengguna yang mandiri dan simpel ke jenis akselerator yang tepat untuk beban kerja tertentu.