Pada artikel sebelumnya, kita membahas penerapan arsitektur “fat-tree” dalam jaringan komputasi AI: arsitektur ini biasanya memastikan ketersediaan transmisi data yang tinggi melalui koneksi tautan yang padat.
Kunci dari masalah ini adalah bagaimana memanfaatkan tautan-tautan tersebut secara efektif untuk mendistribusikan lalu lintas data secara rasional di setiap tautan. Hal ini mirip dengan jalan tol: meskipun memiliki empat jalur, jika semua kendaraan menumpuk di satu jalur, kemacetan tidak dapat dihindari. Dalam skenario komputasi AI, terutama selama operasi seperti “All Reduce” di mana semua GPU bertukar data secara bersamaan, tekanan komunikasi yang besar mengharuskan setiap tautan dalam jaringan komputasi AI digunakan sepenuhnya.
Di bawah kebutuhan ini, kita harus menyeimbangkan keandalan dan efisiensi melalui pengendalian yang presisi. Inti dari strategi pengendalian ini adalah mendeteksi kemacetan jaringan dan memulai pengalihan lalu lintas, memberi tahu perangkat sebelumnya untuk menurunkan kecepatan hingga jalur bebas dari kemacetan. Namun, pengaturan yang tidak tepat dapat membuang-buang sumber daya—misalnya, pembatasan kecepatan karena kemacetan sementara yang tidak perlu dapat merusak efisiensi pelatihan.
Dengan demikian, tujuan kita mirip dengan pembalap mobil yang mencari kecepatan optimal saat melewati tikungan: bukan hanya perlambatan berlebihan untuk menjaga kendali, maupun percepatan yang sembrono yang bisa mengarah pada ketidakstabilan. Kondisi ideal adalah menjaga keseimbangan antara daya cengkeram dan selip, sehingga mencapai kecepatan maksimum dengan aman. Demikian juga, jaringan komputasi AI yang ideal harus mengirimkan data dengan kecepatan tertinggi tanpa hambatan, memerlukan penjadwalan yang sangat presisi. Bahkan kemacetan satu detik harus hanya memicu pengurangan kecepatan singkat, diikuti dengan pemulihan cepat untuk memaksimalkan efisiensi.
Untuk mencapai keseimbangan ini, H3C telah mengembangkan serangkaian teknologi penjadwalan presisi, memastikan keandalan jaringan dan memaksimalkan efisiensi. Hal ini memungkinkan setiap switch yang diinvestasikan oleh pelanggan beroperasi pada performa puncaknya, menghindari waktu idle sumber daya dan memberikan nilai maksimal.
Selanjutnya, kita akan membahas lebih dalam mengenai teknologi penjadwalan presisi ini.
Sebelum mengimplementasikan teknologi penjadwalan presisi, kita harus membangun arsitektur dasar yang dapat beradaptasi dengan berbagai teknik penjadwalan.
Berdasarkan standar terbuka, teknologi Ethernet telah mendapatkan adopsi luas, dan H3C tetap berkomitmen pada hal ini. Berdasarkan Ethernet, fungsi dan antarmuka yang kami terapkan dalam jaringan pusat data mengikuti prinsip keterbukaan, memastikan kompatibilitas dengan sistem penjadwalan komputasi pengguna, pengendali SDN, atau penyedia cloud. Selain itu, H3C beroperasi di domain server, memungkinkan validasi kompatibilitas preemptive untuk NIC GPU dan modul optik pelanggan. Ini mengurangi risiko pengadaan, karena komponen dari merek manapun dapat divalidasi di platform H3C untuk memastikan operasi yang mulus.
Dalam penawaran produk, H3C menyediakan berbagai pilihan, baik perangkat chassis maupun box, yang melayani jaringan dengan skala berbeda. Hal ini sangat menguntungkan untuk jaringan komputasi besar.
Oleh karena itu, kami menciptakan arsitektur dasar yang fleksibel yang dapat beradaptasi dengan berbagai teknologi penjadwalan dan skenario pelanggan.
Setelah mendirikan arsitektur dasar, langkah krusial berikutnya adalah memastikan penyeimbangan beban jaringan yang efektif—pemanfaatan sumber daya bandwidth pada tautan yang tersedia. Bergantung pada topologi jaringan dan pola lalu lintas, pengguna dapat memilih berbagai teknologi penyeimbangan beban.
LBN (Load Balancing Network)
LBN adalah teknologi pertama yang kami jelaskan menggunakan analogi jalan tol.
Skenario kemacetan umum di jalan tol (terutama di pintu masuk/keluar) terjadi ketika kendaraan dari beberapa jalur bergabung secara kacau, menciptakan titik mampat.
Bayangkan ada empat gerbang tol, masing-masing sesuai dengan satu jalur pintu masuk dan keluar. Kendaraan yang masuk melalui Gerbang 1 diarahkan ke Jalur 1, Gerbang 2 ke Jalur 2, dan seterusnya. Ini mengikat bandwidth jalur masuk dan keluar, mencegah kontensi lintas jalur. Dalam pusat data, LBN menerapkan manajemen presisi serupa. Ia mengikat setiap port masuk switch yang terhubung dengan NIC server GPU (seperti jalan tol ramp) ke port keluar tertentu (ramp keluar), menciptakan “jalur ekspres” yang didedikasikan untuk lalu lintas data. Ini memastikan bahwa aliran besar dari setiap pintu masuk mendapatkan bandwidth upstream eksklusif, menghindari kontensi. Mekanisme ini menjamin bandwidth yang cocok antara port upstream dan downstream, memungkinkan lalu lintas eksklusif dan pemanfaatan jaringan yang tinggi.
DLB (Dynamic Load Balancing)
Selanjutnya adalah DLB, yang dijelaskan dengan menggunakan analogi pengiriman kontainer kereta.
Pengiriman kontainer tradisional menggunakan rute tetap antar kota—pasangan asal dan tujuan yang sama selalu melewati jalur yang sama, meskipun jalur alternatif sedang tidak digunakan saat permintaan puncak.
DLB bertindak seperti pengatur muatan cerdas. Pertama, ia membagi barang yang akan dikirim menjadi “flowlet” (kelompok kecil). Sebelum pengiriman antar kota, DLB mengidentifikasi jalur yang paling sedikit kemacetan dan menetapkan flowlet ke jalur tersebut. Setiap flowlet dikirim secara independen, memastikan keseimbangan di semua jalur.
Dalam jaringan komputasi AI, kecerdasan DLB sangat penting. Ketika ribuan GPU mengirimkan data secara bersamaan, mirip dengan pengiriman kontainer saat jam sibuk, pendekatan jalur tetap dapat menyebabkan kemacetan. DLB memastikan setiap flowlet (kelompok paket) menemukan jalur optimal, memberikan jaringan yang stabil dan efisien untuk pelatihan AI.
Spray Link
Solusi ketiga, Spray Link, mengatasi aliran besar dan polarisasi hash.
Kembali ke analogi jalan tol empat jalur: mendistribusikan kendaraan dari berbagai pintu masuk membutuhkan algoritma universal. Metode konvensional mungkin mengklasifikasikan kendaraan berdasarkan warna, ukuran, atau tinggi, untuk mencapai keseimbangan di berbagai jalan tol. Namun, jaringan komputasi AI berbeda—semua GPU mengirimkan data secara bersamaan, seperti truk super panjang yang tidak dapat dipisahkan dan terjebak di satu jalur, menyebabkan “polarisasi hash” dan menurunnya efisiensi.
Spray Link terinspirasi dari konvoi sepeda motor. Bahkan dalam kelompok besar, setiap sepeda motor dapat berjalan secara independen. Dengan membagi aliran data menjadi segmen-segmen (seperti sepeda motor) dan menugaskannya ke jalur yang berbeda, Spray Link mengatasi keterbatasan tradisional, memungkinkan distribusi seimbang dan efisiensi jaringan yang lebih tinggi.
FGLB (Flexible Global Load Balancing)
Strategi sebelumnya—baik pemotongan aliran atau jalur khusus—berfokus pada kemacetan pintu masuk switch tunggal. Namun, jaringan terdiri dari beberapa switch, dan data sering melewati beberapa node. Meskipun switch individual membuat keputusan pemrosesan lokal, mereka tidak memiliki visibilitas terhadap kemacetan yang lebih jauh. Misalnya, meskipun “gerbang tol” yang berdekatan menetapkan jalur khusus, kemacetan keluar jauh mungkin tidak terdeteksi, memperburuk kemacetan. Tanpa kesadaran global, efisiensi jaringan secara keseluruhan menurun.
Untuk mengatasi ini, H3C mengembangkan FGLB (Flexible Global Load Balancing), teknologi probe berbasis perangkat keras yang memungkinkan pemantauan lintas switch secara real-time. “Gerbang tol” berbagi status lalu lintas jalur keluar secara instan. Setelah mendeteksi kemacetan, sistem segera mengalihkan lalu lintas lokal ke jalur alternatif, menghindari kemacetan. Meskipun jaringan dunia nyata jauh lebih kompleks (dengan ratusan perangkat), FGLB memungkinkan setiap perangkat untuk terus memantau lalu lintas, dengan cepat mengidentifikasi dan menyelesaikan kemacetan keluar untuk penyeimbangan beban yang lebih baik dan performa yang lebih tinggi.
Tentunya, FGLB bukanlah solusi ajaib—ini membutuhkan perangkat keras canggih. Pada produk terbaru kami, H3C berinovasi dengan arsitektur DDC (Diversified Dynamic-connectivity), pendekatan penyeimbangan beban tingkat lebih tinggi yang akan kami jelaskan di artikel berikutnya.
Jika Anda ingin menggali lebih dalam mengenai solusi H3C Workspace Cloud Desktop dan bagaimana produk ini dapat mengoptimalkan infrastruktur TI di perusahaan Anda, jangan ragu untuk menghubungi H3C Indonesia atau PT. iLogo Infralogy Indonesia. Tim kami siap memberikan informasi lengkap serta konsultasi yang disesuaikan dengan kebutuhan spesifik bisnis Anda, sehingga Anda dapat mengambil keputusan terbaik untuk kemajuan organisasi Anda.
