ආදර්ශ පුහුණුවේදී ගබඩාව ප්‍රධාන බාධකය වීමට ඉඩ නොදෙන්න

තාක්‍ෂණ සමාගම් GPU සඳහා පොරකමින් හෝ ඒවා අත්පත් කර ගැනීමේ මාවතේ සිටින බව කියනු ලැබේ. අප්‍රේල් මාසයේදී Tesla ප්‍රධාන විධායක නිලධාරී Elon Musk GPU 10,000ක් මිලදී ගත් අතර සමාගම NVIDIA වෙතින් GPU විශාල ප්‍රමාණයක් දිගටම මිලදී ගන්නා බව ප්‍රකාශ කළේය. ව්‍යවසාය පැත්තෙන්, ආයෝජන මත ප්‍රතිලාභ උපරිම කර ගැනීම සඳහා ජීපීයූ නිරන්තරයෙන් භාවිතා කරන බව සහතික කිරීමට තොරතුරු තාක්ෂණ කාර්ය මණ්ඩලය ද දැඩි උත්සාහයක් දරයි. කෙසේ වෙතත්, GPU ගණන වැඩි වන අතර, GPU idleness වඩාත් දරුණු වන බව සමහර සමාගම් විසින් සොයා ගත හැක.

ඉතිහාසය අපට ඉහළ කාර්ය සාධන පරිගණනය (HPC) ගැන යමක් උගන්වා ඇත්නම්, එය ගණනය කිරීම කෙරෙහි වැඩි අවධානයක් යොමු කිරීමේ වියදමින් ගබඩා කිරීම සහ ජාලකරණය කැප නොකළ යුතුය. ගබඩාවට කාර්යක්ෂමව පරිගණක ඒකක වෙත දත්ත මාරු කළ නොහැකි නම්, ඔබ සතුව ලෝකයේ වැඩිම GPUs තිබුණද, ඔබට ප්‍රශස්ත කාර්යක්ෂමතාවයක් ලබා ගත නොහැක.

Small World Big Data හි විශ්ලේෂකයෙකු වන Mike Matchett ට අනුව, කුඩා මාදිලි මතකයේ (RAM) ක්‍රියාත්මක කළ හැකි අතර, එය ගණනය කිරීම කෙරෙහි වැඩි අවධානයක් යොමු කිරීමට ඉඩ සලසයි. කෙසේ වෙතත්, නෝඩ් බිලියන ගණනක් සහිත ChatGPT වැනි විශාල මාදිලිවල අධික පිරිවැය හේතුවෙන් මතකයේ ගබඩා කළ නොහැක.

“ඔබට මතකයේ ඇති නෝඩ් බිලියන ගණනක් සවි කළ නොහැක, එබැවින් ගබඩා කිරීම වඩාත් වැදගත් වේ,” මැචෙට් පවසයි. අවාසනාවකට මෙන්, සැලසුම් කිරීමේ ක්රියාවලිය තුළ දත්ත ගබඩා කිරීම බොහෝ විට නොසලකා හරිනු ලැබේ.

සාමාන්‍යයෙන්, භාවිත අවස්ථාව කුමක් වුවත්, ආදර්ශ පුහුණු ක්‍රියාවලියේ පොදු කරුණු හතරක් ඇත:

1. ආදර්ශ පුහුණුව
2. අනුමාන යෙදුම
3. දත්ත ගබඩා කිරීම
4. වේගවත් පරිගණකකරණය

ආකෘති නිර්මාණය කිරීමේදී සහ යෙදවීමේදී, දත්ත ගබඩා කිරීමේ අවශ්‍යතා ඉහළ සැලකිල්ලක් නොදක්වන, ආකෘති පුහුණුව ආරම්භ කිරීම සඳහා සංකල්ප පිළිබඳ ඉක්මන් සාක්ෂි (POC) හෝ පරීක්ෂණ පරිසරයන් සඳහා බොහෝ අවශ්‍යතා ප්‍රමුඛත්වය දෙයි.

කෙසේ වෙතත්, අභියෝගය පවතින්නේ පුහුණුව හෝ අනුමාන යෙදවීම මාස හෝ වසර ගණනාවක් පැවතිය හැකි බැවිනි. බොහෝ සමාගම් මෙම කාලය තුළ ඔවුන්ගේ මාදිලියේ ප්‍රමාණයන් සීඝ්‍රයෙන් ඉහළ නංවන අතර, වර්ධනය වන ආකෘති සහ දත්ත කට්ටල සඳහා පහසුකම් සැලසීම සඳහා යටිතල පහසුකම් පුළුල් කළ යුතුය.

මිලියන ගණනක ML පුහුණු වැඩ බර පිළිබඳව Google වෙතින් කරන ලද පර්යේෂණයකින් හෙළි වන්නේ පුහුණු කාලයෙන් සාමාන්‍යයෙන් 30% ක් ආදාන දත්ත නල මාර්ගය සඳහා වැය කරන බවයි. පුහුණුව වේගවත් කිරීම සඳහා GPU ප්‍රශස්ත කිරීම කෙරෙහි අතීත පර්යේෂණ අවධානය යොමු කර ඇති අතර, දත්ත නල මාර්ගයේ විවිධ කොටස් ප්‍රශස්ත කිරීමෙහි බොහෝ අභියෝග තවමත් පවතී. ඔබට සැලකිය යුතු ගණනය කිරීමේ බලයක් ඇති විට, ප්‍රතිඵල ලබා ගැනීම සඳහා ඔබට ගණනය කිරීම්වලට දත්ත කෙතරම් ඉක්මනින් ලබා දිය හැකිද යන්න සැබෑ බාධාව බවට පත්වේ.

විශේෂයෙන්, දත්ත ගබඩා කිරීමේ සහ කළමනාකරණයේ ඇති අභියෝග සඳහා දත්ත වර්ධනය සඳහා සැලසුම් කිරීම අවශ්‍ය වන අතර, ඔබ ප්‍රගතියත් සමඟ දත්තවල වටිනාකම අඛණ්ඩව උකහා ගැනීමට ඔබට ඉඩ සලසයි, විශේෂයෙන් ඔබ ගැඹුරු ඉගෙනීම සහ ස්නායුක ජාල වැනි ඉහළ ඉල්ලුමක් ඇති අවස්ථා සඳහා යොමු වන විට. ධාරිතාව, කාර්ය සාධනය සහ පරිමාණය අනුව ගබඩා කිරීම.

විශේෂයෙන්ම:

පරිමාණය
යන්ත්‍ර ඉගෙනීම සඳහා විශාල දත්ත ප්‍රමාණයක් හැසිරවීම අවශ්‍ය වන අතර දත්ත පරිමාව වැඩි වන විට ආකෘතිවල නිරවද්‍යතාවය ද වැඩි දියුණු වේ. මෙයින් අදහස් කරන්නේ ව්‍යාපාර සෑම දිනකම වැඩි දත්ත එකතු කර ගබඩා කළ යුතු බවයි. ආචයනය පරිමාණය කළ නොහැකි විට, දත්ත-අධික කාර්ය භාරයන් බාධා ඇති කරයි, කාර්ය සාධනය සීමා කරයි සහ මිල අධික GPU නිෂ්ක්‍රීය කාලය ඇති කරයි.

නම්යශීලී බව
බහු ප්‍රොටෝකෝල සඳහා නම්‍යශීලී සහය (NFS, SMB, HTTP, FTP, HDFS සහ S3 ඇතුළුව) විවිධ පද්ධතිවල අවශ්‍යතා සපුරාලීමට අවශ්‍ය වේ, නමුත් තනි පරිසරයකට සීමා නොවී.

ප්රමාදය
I/O ප්‍රමාදය දත්ත කිහිප වතාවක් කියවා නැවත කියවන බැවින් ආකෘති ගොඩනැගීම සහ භාවිතා කිරීම සඳහා ඉතා වැදගත් වේ. I/O ප්‍රමාදය අඩු කිරීමෙන් ආකෘතිවල පුහුණු කාලය දින හෝ මාස ගණනකින් කෙටි කළ හැක. වේගවත් ආකෘති සංවර්ධනය සෘජුවම වැඩි ව්‍යාපාරික වාසි බවට පරිවර්තනය කරයි.

ප්‍රතිදානය
කාර්යක්ෂම ආකෘති පුහුණුව සඳහා ගබඩා පද්ධතිවල ප්‍රතිදානය ඉතා වැදගත් වේ. පුහුණු ක්‍රියාවලීන් විශාල දත්ත ප්‍රමාණයක් ඇතුළත් වේ, සාමාන්‍යයෙන් පැයකට ටෙරාබයිට් වලින්.

සමාන්තර ප්රවේශය
ඉහළ කාර්ය සාධනයක් ලබා ගැනීම සඳහා, පුහුණු ආකෘති ක්‍රියාකාරකම් බහු සමාන්තර කාර්යයන් වලට බෙදා ඇත. මෙයින් බොහෝ විට අදහස් වන්නේ යන්ත්‍ර ඉගෙනීමේ ඇල්ගොරිතම එකවර බහු ක්‍රියාවලි වලින් (විභව භෞතික සේවාදායකයන් මත) එකම ගොනු වෙත ප්‍රවේශ වන බවයි. ගබඩා පද්ධතිය කාර්ය සාධනය සම්මුතියකින් තොරව සමගාමී ඉල්ලීම් හැසිරවිය යුතුය.

අඩු ප්‍රමාදයක්, ඉහළ ප්‍රතිදානයක් සහ මහා පරිමාණ සමාන්තර I/O හි කැපී පෙනෙන හැකියාවන් සමඟින්, Dell PowerScale GPU-වේගවත් පරිගණකකරණය සඳහා කදිම ගබඩා අනුපූරකයකි. බහු ටෙරාබයිට් දත්ත කට්ටල පුහුණු කරන සහ පරීක්ෂා කරන විශ්ලේෂණ ආකෘති සඳහා අවශ්‍ය කාලය PowerScale ඵලදායී ලෙස අඩු කරයි. PowerScale සියලු ෆ්ලෑෂ් ආචයනය තුළ, කලාප පළල 18 ගුණයකින් වැඩි වන අතර, I/O බාධක ඉවත් කරයි, සහ ව්‍යුහගත නොකළ දත්ත විශාල ප්‍රමාණයක අගය වේගවත් කිරීමට සහ අගුළු ඇරීමට දැනට පවතින Isilon පොකුරුවලට එකතු කළ හැක.

එපමනක් නොව, PowerScale හි බහු-ප්‍රොටෝකෝල ප්‍රවේශ හැකියාවන් මඟින් වැඩ බර ධාවනය සඳහා අසීමිත නම්‍යශීලී බවක් ලබා දෙයි, එක් ප්‍රොටෝකෝලය භාවිතයෙන් දත්ත ගබඩා කිරීමට සහ තවත් ප්‍රොටෝකෝලයක් භාවිතයෙන් ප්‍රවේශ වීමට ඉඩ සලසයි. විශේෂයෙන්, PowerScale වේදිකාවේ ප්‍රබල විශේෂාංග, නම්‍යශීලී බව, පරිමාණය සහ ව්‍යවසාය ශ්‍රේණියේ ක්‍රියාකාරීත්වය පහත අභියෝගවලට මුහුණ දීමට උපකාරී වේ:

- ආදර්ශ පුහුණු චක්‍රය අඩු කරමින් නවෝත්පාදනය 2.7 ගුණයකින් වේගවත් කරන්න.

- I/O බාධක ඉවත් කර වේගවත් ආකෘති පුහුණුව සහ වලංගුකරණය, වැඩිදියුණු කළ ආකෘති නිරවද්‍යතාවය, වැඩිදියුණු කළ දත්ත විද්‍යා ඵලදායිතාව සහ ව්‍යවසාය-ශ්‍රේණියේ විශේෂාංග, ඉහළ කාර්ය සාධනය, සමගාමීත්වය සහ පරිමාණය උපයෝගී කර ගනිමින් පරිගණක ආයෝජන සඳහා උපරිම ප්‍රතිලාභ ලබා දීම. තනි පොකුරක් තුළ ඵලදායි ගබඩා ධාරිතාව 119 PB දක්වා ඉහළ නැංවීමෙන් ගැඹුරු, ඉහළ-විභේදන දත්ත කට්ටල සමඟ ආකෘති නිරවද්‍යතාව වැඩි දියුණු කරන්න.

- කුඩා හා ස්වාධීනව පරිමාන ගණනය කිරීම් සහ ගබඩා කිරීම ආරම්භ කිරීමෙන්, ශක්තිමත් දත්ත ආරක්ෂණ සහ ආරක්ෂක විකල්ප ලබා දීමෙන් පරිමාණයෙන් යෙදවීම සාක්ෂාත් කර ගන්න.

- වේගවත්, අඩු අවදානම් යෙදවීම් සඳහා ස්ථානීය විශ්ලේෂණ සහ පූර්ව වලංගු විසඳුම් සමඟ දත්ත විද්‍යා ඵලදායිතාව වැඩි දියුණු කරන්න.

- NVIDIA GPU ත්වරණය සහ NVIDIA DGX පද්ධති සමඟ විමර්ශන ගෘහ නිර්මාණ ශිල්පය ඇතුළුව, හොඳම අභිජනන තාක්ෂණයන් මත පදනම් වූ ඔප්පු කළ සැලසුම් භාවිතා කිරීම. PowerScale හි ඉහළ කාර්ය සාධනය සහ සමගාමීත්වය දත්ත ලබා ගැනීමේ සහ සකස් කිරීමේ සිට ආදර්ශ පුහුණුව සහ අනුමාන දක්වා යන්ත්‍ර ඉගෙනීමේ සෑම අදියරකදීම ගබඩා කාර්ය සාධන අවශ්‍යතා සපුරාලයි. OneFS මෙහෙයුම් පද්ධතිය සමඟ එක්ව, සියලුම නෝඩ් වලට කාර්ය සාධන කළමනාකරණය, දත්ත කළමනාකරණය, ආරක්ෂාව සහ දත්ත ආරක්ෂණය වැනි ව්‍යවසාය මට්ටමේ විශේෂාංග සමඟින් එකම OneFS-ධාවන පොකුරක් තුළ බාධාවකින් තොරව ක්‍රියා කළ හැකිය, ව්‍යාපාර සඳහා ආදර්ශ පුහුණුව සහ වලංගුකරණය වේගයෙන් නිම කිරීමට හැකි වේ.