ಮುಂದೆ, FP32 ಸಂಚಯದೊಂದಿಗೆ FP16 ಮತ್ತು BF16 ಟೆನ್ಸರ್ ಥ್ರೋಪುಟ್‌ನಲ್ಲಿ ಬೃಹತ್ 2× ವೇಗವನ್ನು ಪ್ರದರ್ಶಿಸಿದ ಮತ್ತೊಂದು ಯೋಜನೆಯೊಂದಿಗೆ ನಾವು GeForce RTX 40-ಸರಣಿ “Ada Lovelace” ಅನ್ನು ಹೊಂದಿದ್ದೇವೆ. ಜಿಫೋರ್ಸ್ RTX 4090 ಅನ್ನು FP16 ಟೆನ್ಸರ್ ಥ್ರೋಪುಟ್ ಮತ್ತು ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಸಂಚಯದೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಿದಾಗ, GPU 165.6 TeraFLOPS ಅನ್ನು ಸಾಧಿಸಿತು, ಆದರೆ ಅನ್‌ಲಾಕ್ ಆ ಸಂಖ್ಯೆಯನ್ನು 331.6 TeraFLOPS ಗೆ ತಳ್ಳಿತು. ಈ ಕಂಪ್ಯೂಟೇಶನಲ್ ಕಾರ್ಯಕ್ಷಮತೆ ಸಂಖ್ಯೆಗಳು ಸಾಮಾನ್ಯವಾಗಿ NVIDIA RTX 6000 “Ada Lovelace” ನಂತಹ ಉನ್ನತ-ಮಟ್ಟದ ವೃತ್ತಿಪರ ವಿಭಾಗಕ್ಕೆ ಕಾಯ್ದಿರಿಸಲ್ಪಟ್ಟಿರುವುದರಿಂದ ಇದು ಕುತೂಹಲಕಾರಿಯಾಗಿದೆ. ಕಂಪ್ಯೂಟ್-ಸೆನ್ಸಿಟಿವ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರ ಮತ್ತು ಕ್ರೋಢೀಕರಣದಲ್ಲಿ AD102 ಸಿಲಿಕಾನ್‌ನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು NVIDIA ಕೃತಕವಾಗಿ ಸೀಮಿತಗೊಳಿಸಿದೆ ಎಂದು ತೋರುತ್ತದೆ, ಇದು ಚಾಲನೆಯಲ್ಲಿರುವ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ. ಈ ಅನ್‌ಲಾಕ್‌ಗಾಗಿ, AD102, AD103 ಮತ್ತು AD106 ಅನ್ನು ಅಧಿಕೃತವಾಗಿ ಅನ್‌ಲಾಕ್ ಮಾಡಲಾಗಿದೆ.
ಈ ಎರಡು ಪ್ರತ್ಯೇಕ GPU ಅನ್‌ಲಾಕ್‌ಗಳು ಸುಮಾರು ಏಕಕಾಲದಲ್ಲಿ ಕಾಣಿಸಿಕೊಂಡವು, ಒಂದನ್ನು GeForce RTX 30-ಸರಣಿ “ಆಂಪಿಯರ್” ಮತ್ತು ಇನ್ನೊಂದು GeForce RTX 40-ಸರಣಿ “Ada Lovelace” ಗಾಗಿ ಪ್ರದರ್ಶಿಸಲಾಯಿತು. ಎರಡೂ ಅನ್‌ಲಾಕ್‌ಗಳು NVIDIA ನ ಚಾಲಕ ತಪಾಸಣೆಗಳನ್ನು ಯಶಸ್ವಿಯಾಗಿ ರವಾನಿಸುತ್ತವೆ ಮತ್ತು PCIe ಫಂಕ್ಷನ್ ಲೆವೆಲ್ ರೀಸೆಟ್ (FLR), ರನ್ನಿಂಗ್ ಸ್ಟಾಕ್ NVIDIA ಡ್ರೈವರ್‌ಗಳು ಮತ್ತು CUDA ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ನಿರ್ವಹಿಸುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, ಅದೇ 450 W TGP ಬೋರ್ಡ್ ಪವರ್ ಅನ್ನು GA102 ಮತ್ತು AD102 ಎರಡರಲ್ಲೂ ಅನ್‌ಲಾಕ್ ಮಾಡುವ ಮೊದಲು ಮತ್ತು ನಂತರ ಬಳಸಲಾಗುತ್ತದೆ. ಸ್ಥಳೀಯ LLM ಗಳಂತಹ ಕಂಪ್ಯೂಟ್-ತೀವ್ರವಾದ ಕಾರ್ಯಗಳನ್ನು ನಡೆಸುತ್ತಿರುವವರಿಗೆ, ಸೇರಿಸಲಾದ ಕಂಪ್ಯೂಟ್ ಪವರ್ ಪ್ರಿಫಿಲ್ ಮತ್ತು ಡಿಕೋಡ್‌ನಲ್ಲಿ ಗಣನೀಯವಾಗಿ ಹೆಚ್ಚಿನ ಟೋಕನ್ ಥ್ರೋಪುಟ್‌ಗೆ ಕಾರಣವಾಗುತ್ತದೆ, ಇದು ಗ್ರಾಹಕರಿಗೆ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಆನಂದಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಯಾವುದೇ GPU ಮಾರ್ಪಾಡು ಖಾತರಿಯನ್ನು ರದ್ದುಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಬೂಟ್‌ನಲ್ಲಿ ಸಕ್ರಿಯಗೊಳಿಸಬೇಕು ಆದ್ದರಿಂದ NVIDIA ಡ್ರೈವರ್‌ಗಳು ಕಾರ್ಡ್ ಅನ್ನು ಕರ್ನಲ್‌ಗೆ ಬಂಧಿಸುವ ಮೊದಲು ಈ ಮೋಡ್‌ಗಳು ಬಂಧಿಸಲ್ಪಡುತ್ತವೆ ಎಂಬುದನ್ನು ಗಮನಿಸುವುದು ಮುಖ್ಯವಾಗಿದೆ.
09:20 UTC ನವೀಕರಿಸಿ: NVIDIA ನ GeForce RTX 20-ಸರಣಿ “ಟ್ಯೂರಿಂಗ್” ಅನ್ನು ಸಹ ಅದೇ ತಂತ್ರದಿಂದ ಅನ್‌ಲಾಕ್ ಮಾಡಲಾಗುತ್ತಿದೆ, ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು 2x ಹೆಚ್ಚಿಸುತ್ತದೆ.
