این واژه مخفف «ترانسفورمر تولیدگر از پیش آموزش دیده» (Generative Pre-trained Transformer) است؛ چت جی‌پی‌تی در اصل یک برنامه رایانه‌ای مبتنی بر هوش مصنوعی است که مکالمات متنی تولید می‌کند. در واقع هر سوالی از آن بپرسید، چت جی‌پی‌تی بسیار طبیعی و همچون یک انسان برایتان یک متن آماده می‌کند و تحویل می‌دهد.
از نظر فنی‌تر اما اگر بخواهیم بگوییم، این ابزار مبتنی بر یک «مدل زبان» است. به این معنی که از مقادیر باورنکردنی از داده‌های متنی (نظیر کتاب‌ها، مقالات خبری و صفحات وب) تغذیه می‌کند و از آنها نحوه جمله‌سازی را می‌آموزد. وقتی یاد گرفت، آن وقت می‌تواند همان اطلاعات را دسته‌بندی کرده و به شما برگرداند.
بدین ترتیب «ترانسفورمر تولیدگر از پیش آموزش‌دیده» اصطلاحی است که ویژگی‌های کلیدی معماری مدل زبان را توصیف می‌کند و اگر آن را بشکنیم می‌توانیم بهتر مفهومش را درک کنیم:
۱. تولیدگر: در مبحث پردازش زبان طبیعی، تولیدگر به این معنی است که مدل قادر به تولید متن جدیدی است که شبیه به زبان انسان باشد. این متن جدید می‌تواند شامل جمله‌ها، پاراگراف‌ها و یا عبارت‌های طولانی‌تر منسجم و مناسب باشد.
۲. از پیش آموزش‌دیده: این عبارت به مرحله اولیه آموزش‌دهی مدل زبانی اشاره دارد. در طول این پروسه، مدل زبانی با استفاده از مجموعه بزرگی از متون اینترنتی یا منابع دیگری که در اختیار دارد یاد می‌گیرد کلمه بعدی در یک جمله را بر اساس کلمات قبلی پیش‌بینی کند.
این فرآیند مدل را قادر می سازد تصویرسازی درستی از الگوهای آماری و روابط موجود بین داده‌ها داشته باشد.
۳. ترانسفورمر: این کلمه اشاره به نوع خاصی از معماری یادگیری عمیق دارد. این معماری با استفاده از سازوکارهایی که از آن برخوردار است مدل را قادر می‌سازد تا به هنگام تولید خروجی، اهمیت کلمات مختلف در ورودی را بسنجد و در نظر بگیرد.
ترانسفورمرها به دلیل توانایی‌شان در مدیریت داده و و قابلیت موازی‌سازی‌شان در پردازش زبان طبیعی محبوب شده‌اند.
