ترانسفورمرها و مدل‌های زبانی ژنومی

deep learning (یادگیری عمیق) شاخه‌ای از هوش مصنوعی است که با الهام از نحوه کار مغز انسان، از شبکه‌های عصبی چندلایه استفاده می‌کند تا بتواند الگوهای پیچیده را در داده‌های بزرگ شناسایی کند. این روش به کامپیوترها امکان می‌دهد بدون نیاز به برنامه‌نویسی مستقیم، از طریق یادگیری از داده‌های خام مثل تصویر، متن یا صدا، مسائل بسیار پیچیده را حل کنند. به همین دلیل، deep learning امروزه در زمینه‌هایی مثل ترجمه، تشخیص چهره، تحلیل ژنوم و حتی ساخت آثار هنری، نقش کلیدی دارد.

در سال‌های اخیر، deep learning تحولی عظیم در هوش مصنوعی ایجاد کرده است. این فناوری نه تنها می‌تواند به کامپیوترها کمک کند زبان انسان را بفهمند، بلکه حتی قادر است ساختار پیچیده پروتئین‌ها را تنها بر اساس توالی‌شان پیش‌بینی کند. اما دلیل اصلی موفقیت deep learning این است که این مدل‌ها می‌توانند حجم زیادی از داده‌های متنوع را دریافت و تجزیه و تحلیل کنند و هرچه داده و منابع محاسباتی بیشتری در اختیارشان قرار بگیرد، هوشمندتر و قدرتمندتر می‌شوند.

حالا تصور کنید در دنیای ژنومیک، ما با حجم عظیمی از داده‌ها سروکار داریم؛ داده‌هایی که از روش‌های پیشرفته آزمایشگاهی به دست آمده‌اند. این اطلاعات فوق‌العاده متنوع و پیچیده‌اند و به همین خاطر ابزارهای مبتنی deep learning تبدیل به گزینه‌ای عالی برای تحلیل این داده‌ها شده‌اند. یکی از کاربردهای جالب deep learning در ژنومیک، این است که می‌تواند تنها با بررسی توالی DNA، اطلاعاتی مثل جایگاه اتصال فاکتورهای رونویسی، سطح بیان ژن‌ها یا حتی نواحی تنظیم‌کننده مثل promoter و enhancerها را پیش‌بینی کند. برای این کار، معمولا از مدل‌هایی مثل convolutional neural network (CNN) (یک معماری از معماری‌های مبتنی بر deep learning) استفاده می‌شود، اما در سال‌های اخیر مدل‌های transformer هم به خاطر موفقیتشان در حوزه‌های دیگری مثل پردازش زبان طبیعی و بینایی کامپیوتر، وارد عرصه ژنومیک شده‌اند.

اصطلاحاتی مانند convolutional neural network یا transformer اشاره به معماری‌های مختلف deep learning دارد. دیپ لرنینگ یک اصلاح کلی است و زیر مجموعه‌های مختلفی دارد.

شاید جالب باشد بدانید که transformerها در ابتدا فقط برای حل مسائلی که نیاز به تبدیل یک توالی به توالی دیگر داشتند ساخته شده بودند (مانند ترجمه یک متن از یک زبان به زبان دیگر)، اما الان می‌توانند به راحتی در ژنومیک برای کارهای مختلفی مثل پیش‌بینی نتایج آزمایشگاهی یا حتی دسته‌بندی داده‌ها استفاده شوند. پیشرفت‌های کامپیوتری باعث شده transformerها نه تنها کارآمدتر شوند، بلکه با بزرگ‌تر شدن ابعادشان دقت پیش‌بینی‌هایشان هم بیشتر شود. در نتیجه، امروزه کاربرد transformerها در ژنومیک رشد چشمگیری پیدا کرده و حتی معماری‌های جدیدی طراحی شده‌اند که ادعا می‌کنند عملکرد بهتری از transformerها دارند.

در این مقاله، به طور مفصل درباره این موضوع صحبت می‌کنیم که deep learning و به طور خاص transformerها چطور ژنومیک را متحول کرده‌اند، چه کاربردها و موفقیت‌هایی داشته‌اند و چه چالش‌هایی سر راهشان وجود دارد. منظور از gLM یا genome Language Model چیست و چرا در بیولوژی و پزشکی اهمیت بالایی دارند. در تدوین این نوشته، از این مقاله منتشر شده در ژورنال Nature Machine Intelligence به عنوان رفرنس اصلی استفاده شده است. فرض بر این است که خواننده درک پایه‌ای از هوش مصنوعی و machine learning دارد. در صورتی که به این مباحث شناخت کافی ندارید، مجموعه مقالات و آموزش‌های رایگان متعددی در وبسایت دایا زیست فناوران منتشر شده است که توصیه می‌شود ابتدا به مطالعه آن‌ها بپردازید. به طور کلی این مقاله به تمامی علاقمندان به تلفیق هوش مصنوعی و بیولوژی توصیه می‌گردد. همچنین آموزش ویدئویی بررسی ترانسفورمرها و مدل‌های زبانی ژنومی نیز در بالای این مقاله و همچنین یوتیوب دایا زیست فناوران در دسترس است.

چرا deep learning در ژنومیک اهمیت دارد؟

جالب است بدانید که فقط حدود ۲ درصد از کل ژنوم انسان، کدهایی برای ساخت پروتئین‌ها را در خود دارد؛ بنابراین بخش عمده ژنوم ما، شامل نواحی غیرکدکننده است که هنوز عملکرد آن‌ها به طور کامل مشخص نیست. یکی از اهداف اصلی در ژنومیک این است که بفهمیم این نواحی غیرکدکننده، چگونه بیان ژن‌ها را کنترل می‌کنند. به عبارتی رمزگشایی «دستور زبان تنظیمی ژنوم» یک هدف دیرینه و مهم در ژنومیک است. این موضوع زمانی پیچیده‌تر می‌شود که این تعاملات ممکن است در شرایط محیطی، مراحل رشد یا انواع سلول‌ها متفاوت باشد. در این میان، deep learning یکی از ابزارهای مهم برای حل این معماست. چون شبکه‌های عصبی عمیق می‌توانند روابط پنهان و پیچیده‌ای را که در این نواحی وجود دارد، شناسایی کنند؛ به ویژه وقتی با حجم عظیمی از داده‌ها سروکار داریم و روابط خطی یا ساده به راحتی جوابگو نیستند.

مدل‌های deep learning در ژنومیک با چه داده‌هایی آموزش می‌بینند؟

ژنوم هر موجود زنده، در واقع مجموعه کامل توالی‌های DNA آن موجود است. با وجود این‌که فقط چهار نوع نوکلئوتید مختلف (A، T، G و C) داریم، همه اطلاعات لازم برای حیات، در زنجیره‌های پیوسته‌ای از DNA رمزگذاری شده‌اند. DNA ساختار دو رشته‌ای دارد؛ یعنی دو رشته مکمل که به هم متصل‌اند و در جهت مخالف خوانده می‌شوند. در موجودات پیچیده‌تر مثل انسان، DNA به شکل فشرده به دور پروتئین‌ها پیچیده و به صورت کروموزوم‌هایی با میلیون‌ها جفت باز بسته‌بندی می‌شود. هر کروموزوم هم شامل تعداد زیادی ژن است؛ ژن‌هایی که بخشی از DNA هستند و طی فرایند رونویسی (transcription) به RNA تبدیل می‌شوند. در این فرآیند، پروتئین‌های زیادی به ترتیب و نظم خاصی به ناحیه مربوطه جذب می‌شوند که این ترتیب معمولا توسط الگوهای خاصی از نوکلئوتیدها که به آن‌ها motif گفته می‌شود، مشخص می‌شود. این motifها معمولا در نواحی غیرکدکننده اطراف ژن‌ها قرار دارند. بعضی نواحی غیرکدکننده DNA هم وجود دارند که می‌توانند حتی روی ژن‌هایی که هزاران جفت باز با آن‌ها فاصله دارند، اثر بگذارند و نقش‌هایی مثل promoter، enhancer، silencer یا insulator ایفا کنند.

توالی DNA معمولا به صورت قطعه قطعه تعیین توالی می‌شود و سپس این قطعات برای گونه‌هایی که زیاد مطالعه شده‌اند، در کنار هم قرار گرفته و یک ژنوم مرجع ساخته و در بانک‌های داده‌ای عمومی مانند GenBank و RefSeq ذخیره می‌شوند. اما برای گونه‌هایی که کمتر بررسی شده‌اند، هنوز ژنوم کامل‌شان بازسازی نشده است. حجم عظیمی از توالی‌های کوتاه DNA را می‌توان در پایگاه‌هایی مثل Sequence Read Archive (SRA) پیدا کرد. علاوه بر این، داده‌های ژنومی دیگری هم وجود دارند که فقط محدود به توالی DNA نیستند و اطلاعات بیشتری مثل ساختار سه‌بعدی ژنوم یا وضعیت فعالیت رونویسی را نشان می‌دهند. همچنین آزمایش‌هایی مثل CRISPR هم وجود دارند که با دستکاری بخش‌هایی از DNA غیرکدکننده، مشخص می‌کنند کدام نواحی روی بیان ژن اثرگذارند و مثلا اگر آن ناحیه حذف یا غیرفعال شود، بیان ژن تغییر می‌کند.

زمانی که داده‌های توالی DNA قرار است وارد مدل deep learning شوند، معمولا به دو صورت تبدیل یا پیش‌پردازش می‌شوند: یا one-hot encoding، که یک رشته N تایی را به یک ماتریس ۴ در N تبدیل می‌کند (در هر موقعیت نشان می‌دهد کدام نوکلئوتید وجود دارد یا ندارد)، یا توکنیزاسیون (tokenization). استراتژی‌های توکنیزاسیون مختلفی وجود دارد: مثلا می‌توان هر نوکلئوتید را یک توکن در نظر گرفت، یا از k-mer استفاده کرد (یعنی هر توالی k تایی را یک واژه در نظر گرفت)، یا روش‌هایی مثل byte-pair encoding (BPE) را به کار برد که ترکیبات رایج‌تر نوکلئوتیدها را به صورت واژه‌های ژنومی با طول متغیر انتخاب می‌کند.

image credit: https://doi.org/10.1038/s42256-025-01007-9

genome Language Model

gLM یا genome Language Model نوعی مدل هوش مصنوعی است که با الهام از مدل‌های زبانی معروف مثل GPT، Gemini یا Claude، برای تحلیل و تفسیر توالی‌های ژنومی توسعه یافته است. این مدل‌ها با استفاده از روش یادگیری self-supervised، می‌توانند ساختارها، الگوهای پنهان و قواعد پیچیده موجود در DNA را کشف کنند. همین ویژگی باعث می‌شود gLMها بتوانند ارتباطات دور و نزدیک بین بخش‌های مختلف ژنوم را شناسایی کرده، عناصر تنظیمی را پیش‌بینی کنند، جهش‌های ژنتیکی را بررسی نمایند و حتی عملکرد نواحی ناشناخته ژنوم را روشن سازند. به همین دلیل، gLMها امروزه به یکی از ابزارهای کلیدی در پژوهش‌های ژنومیک و زیست‌پزشکی تبدیل شده‌اند و نقش مهمی در کشف‌های جدید علمی ایفا می‌کنند.

در این میان، معماری ترنسفورمر به‌عنوان قلب gLMها نقشی حیاتی دارد. دلیل برتری ترنسفورمر در مدل‌سازی داده‌های ژنومی، وجود مکانیزم attention است؛ قابلیتی که باعث می‌شود مدل بتواند روابط و وابستگی‌ها را میان تمام بخش‌های یک توالی DNA بدون توجه به فاصله نوکلئوتیدها به‌خوبی شناسایی کند. این ویژگی، ترنسفورمرها را از معماری‌هایی مانند RNN (که در شناسایی وابستگی‌های بلندمدت دچار مشکل هستند) و CNN (که فقط روابط محلی را می‌بینند) کاملا متمایز می‌کند. به همین خاطر، ترنسفورمرها با موفقیت در حوزه ژنومیک به‌کار گرفته شده‌اند و بستری قدرتمند برای توسعه gLMها فراهم کرده‌اند.

یکی از چالش‌های اساسی در ژنومیک این است که اغلب داده‌های DNA برچسب‌گذاری نشده‌اند. gLMها با بهره‌گیری از مرحله پیش‌آموزش (pretraining)، این مشکل را برطرف می‌کنند؛ به این صورت که مدل با مشاهده حجم زیادی از توالی‌های ژنومی بدون نیاز به برچسب انسانی، قادر است بازنمایی‌های کلی و قابل تعمیم از داده‌ها بسازد. این کار نه‌تنها سوگیری مدل را کاهش می‌دهد، بلکه عملکرد آن را در وظایف بعدی هم بهبود می‌بخشد. مزیت دیگر این رویکرد، توانایی مدل در انجام وظایف few-shot و zero-shot است؛ یعنی حتی زمانی که تنها تعداد کمی مثال یا حتی هیچ نمونه آموزشی برای یک مسئله خاص وجود نداشته باشد، مدل می‌تواند عملکرد خوبی ارائه دهد. این قابلیت‌ها برای زیست‌شناسان ژنومیک که اغلب با داده‌های محدود یا نمونه‌های نادر سروکار دارند، اهمیت ویژه‌ای دارد و امکان کشف قواعد جدید در ژنوم را نیز فراهم می‌کند.

ترانسفورمرها در ژنومیک

برای اینکه بفهمیم چرا ترنسفورمرها در مدل‌سازی داده‌های ژنومی اینقدر مهم هستند، باید معماری و نحوه آموزش آن‌ها را بشناسیم. البته پرداختن به جزئیات ترانسفورمر در اینجا از حوصله خارج بوده و مبانی ریاضی و محاسبات در نظر گرفته نخواهند شد. به طور کلی، ترانسفورمرها نوعی شبکه عصبی عمیق هستند که مکانیزمی به نام self-attention دارند. این بخش به مدل کمک می‌کند تا روابط بین هر قسمت از توالی DNA را، بدون توجه به فاصله نوکلئوتیدها، به‌خوبی شناسایی کند؛ قابلیتی که مدل‌های قدیمی‌تر مثل RNN یا CNN ندارند.

سه نوع اصلی از معماری ترانسفورمر وجود دارد:

• Encoder-only (مانند BERT): می‌تواند از کل توالی DNA، اطلاعات را از هر دو جهت (قبل و بعد از هر نقطه) دریافت کند. این مدل برای طبقه‌بندی و شناسایی ویژگی‌های توالی‌ها عالی است.
• Decoder-only (مانند GPT): فقط از سمت قبل به بعد اطلاعات را در نظر می‌گیرد و برای پیش‌بینی توالی بعدی مناسب است، مثل ساخت یا شبیه‌سازی توالی‌های جدید.
• معماری‌های اولیه‌تر که هر دو قسمت را با هم دارند (encoder-decoder).

آموزش (Training)

ترنسفورمرها معمولا ابتدا روی داده‌های بدون برچسب (unlabeled) و با هدف یادگیری کلی از ساختار ژنوم آموزش می‌بینند (pretraining). دو روش اصلی پیش‌آموزش:

• MLM (Masked Language Modeling): بخشی از توالی DNA را مخفی می‌کنیم و مدل باید حدس بزند جای خالی چیست. این روش باعث می‌شود مدل روابط دوطرفه را یاد بگیرد.
• ALM (Autoregressive Language Modeling): مدل یاد می‌گیرد همیشه توالی بعدی را فقط بر اساس اطلاعات قبلی پیش‌بینی کند (یادگیری یکطرفه). این روش برای شبیه‌سازی و تولید توالی جدید مناسب است.

image credit: https://doi.org/10.1038/s42256-025-01007-9

بعد از پیش‌آموزش، مدل را با داده‌های هدف‌دار و کوچک‌تر (مثلا فقط یک نوع خاص ژن یا ویژگی خاص) آموزش می‌دهند (fine-tuning) تا دقیقا برای همان کاربرد تنظیم شود.

ترکیب این دو مرحله باعث می‌شود مدل اولا از حجم عظیمی داده ژنومیک الگو بگیرد و ثانیا با داده‌های اندک و خاص به بهترین شکل روی کاربرد هدف عمل کند. این روش کمک می‌کند حتی با داده‌های برچسب‌خورده کم، مدل‌های دقیق بسازیم و کاربردهای مختلفی مثل پیش‌بینی ویژگی‌های ژنتیکی یا کشف ساختارهای مهم ژنومی داشته باشیم. البته باید مدنظر داشت که تنها ترانسفورمر یک معماری قدرتمند برای ایجاد مدل‌های زبانی ژنومیکی نیست.

image credit: https://doi.org/10.1038/s42256-025-01007-9

معماری‌های پیشرفته‌تر از ترانسفورمر: SSM و مدل‌های جدید

با وجود قدرت ترانسفورمرها، این مدل‌ها برای تحلیل توالی‌های بسیار بلند ژنومی به دلیل هزینه محاسباتی و نیاز زیاد به حافظه، محدودیت دارند. برای رفع این مشکل، نسل جدیدی از معماری‌ها معرفی شده‌اند که مهم‌ترین آن‌ها مبتنی بر State Space Model یا به اختصار SSM است.

SSM در اصل برای مدل‌سازی داده‌های دنباله‌ای (مثل سیگنال‌ها یا سری‌های زمانی) طراحی شده بود و ایده‌ آن این است که با استفاده از یک سری متغیر پنهان (state)، بتواند وضعیت هر لحظه از سیستم را خلاصه کند. در عمل، SSM هر ورودی (مثل یک قطعه DNA) را به یک فضای پنهان می‌برد و بر اساس آن، پیش‌بینی مورد نظر را انجام می‌دهد. جالب است بدانید شبکه‌های عصبی بازگشتی (RNN) نسخه ساده‌تری از همین ایده SSM هستند.

در مقایسه با ترانسفورمر، SSMها به گونه‌ای توسعه یافته‌اند که هم آموزش موازی و هم پیش‌بینی بسیار سریع‌تری داشته باشند، بدون اینکه دقت مدل کاهش پیدا کند. یک نوع پیشرفته از این مدل‌ها Selective SSM نام دارد که نمونه معروف آن Mamba است. Mamba با روش «فراموشی انتخابی» برای هر ورودی به طور هوشمند تعیین می‌کند که چه اطلاعاتی را نگه دارد و چه اطلاعاتی را حذف کند. به همین دلیل، هم سرعت و هم مقیاس‌پذیری بالایی دارد و می‌تواند با هزینه بسیار کمتر، توالی‌های خیلی بلند ژنومی را مدل کند.

مدل دیگری که اخیرا مطرح شده، Hyena است. Hyena هم بر پایه مفاهیم SSM توسعه یافته و تلاش می‌کند با رویکردی جدید، اطلاعات و وابستگی‌های ژنومی را در ابعاد خیلی بزرگ و با سرعت بالا تحلیل کند. Hyena نسبت به ترنسفورمر، امکان بررسی توالی‌های بسیار طولانی‌تر را دارد و هزینه محاسباتی آن هم به‌مراتب کمتر است.

در حال حاضر، Mamba و Hyena دو نمونه اصلی از معماری‌های پیشرفته هستند که به طور جدی روی داده‌های ژنومی آزمایش شده‌اند. اگر این روند ادامه پیدا کند، انتظار می‌رود این مدل‌های جدید بتوانند محدودیت‌های ترنسفورمر را در ژنومیک پشت سر بگذارند و باعث پیشرفت چشمگیر در مدل‌سازی توالی‌های بسیار بلند DNA شوند. این پیشرفت می‌تواند راه را برای تحلیل دقیق‌تر ژنوم و کشف‌های جدید در زیست‌شناسی باز کند.

image credit: https://doi.org/10.1038/s42256-025-01007-9

جمع‌بندی

مدل‌های زبانی بیولوژیکی، یکی از جذاب‌ترین رویکردها در تلفیق هوش مصنوعی و بیولوژی است. با توجه به ناشناخته‌های بسیار در دنیای بیولوژی و داده‌های بزرگ و وسیعی که در آزمایشگاه به دست می‌آیند، هوش مصنوعی می‌تواند یک ابزار موثر به منظور درک بهتر پدیده‌های بیولوژیکی باشد. از آن‌جا که این فیلد بسیار جدید و رو به رشد است و افراد کمی وارد آن شده‌اند، می‌توانید با یک سرمایه‌گذاری متمرکز آموزشی خود را برای دنیای جدید آماده کنید. پیشنهاد ما برای شروع یادگیری مفاهیم هوش مصنوعی، این آموزش است. همچنین اگر قصد دارید مدل‌های زبانی را بهتر درک کنید، این آموزش رایگان نیز پیشنهاد می‌شود.