معلومة

تدريب الشبكة العصبية البيولوجية للأطفال

تدريب الشبكة العصبية البيولوجية للأطفال


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

إنني قلق من حقيقة أن الأطفال لا يستطيعون المشي لأن عضلات أطرافهم لم تتطور ومضبوطة لإعطاء التحكم في الاتجاه ، يستغرق الأمر سنوات قبل أن يكتسب الأطفال القدرة على الحركة والبراعة. لذلك ، من الناحية الفنية ، تتطلب الشبكات العصبية في القشرة الحركية سنوات من التدريب قبل تحقيق هذه القدرة.

ومع ذلك ، عندما يولد الأطفال ، فإنهم لا يحتاجون إلى تدريب عضلات العين للتحكم في اتجاه مقل عيونهم (وهي مشكلة صعبة للغاية من الناحية الحسابية بسبب درجة عالية من الحرية مقارنة بحركة المفصلات). هل تأتي الشبكة العصبية البيولوجية للعضلات الإطباقية مدربة مسبقًا بينما تأتي الشبكة العصبية لعضلات الأطراف غير مدربة بالولادة؟


تعمل الخلايا العصبية البيولوجية بطريقة مختلفة تمامًا ، مقارنةً بالشبكات العصبية الاصطناعية المبسطة للتعلم الآلي. على سبيل المثال ، انظر كيف تعمل الخلايا العصبية الحقيقية وكيف تتواصل مع بعضها البعض. أنواع الخلايا العصبية نفسها متنوعة للغاية: "... الخلايا العصبية تتخذ أشكالًا متخصصة مثل أحادية القطب ، ثنائية القطب ، متعددة الأقطاب ، متناهية الصغر ، pseudounipolar ، خلايا سلة ، خلايا بوركينجي ، خلايا لوغارو ، خلايا مغزل وأكثر."
بالنسبة للعينين ، يمر الضوء عبر شبكة كبيرة من الخلايا العصبية قبل أن يصطدم بالقضيب والخلايا المخروطية. إنه عكس شبكية الأخطبوط. يستطيع أطفال الحيوانات تعلم المشي أسرع بكثير من الأطفال. ألقِ نظرة أيضًا على مقاطع فيديو حول كيفية تعلم الأطفال المكفوفين المشي.

لذلك بشكل أساسي ، هناك الكثير مما يجري في تكوين وعمل الجسم البشري أكثر من مجرد "تدريب الشبكة العصبية". تعطي ورقة بحثية لطيفة بعنوان "الحقائق والشذوذ" منظورًا لهذا التعقيد.

لا أحد يفهم تمامًا كيف يعمل نظام الخلايا والتوازن. إنه معقد للغاية ومتعدد الأبعاد. عندما تنظر إلى التعقيد داخل خلية واحدة وسلسلة نقل الإلكترون ، ستلاحظ أن هناك الكثير من الأشياء المبرمجة مسبقًا والمصممة بالفعل للاستفادة من الخصائص الجزيئية للطبيعة لإنشاء الهياكل و المحركات باستخدام توازن الخصائص الكيميائية. عندما يتم إنشاء مثل هذا التوازن ، يمكن أن يحدث التطور والتكيف ، ولكن فقط بطريقة محكمة للغاية. لذلك لا أعتقد أن الشبكة العصبية للطفل تتدرب على المشي أو الرؤية. لقد تم تدريبه مسبقًا من ملايين السنين من التطور. ربما يكون السبب في أن الأمر قد يستغرق بعض الوقت لتنضج ، هو أن الخلايا العصبية المقابلة في الدماغ تستغرق بعض الوقت لتتكون وتنمو وتجد طريقها في الدماغ لتشكيل المشابك العصبية الصحيحة.


يبدأ بعض الأطفال في المشي من عمر 12 إلى 15 شهرًا ، لذلك لم يمض عليهم سنوات بالضبط قبل أن يتمكنوا من القيام بذلك. يمكنهم أيضًا فهم الأشياء بأيديهم منذ الولادة. عندما ولدوا لأول مرة ما زالوا لا يملكون ممتلىء التحكم في العين ، وخاصة لا يمكن التركيز إلا على الأجسام المتناقضة بشدة. إذا كنت تشاهد مولودًا جديدًا ، فغالبًا ما تتحرك عيونهم من مكان إلى آخر ، حتى عندما يكون وجه أحد الوالدين مرئيًا.

بالنسبة لسبب عدم امتلاكهم الكثير من التحكم في العضلات ، فقط فكر في ظروفهم - لقد أمضوا الأشهر التسعة السابقة في رحم ضيق للغاية ، مع عدم وجود أي مساحة للتحرك وعدم وجود فرصة لتمديد أرجلهم بالكامل عندما '' إعادة في الفصل الثالث ويزداد حجمها بسرعة كبيرة. لا يعني ذلك أن شبكاتهم العصبية للتحكم في العضلات لم يتم تدريبها على الإطلاق ، فهم لم يتم تدريبهم إلى أقصى مدى حتى الآن. تكون العيون أكثر تدريباً قليلاً ، لأن الضوء يمكن أن يخترق داخل الرحم ، خاصة في المراحل الأخيرة من الحمل عندما يكون جلد بطن الأم مشدودًا ، ولديهم الكثير من الفرص لتحريك أعينهم ، حتى لو لم يكن لديهم شيء. التركيز تشغيل.


المشي هو أكثر من مجرد تحريك أرجل قوية في حركة مفصلية. حول تنسيق جميع عضلات ساقيك وعضلات جذعك. يمتلك الأطفال غرائز تخبرهم كيفية تنسيق جميع حركات العضلات للرضاعة ، لكن لا يزال يتعين عليهم ممارسة جميع حركات العضلات لتناول الطعام (ومرة أخرى ، أثناء تعلم تنسيق جميع عضلات الجذع من أجل الجلوس). حركات العين أبسط بكثير.


يتنبأ التعلم الآلي بسلوك الدوائر البيولوجية

ابتكر مهندسو الطب الحيوي في جامعة ديوك نهج التعلم الآلي لنمذجة التفاعلات بين المتغيرات المعقدة في البكتيريا المهندسة والتي كانت لولا ذلك ستكون مرهقة للغاية بحيث لا يمكن التنبؤ بها. خوارزمياتهم قابلة للتعميم على أنواع كثيرة من الأنظمة البيولوجية.

في الدراسة الجديدة ، قام الباحثون بتدريب شبكة عصبية للتنبؤ بالأنماط الدائرية التي سيتم إنشاؤها بواسطة دائرة بيولوجية مدمجة في ثقافة بكتيرية. عمل النظام أسرع بـ 30 ألف مرة من النموذج الحسابي الحالي.

لزيادة تحسين الدقة ، ابتكر الفريق طريقة لإعادة تدريب نموذج التعلم الآلي عدة مرات لمقارنة إجاباتهم. ثم استخدموها لحل نظام بيولوجي ثان يتطلب حسابًا بطريقة مختلفة ، مما يدل على أن الخوارزمية يمكن أن تعمل مع تحديات متباينة.

تظهر النتائج على الإنترنت يوم 25 سبتمبر في المجلة اتصالات الطبيعة.

قال Lingchong You ، أستاذ الهندسة الطبية الحيوية في Duke: "هذا العمل مستوحى من Google التي أظهرت أن الشبكات العصبية يمكن أن تتعلم التغلب على الإنسان في لعبة اللوحة Go".

لقد قلت: "على الرغم من أن اللعبة تحتوي على قواعد بسيطة ، إلا أن هناك احتمالات كثيرة جدًا لجهاز الكمبيوتر لحساب الخيار التالي الأفضل بشكل حاسم". "تساءلت عما إذا كان مثل هذا النهج يمكن أن يكون مفيدًا في التعامل مع جوانب معينة من التعقيد البيولوجي التي تواجهنا."

كان التحدي الذي يواجهك أنت وزميله ما بعد الدكتوراه Shangying Wang هو تحديد مجموعة المعلمات التي يمكن أن تنتج نمطًا معينًا في ثقافة البكتيريا بعد دائرة الجينات المهندسة.

في العمل السابق ، تمت برمجة بكتيريا مختبرك لإنتاج بروتينات تتفاعل مع بعضها البعض ، اعتمادًا على خصائص نمو الثقافة ، لتشكيل حلقات. من خلال التحكم في المتغيرات مثل حجم بيئة النمو وكمية العناصر الغذائية المقدمة ، وجد الباحثون أنهم يستطيعون التحكم في سمك الحلقة والمدة التي استغرقتها للظهور وغيرها من الخصائص.

من خلال تغيير أي عدد من عشرات المتغيرات المحتملة ، اكتشف الباحثون أن بإمكانهم فعل المزيد ، مثل التسبب في تكوين حلقتين أو حتى ثلاث حلقات. ولكن نظرًا لأن محاكاة كمبيوتر واحدة استغرقت خمس دقائق ، فقد أصبح من غير العملي البحث في أي مساحة تصميم كبيرة عن نتيجة محددة.

بالنسبة لدراستهم ، يتكون النظام من 13 متغيرًا بكتيريًا مثل معدلات النمو والانتشار وتدهور البروتين والحركة الخلوية. فقط لحساب ست قيم لكل معلمة سيستغرق جهاز كمبيوتر واحد أكثر من 600 عام. قد يؤدي تشغيله على مجموعة كمبيوتر موازية مع مئات العقد إلى تقليل وقت التشغيل هذا إلى عدة أشهر ، لكن التعلم الآلي يمكن أن يخفضه إلى ساعات.

قال يو يو: "النموذج الذي نستخدمه بطيء لأنه يجب أن يأخذ في الاعتبار الخطوات الوسيطة في الوقت المناسب بمعدل صغير بما يكفي ليكون دقيقًا". "لكننا لا نهتم دائمًا بالخطوات الوسيطة. نريد فقط النتائج النهائية لتطبيقات معينة. ويمكننا (العودة إلى) اكتشاف الخطوات الوسيطة إذا وجدنا أن النتائج النهائية مثيرة للاهتمام."

للتخطي إلى النتائج النهائية ، لجأ وانج إلى نموذج التعلم الآلي المسمى بالشبكة العصبية العميقة التي يمكنها بشكل فعال إصدار تنبؤات بأحجام أسرع من النموذج الأصلي. تأخذ الشبكة متغيرات النموذج كمدخلات لها ، وتعين مبدئيًا أوزانًا وتحيزات عشوائية ، وتبث توقعًا للنمط الذي ستتشكله المستعمرة البكتيرية ، متخطية تمامًا الخطوات الوسيطة المؤدية إلى النمط النهائي.

في حين أن النتيجة الأولية ليست قريبة من الإجابة الصحيحة في أي مكان ، يمكن تعديل الأوزان والتحيزات في كل مرة حيث يتم إدخال بيانات التدريب الجديدة في الشبكة. بالنظر إلى مجموعة "تدريب" كبيرة بما يكفي ، ستتعلم الشبكة العصبية في النهاية إجراء تنبؤات دقيقة في كل مرة تقريبًا.

للتعامل مع الحالات القليلة التي يخطئ فيها التعلم الآلي ، توصلت أنت ووانغ إلى طريقة للتحقق بسرعة من عملهما. لكل شبكة عصبية ، تحتوي عملية التعلم على عنصر العشوائية. بمعنى آخر ، لن يتعلم بنفس الطريقة مرتين أبدًا ، حتى لو تم تدريبه على نفس مجموعة الإجابات.

قام الباحثون بتدريب أربع شبكات عصبية منفصلة وقارنوا إجاباتهم لكل حالة. ووجدوا أنه عندما تقوم الشبكات العصبية المدربة بعمل تنبؤات مماثلة ، فإن هذه التنبؤات كانت قريبة من الإجابة الصحيحة.

"لقد اكتشفنا أنه لا يتعين علينا التحقق من صحة كل إجابة باستخدام النموذج الحسابي القياسي الأبطأ ،" قال يو. "لقد استخدمنا أساسًا" حكمة الحشد "بدلاً من ذلك".

مع نموذج التعلم الآلي الذي تم تدريبه وتأكيده ، شرع الباحثون في استخدامه لاكتشافات جديدة حول دائرتهم البيولوجية. في أول 100000 محاكاة بيانات مستخدمة لتدريب الشبكة العصبية ، أنتجت واحدة فقط مستعمرة بكتيرية بثلاث حلقات. ولكن مع سرعة الشبكة العصبية ، لم تكن أنت ووانغ قادرين على العثور على العديد من التوائم الثلاثة فحسب ، بل تمكنا أيضًا من تحديد المتغيرات التي كانت حاسمة في إنتاجهم.

قال وانج: "كانت الشبكة العصبية قادرة على إيجاد أنماط وتفاعلات بين المتغيرات التي كان من المستحيل الكشف عنها لولا ذلك".

في ختام دراستهم ، جربت أنت ووانغ نهجهم على نظام بيولوجي يعمل بشكل عشوائي. يتطلب حل مثل هذه الأنظمة أن يكرر نموذج الكمبيوتر نفس المعلمات عدة مرات للعثور على النتيجة الأكثر احتمالية. في حين أن هذا سبب مختلف تمامًا لأوقات التشغيل الحسابية الطويلة عن نموذجهم الأولي ، وجد الباحثون أن نهجهم لا يزال يعمل ، مما يدل على أنه قابل للتعميم على العديد من الأنظمة البيولوجية المعقدة المختلفة.

يحاول الباحثون الآن استخدام نهجهم الجديد في الأنظمة البيولوجية الأكثر تعقيدًا. إلى جانب تشغيله على أجهزة الكمبيوتر المزودة بوحدات معالجة رسومات أسرع ، فإنهم يحاولون برمجة الخوارزمية لتكون فعالة قدر الإمكان.

قال وانغ: "لقد دربنا الشبكة العصبية باستخدام 100000 مجموعة بيانات ، لكن ربما كان ذلك مبالغة". "نحن نطور خوارزمية حيث يمكن للشبكة العصبية التفاعل مع عمليات المحاكاة في الوقت الفعلي للمساعدة في تسريع الأمور."

قال أنت: "كان هدفنا الأول نظامًا بسيطًا نسبيًا". "نريد الآن تحسين أنظمة الشبكات العصبية هذه لتوفير نافذة على الديناميكيات الأساسية للدوائر البيولوجية الأكثر تعقيدًا."

تم دعم هذا العمل من قبل مكتب البحوث البحرية (N00014-12-1-0631) والمعاهد الوطنية للصحة (1R01-GM098642) وزمالة ديفيد ولوسيل باكارد.


التعلم الآلي مقابل الإحصاء

الحدود بين التعلم الآلي والإحصاءات غامضة. بعض الطرق مشتركة لكلا المجالين ويمكن استخدام أي منهما للتنبؤ والاستدلال. ومع ذلك ، فإن التعلم الآلي والإحصاء لهما بؤر أو تنبؤ أو استدلال مختلف [3]. بشكل عام ، تعتمد الأساليب الإحصائية الكلاسيكية على افتراضات حول أنظمة توليد البيانات. يمكن أن توفر الإحصائيات استنتاجات واضحة من خلال ملاءمة نموذج احتمالية محدد عندما يتم جمع بيانات كافية من دراسات جيدة التصميم. يهتم التعلم الآلي بمسألة إنشاء وتطبيق الخوارزميات التي تتحسن بالتجربة. يمكن للعديد من أساليب التعلم الآلي اشتقاق نماذج للتعرف على الأنماط والتصنيف والتنبؤ من البيانات الموجودة ولا تعتمد على افتراضات صارمة حول أنظمة توليد البيانات ، مما يجعلها أكثر فاعلية في بعض التطبيقات المعقدة ، كما هو موضح بالتفصيل أدناه ، ولكنها أقل فعالية في إنتاج نماذج صريحة ذات أهمية بيولوجية ، في بعض الحالات [3].


يؤسس التعلم العميق على شبكات الإشارات الخلوية الذكاء الاصطناعي لبيولوجيا الخلية الواحدة

مخطط مفاهيمي للشبكات العصبية المهيأة للمعرفة (KPNNs). KPNNs هي شبكات عصبية اصطناعية يعتمد هيكلها على المعرفة البيولوجية ، وبالتالي تمكين التعلم العميق القابل للتفسير على الشبكات البيولوجية. الائتمان: نيكولاس فورتيلني / CeMM

عادةً ما يشار إلى أنظمة الكمبيوتر التي تحاكي الجوانب الرئيسية لحل المشكلات البشرية باسم الذكاء الاصطناعي (AI). شهد هذا المجال تقدمًا هائلاً خلال السنوات الماضية. وعلى وجه الخصوص ، مكّن التعلم العميق من تحقيق تقدم رائد في مجالات مثل السيارات ذاتية القيادة ، وأجهزة الكمبيوتر التي تفوقت على أفضل اللاعبين البشريين في الألعاب الإستراتيجية (Go ، الشطرنج) ، وألعاب الكمبيوتر ، وفي البوكر ، والتطبيقات الأولية في الطب التشخيصي. يعتمد التعلم العميق على الشبكات العصبية الاصطناعية - شبكات من الوظائف الرياضية التي يتم إعادة تنظيمها بشكل متكرر حتى يتم تعيين البيانات التي تصف مشكلة معينة لحلها بدقة.

في علم الأحياء ، أثبت التعلم العميق نفسه كطريقة قوية للتنبؤ بالأنماط الظاهرية (أي الخصائص التي يمكن ملاحظتها للخلايا أو الأفراد) من بيانات الجينوم (على سبيل المثال ملفات تعريف التعبير الجيني). عادة ما يكون التعلم العميق طريقة "الصندوق الأسود": الشبكات العصبية هي تنبؤات قوية للغاية عندما يتم تزويدها ببيانات تدريب كافية. على سبيل المثال ، تم استخدامها للتنبؤ بنوع الخلية من ملفات تعريف التعبير الجيني ، وهياكل البروتين من بيانات تسلسل الحمض النووي. لكن الشبكات العصبية القياسية لا يمكنها تفسير العلاقة المكتسبة بين المدخلات والمخرجات بطريقة مفهومة من قبل الإنسان. لهذا السبب ، لم يساهم التعلم العميق حتى الآن كثيرًا في تطوير فهمنا الآلي للوظائف الجزيئية داخل الخلايا.

لمعالجة هذا النقص في القابلية للتفسير ، تابع زميل ما بعد الدكتوراة في CeMM نيكولاس فورتيلني والباحث الرئيسي في CeMM كريستوف بوك فكرة إجراء التعلم العميق مباشرة على الشبكات البيولوجية ، بدلاً من الشبكات العصبية الاصطناعية العامة والمتصلة بالكامل والمستخدمة في التعلم العميق التقليدي. لقد أنشأوا "شبكات عصبية معرّفة" (KPNNs) تعتمد على مسارات الإشارات وشبكات تنظيم الجينات. في KPNNs ، تتوافق كل عقدة مع بروتين أو جين ، ولكل حافة تفسير بيولوجي ميكانيكي (على سبيل المثال ، ينظم البروتين A التعبير عن الجين B).

مخطط تفصيلي للطريقة: تقوم الشبكات العصبية الاصطناعية بتحويل المدخلات (X) إلى مخرجات (Y) ، على سبيل المثال بيانات التعبير الجيني (X) إلى أنماط ظاهرية (Y) بدقة تنبؤ عالية. تدمج شبكات KPNN معرفة الشبكات البيولوجية في التعلم العميق ، مما يتيح إمكانية التفسير فيما يعد خوارزمية الصندوق الأسود. الائتمان: نيكولاس فورتيلني / CeMM

أظهر باحثو CeMM في دراستهم الجديدة المنشورة في بيولوجيا الجينوم أن التعلم العميق على الشبكات البيولوجية ممكن تقنيًا ومفيد عمليًا. من خلال إجبار خوارزمية التعلم العميق على البقاء بالقرب من عمليات تنظيم الجينات التي تم ترميزها في الشبكة البيولوجية ، تنشئ شبكات KPNN جسرًا بين قوة التعلم العميق ومعرفتنا المتزايدة وفهمنا للأنظمة البيولوجية المعقدة. نتيجة لذلك ، يوفر النهج رؤى ملموسة للأنظمة البيولوجية التي تم فحصها ، مع الحفاظ على أداء التنبؤ العالي. تستخدم هذه المنهجية الجديدة القوية نهجًا محسنًا للتعلم العميق ، والذي يعمل على تثبيت أوزان العقد في وجود التكرار ، ويعزز التفسير الكمي لأوزان العقد ، وضوابط الاتصال غير المتكافئ الملازم للشبكات البيولوجية.

أظهر باحثو CeMM طريقة KPNN الجديدة الخاصة بهم على مجموعات بيانات كبيرة وحيدة الخلية ، بما في ذلك خلاصة وافية من 483،084 نسخة أحادية الخلية للخلايا المناعية أنشأها اتحاد أطلس الخلية البشرية. في مجموعة البيانات هذه ، اكتشف العلماء تنوعًا غير متوقع في الشبكات التنظيمية التي تحدد نوع الخلايا بين الخلايا المناعية من نخاع العظام ودم الحبل السري.

تجمع طريقة KPNN بين القوة التنبؤية للتعلم العميق وقدرتها على استنتاج مستويات النشاط عبر طبقات مخفية متعددة مع قابلية التفسير الوظيفي للشبكات البيولوجية. تعد KPNNs مفيدة بشكل خاص لبيانات تسلسل الحمض النووي الريبي أحادية الخلية ، والتي يتم إنشاؤها على نطاق واسع باستخدام فحوصات التسلسل أحادية الخلية. علاوة على ذلك ، فإن KPNNs قابلة للتطبيق على نطاق واسع في مجالات أخرى من علم الأحياء والطب الحيوي حيث يمكن تمثيل المعرفة السابقة ذات الصلة كشبكات.

ستكون التنبؤات والرؤى البيولوجية التي حصلت عليها KPNNs مفيدة في تشريح إشارات الخلايا وتنظيم الجينات في الصحة والمرض ، لتحديد أهداف الأدوية الجديدة ، ولاشتقاق فرضيات بيولوجية قابلة للاختبار من بيانات تسلسل الخلية الواحدة. بشكل عام ، توضح الدراسة التأثير المستقبلي للذكاء الاصطناعي والتعلم العميق على علم الأحياء الآلي حيث يتعلم المجتمع العلمي كيفية جعل نتائج الذكاء الاصطناعي قابلة للتفسير بيولوجيًا.


البحث في معالجة أجهزة الاستشعار (1960 و 1970 & # x27s)

عمل الدكتور هوبل والدكتور ويزل في مجال المعالجة الحسية. حيث أدخلوا قطبًا كهربائيًا صغيرًا في المرحلة الأولية القشرة البصرية قطة مخدرة جزئيًا حتى لا تتمكن من الحركة وعرض صور خط بزوايا مختلفة على القطة.

من خلال الإلكترودات الدقيقة وجدوا أن بعض الخلايا العصبية تنشط بسرعة كبيرة من خلال مراقبة الخطوط من زوايا محددة ، بينما تستجيب الخلايا العصبية الأخرى بشكل أفضل للخطوط عند زوايا مختلفة. استجابت بعض هذه الخلايا العصبية لأنماط الضوء والظلام بشكل مختلف ، بينما استجابت الخلايا العصبية الأخرى لاكتشاف الحركة في اتجاه معين.

هذا العمل أساسي لمفهوم CNN.

أين يقع Visual Cortex في دماغ الإنسان؟

اللحاء البصري هو جزء من اللحاء الدماغي للدماغ الذي يعالج المعلومات المرئية. تمتد الأعصاب البصرية من العين مباشرة إلى القشرة البصرية الأولية. بناءً على الخصائص الهيكلية والوظيفية يتم تقسيمها إلى مناطق مختلفة كما هو موضح في الصورة التالية:

اللحاء البصري: الوظائف

يتم تمرير المعلومات المرئية من منطقة قشرية إلى أخرى وتكون كل منطقة قشرية أكثر تخصصًا من المنطقة الأخيرة. تستجيب الخلايا العصبية في مجال معين فقط لأفعال محددة.

بعض منهم مع وظائفهم هي كما يلي:

  1. اللحاء البصري الأساسي أو V1: يحافظ على الموقع المكاني للمعلومات المرئية ، أي اتجاه الحواف والخطوط. إنه أول من يستقبل الإشارات من ما التقطته العيون.
  2. اللحاء البصري الثانوي أو V2: يتلقى اتصالات تغذية قوية من V1 ويرسل اتصالات قوية إلى V3 و V4 و V5. كما أنه يرسل شبكة ردود فعل قوية إلى V1. وتتمثل وظيفتها في جمع التردد المكاني وحجم ولون وشكل الكائن.
  3. اللحاء البصري الثالث أو V3: يستقبل مدخلات من V2. يساعد في معالجة الحركة العالمية ويعطي تمثيلًا مرئيًا كاملاً.
  4. V4: يتلقى أيضًا مدخلات من V2. يتعرف على الأشكال الهندسية البسيطة ويشكل أيضًا التعرف على الكائن. لم يتم ضبطه للأشياء المعقدة مثل الوجوه البشرية.
  5. المنطقة المرئية الزمنية الوسطى (MT) أو V5: يتم استخدامه لاكتشاف سرعة واتجاه الجسم المرئي المتحرك ، أي إدراك الحركة. كما يكتشف حركة الميزات المرئية المعقدة. يتلقى اتصالات مباشرة من V1.
  6. منطقة الظهرية (DM) أو V6: تستخدم للكشف عن تحفيز المجال الواسع والحركة الذاتية. مثل V5 ، يتلقى أيضًا اتصالات مباشرة من V1. لديها اختيار حاد للغاية لاتجاه الخطوط المرئية.

تعيين CNN

تعمل القشرة المرئية أعلاه كطبقات من CNN. لنأخذ سيناريوهات مثل اكتشاف الحواف ، واكتشاف الوجه ، واكتشاف التباين (مثل اكتشاف الوجه المستدير ، واكتشاف الوجه الكبير أو الصغير)

كشف الحد : باستخدام عملية الالتواء على الصورة مع Sobel Kernel يمكننا اكتشاف الحواف. انظر إلى الصورة التالية:

ماكس تجمع : يتم استخدامه للكشف ، حيث توجد الكائنات في الصورة بناءً على إخراج كل مجموعة من الخلايا العصبية في الطبقة السابقة. نظرًا لاكتشاف الوجه أينما كان ، لا يعتمد ذلك على موقع الوجه في الصورة.

ReLU (الوحدة الخطية المصححة): نظرًا لأن الدماغ البشري لا يتوقف أبدًا عن التعلم ، فإنه (الدماغ) دائمًا ما يتعلم من الملاحظات والتجارب ، أي المدخلات التي يتلقاها من الأعضاء الحسية ، يتم استخدامها في مرحلة ما أو أخرى ، لكن التعلم لا يصبح "صفرًا" أبدًا. لإضافة هذه الميزة إلى الشبكات العصبية ، يتم استخدام ReLU. وظيفة التنشيط هي: f (x) = max (0، x). لأي وظيفة تنشيط ، يجب أن نكون قادرين على أخذ مشتق من هذه الوظيفة ومع ReLU يمكننا القيام بذلك. لكن المشتق عند الصفر لم يتم تعريفه لـ ReLU. بسبب الصفر ، يمكن أن نواجه مشكلة حالة التنشيط الميتة. هذا يعني أنه لن يكون هناك تغيير في الوزن مما يعني عدم التعلم. لكن في البشر لا يحدث ذلك كثيرًا. لمعالجة هذه المشكلة ، يتم استخدام مفهوم Leaky ReLU.

Leaky ReLU: الوظيفة هي: f (x) = if (x & gt 0) ثم x else 0.01 * x. بهذا نتجنب مشكلة الدول الميتة. هذه هي الشبكة التي يمكنها الاستمرار في التعلم ولكنها يمكن أن تواجه مشكلة التدرج اللوني التلاشي.

زيادة البيانات: يمكننا نحن البشر التعرف على الوجه حتى لو كان مقلوبًا أو مستديرًا أو مقلوبًا أو منعكسًا أو منحرفًا. باستخدام تقنية زيادة البيانات ، يمكننا تحويل صورة واحدة إلى أنواع مختلفة من الصور واستخدام الصور المشكلة حديثًا لتدريب CNN. بعد ذلك ، ستتمكن CNN من اكتشاف البيانات القائمة على التباين مثل الوجوه المستديرة والوجوه الكبيرة والصغيرة والوجوه المقلوبة وما إلى ذلك (أي سيتم التعرف على الكائنات حتى لو لم تكن في موضعها الأصلي).

المتسربون : هل جميع الخلايا العصبية الموجودة في دماغنا تنطلق لتتعلم شيئًا ما؟ الجواب هو لا''. ليس من الضروري أن يطلقوا النار بطريقة خطية أو في التكاثر الخلفي. قد تظل بعض الخلايا العصبية غير نشطة في مرحلة واحدة من التعلم وقد تنشط في مرحلة أخرى من التعلم أو العكس. هذا يعطي القدرة على التعلم المستقل للخلايا العصبية. للحصول على هذا في الشبكات ، يتم تقديم مفهوم المتسربين. بعد تطبيق التسرب مع الاحتمال p ، يتم استبعاد العقد / الخلايا العصبية الفردية المختارة عشوائيًا من تلك الحقبة لعملية التعلم ويتم أيضًا استبعاد الحواف الواردة والصادرة. يتم استخدامه كثيرًا لتجنب الإفراط في تركيب الشبكة.

الشبكة المتبقية (ResNet): كما رأينا أن V5 و V6 يستقبلان اتصالات مباشرة من V1 بنفس الطريقة التي تعمل بها الشبكة المتبقية. يتخطى الاتصالات و / أو يقفز فوق الطبقات. يتم ذلك لتجنب مشكلة تلاشي التدرج.


التعلم العميق لعلم الأحياء

سارة ويب كاتبة مستقلة في تشاتانوغا بولاية تينيسي.

يمكنك أيضًا البحث عن هذا المؤلف في PubMed Google Scholar

لطالما ألهمت الشبكة العصبية للدماغ باحثي الذكاء الاصطناعي. الائتمان: ألفريد باسيكا / SPL / جيتي

قبل أربع سنوات ، ظهر علماء من Google على عتبة عالِم الأعصاب ستيف فينكباينر. كان مقر الباحثين في Google Accelerated Science ، وهو قسم أبحاث في ماونتن فيو ، كاليفورنيا ، ويهدف إلى استخدام تقنيات Google لتسريع الاكتشاف العلمي. كانوا مهتمين بتطبيق مناهج "التعلم العميق" لجبال بيانات التصوير التي تم إنشاؤها بواسطة فريق Finkbeiner في معهد جلادستون للأمراض العصبية في سان فرانسيسكو ، أيضًا في كاليفورنيا.

تأخذ خوارزميات التعلم العميق ميزات أولية من مجموعة بيانات مشروحة كبيرة للغاية ، مثل مجموعة من الصور أو الجينوم ، وتستخدمها لإنشاء أداة تنبؤية تستند إلى أنماط مدفونة بالداخل. بمجرد التدريب ، يمكن للخوارزميات تطبيق هذا التدريب لتحليل البيانات الأخرى ، أحيانًا من مصادر مختلفة تمامًا.

يمكن استخدام هذه التقنية "لمعالجة المشكلات الصعبة والصعبة والمعقدة حقًا ، والقدرة على رؤية البنية في البيانات - كميات البيانات التي تكون كبيرة جدًا ومعقدة جدًا بحيث يتعذر على الدماغ البشري فهمها" ، كما يقول Finkbeiner.

أنتج هو وفريقه رزمًا من البيانات باستخدام إستراتيجية تصوير عالية الإنتاجية تُعرف باسم الفحص المجهري الروبوتي ، والتي طوروها لدراسة خلايا الدماغ. لكن الفريق لم يتمكن من تحليل بياناته بالسرعة التي حصل عليها ، لذلك رحب Finkbeiner بفرصة التعاون.

"لا أستطيع أن أقول بصراحة في ذلك الوقت إن لدي فهمًا واضحًا للأسئلة التي يمكن معالجتها من خلال التعلم العميق ، لكنني علمت أننا ننتج بيانات بمعدل ضعف إلى ثلاثة أضعاف المعدل الذي يمكننا تحليله به" ، كما يقول .

اليوم ، بدأت تلك الجهود تؤتي ثمارها. قام فريق Finkbeiner ، مع علماء في Google ، بتدريب خوارزمية عميقة بمجموعتين من الخلايا ، إحداهما مصنفة بشكل مصطنع لتسليط الضوء على الميزات التي لا يمكن للعلماء رؤيتها عادةً ، والأخرى غير محددة. عندما عرّضوا الخوارزمية في وقت لاحق لصور لخلايا غير مصنفة لم يسبق لها مثيل من قبل ، يقول فينكباينر ، "لقد كان جيدًا بشكل مذهل في التنبؤ بما يجب أن تكون عليه الملصقات لتلك الصور". منشور يشرح بالتفصيل هذا العمل هو الآن في الصحافة.

يسلط نجاح Finkbeiner الضوء على مدى نجاح التعلم العميق ، وهو أحد أكثر الفروع الواعدة للذكاء الاصطناعي (AI) ، في إحراز تقدم في علم الأحياء. تتسلل الخوارزميات بالفعل إلى الحياة الحديثة في الهواتف الذكية ومكبرات الصوت الذكية والسيارات ذاتية القيادة. في علم الأحياء ، تغوص خوارزميات التعلم العميق في البيانات بطرق لا يستطيع البشر اكتشافها ، وتكتشف الميزات التي قد يكون من المستحيل اكتشافها بطريقة أخرى. يستخدم الباحثون الخوارزميات لتصنيف الصور الخلوية ، وإجراء اتصالات الجينوم ، واكتشاف الأدوية المتقدمة ، وحتى العثور على روابط عبر أنواع البيانات المختلفة ، من الجينوميات والتصوير إلى السجلات الطبية الإلكترونية.

أكثر من 440 مقالة على خادم bioRxiv لما قبل الطباعة تناقش التعلم العميق تسرد PubMed أكثر من 700 مرجع في عام 2017. والأدوات على وشك أن تصبح متاحة على نطاق واسع لعلماء الأحياء والباحثين السريريين. لكن الباحثين يواجهون تحديات في فهم ما تفعله هذه الخوارزميات ، والتأكد من أنها لا تضل المستخدمين.

تدريب الخوارزميات الذكية

تعتمد خوارزميات التعلم العميق (انظر "الأفكار العميقة") على الشبكات العصبية ، وهو نموذج حسابي تم اقتراحه لأول مرة في الأربعينيات من القرن الماضي ، حيث تحاكي طبقات العقد الشبيهة بالخلايا العصبية كيفية تحليل العقول البشرية للمعلومات. حتى ما يقرب من خمس سنوات مضت ، كانت خوارزميات التعلم الآلي القائمة على الشبكات العصبية تعتمد على الباحثين لمعالجة المعلومات الأولية في شكل أكثر وضوحًا قبل إدخالها في النماذج الحسابية ، كما يقول كيسي جرين ، عالم الأحياء الحاسوبية في جامعة بنسلفانيا في فيلادلفيا. لكن الانفجار في حجم مجموعات البيانات - من مصادر مثل لقطات الهاتف الذكي أو التسلسل الجيني واسع النطاق - والابتكارات الخوارزمية جعلت من الممكن الآن للبشر التراجع. هذا التقدم في التعلم الآلي - الجزء "العميق" - يجبر أجهزة الكمبيوتر ، وليس مبرمجيها البشريين ، على إيجاد العلاقات ذات المغزى المضمنة في وحدات البكسل والقواعد. وبما أن الطبقات الموجودة في الشبكة العصبية تقوم بترشيح المعلومات وفرزها ، فإنها تتواصل أيضًا مع بعضها البعض ، مما يسمح لكل طبقة بتحسين الإخراج من الطبقة السابقة.

المصدر: جيريمي لينسلي / درو لينسلي / ستيف فينكباينر / توماس سيري

في النهاية ، تسمح هذه العملية لخوارزمية مدربة بتحليل صورة جديدة وتحديدها بشكل صحيح ، على سبيل المثال ، تشارلز داروين أو خلية مريضة. ولكن مع إبعاد الباحثين عن الخوارزميات ، لم يعد بإمكانهم التحكم في عملية التصنيف أو حتى شرح ما يفعله البرنامج بدقة. على الرغم من أن شبكات التعلم العميق هذه يمكن أن تكون دقيقة بشكل مذهل في وضع التنبؤات ، كما يقول Finkbeiner ، "لا يزال من الصعب أحيانًا معرفة ما تراه الشبكة والذي يمكّنها من إجراء مثل هذا التنبؤ الجيد".

ومع ذلك ، فإن العديد من التخصصات الفرعية في علم الأحياء ، بما في ذلك التصوير ، تجني ثمار تلك التنبؤات. قبل عقد من الزمان ، ركز برنامج التحليل الآلي للصور البيولوجية على قياس المعلمات الفردية في مجموعة من الصور. على سبيل المثال ، في عام 2005 ، أصدرت آن كاربنتر ، عالمة الأحياء الحاسوبية في معهد برود لمعهد ماساتشوستس للتكنولوجيا وجامعة هارفارد في كامبريدج ، ماساتشوستس ، حزمة برامج مفتوحة المصدر تسمى CellProfiler لمساعدة علماء الأحياء على قياس الميزات الفردية كميًا: عدد الخلايا الفلورية في مجال الفحص المجهري ، على سبيل المثال ، أو طول سمكة الزرد.

لكن التعلم العميق يسمح لفريقها بالمضي قدمًا. تقول: "لقد تحولنا نحو قياس الأشياء التي لا يدرك علماء الأحياء أنهم يريدون قياسها من خلال الصور". يمكن أن ينتج عن تسجيل الميزات المرئية والجمع بينها ، مثل تلطيخ الحمض النووي ، ونسيج العضيات ، ونوعية المساحات الفارغة في الخلية آلاف "الميزات" ، يمكن لأي واحدة منها أن تكشف عن رؤى جديدة. يتضمن الإصدار الحالي من CellProfiler بعض عناصر التعلم العميق ، ويتوقع فريقها إضافة المزيد من أدوات التعلم العميق المتطورة في العام المقبل.

يقول كاربنتر: "يجد معظم الناس صعوبة في الالتفاف حول هذا الموضوع ، ولكن هناك قدرًا كبيرًا من المعلومات ، في الواقع ربما أكثر ، في صورة واحدة للخلايا كما هو الحال في التحليل النسخي لمجموعة الخلايا".

يسمح هذا النوع من المعالجة لفريق كاربنتر باتباع نهج أقل إشرافًا لترجمة صور الخلايا إلى أنماط ظاهرية مرتبطة بالمرض - والاستفادة منها. كاربنتر هو مستشار علمي لشركة Recursion Pharmaceuticals في سولت ليك سيتي بولاية يوتا ، والتي تستخدم أدوات التعلم العميق لاستهداف الاضطرابات النادرة أحادية الجين لتطوير الأدوية.

عندما يتعلق الأمر بالتعلم العميق ، لن تفعل أي بيانات فقط. غالبًا ما تتطلب الطريقة مجموعات بيانات ضخمة وموثقة جيدًا. توفر بيانات التصوير توافقًا طبيعيًا ، ولكن أيضًا البيانات الجينومية.

إحدى شركات التكنولوجيا الحيوية التي تستخدم مثل هذه البيانات هي Verily Life Sciences (المعروفة سابقًا باسم Google Life Sciences) في سان فرانسيسكو. طور الباحثون في Verily - وهي شركة تابعة لشركة Google الأم ، Alphabet - و Google أداة للتعلم العميق تحدد نوعًا شائعًا من التنوع الجيني ، يُسمى تعدد أشكال النوكليوتيدات المفردة ، بشكل أكثر دقة من الأدوات التقليدية. يُطلق على البرنامج اسم DeepVariant ، ويترجم المعلومات الجينومية إلى تمثيلات شبيهة بالصور ، والتي يتم تحليلها بعد ذلك كصور (انظر "أدوات الغوص العميق"). يتوقع مارك ديبريستو ، الذي يرأس الأبحاث الجينية القائمة على التعلم العميق في Google ، أن يكون DeepVariant مفيدًا بشكل خاص للباحثين الذين يدرسون الكائنات الحية خارج التيار الرئيسي - أولئك الذين لديهم جينومات مرجعية منخفضة الجودة ومعدلات خطأ عالية في تحديد المتغيرات الجينية. من خلال العمل مع DeepVariant في النباتات ، حقق زميله Ryan Poplin معدلات خطأ أقرب إلى 2٪ من النسبة النموذجية البالغة 20٪ للنُهج الأخرى.

أدوات للغوص العميق

تتطور أدوات التعلم العميق بسرعة ، وستحتاج المعامل إلى خبرة حسابية مخصصة أو عمليات تعاون أو كليهما للاستفادة منها.

أولاً ، اصطحب زميلًا لديه خبرة في التعلم العميق لتناول طعام الغداء واسأل عما إذا كانت الاستراتيجية قد تكون مفيدة ، كما ينصح ستيف فينكباينر ، عالم الأعصاب في معاهد جلادستون في سان فرانسيسكو ، كاليفورنيا. مع بعض مجموعات البيانات ، مثل بيانات التصوير ، قد يعمل البرنامج الجاهز لمشاريع أكثر تعقيدًا ، كما يقول. يمكن أن توفر ورش العمل والاجتماعات فرصًا تدريبية.

يعني الوصول إلى موارد الحوسبة السحابية أن الباحثين قد لا يحتاجون إلى مجموعة كمبيوتر في الموقع لاستخدام التعلم العميق - يمكنهم تشغيل الحساب في مكان آخر. يتوفر TensorFlow من Google ، وهو نظام أساسي مفتوح المصدر لبناء خوارزميات التعلم العميق ، على موقع مشاركة البرامج GitHub ، كما هو إصدار مفتوح المصدر من DeepVariant ، وهي أداة لتحديد التباين الجيني بدقة.

Google Accelerated Science, a Google research division based in Mountain View, California, collaborates with a range of scientists, including biologists, says Michelle Dimon, one of its research scientists. Projects require a compelling biological question, large amounts of high-quality, labelled data, and a challenge that will allow the company’s machine-learning experts to make unique computational contributions to the field, Dimon says.

Those wishing to get up to speed on deep learning should check out the ‘deep review’, a comprehensive, crowdsourced review led by computational biologist Casey Greene of the University of Pennsylvania in Philadelphia (T. Ching وآخرون. Preprint at bioRxiv http://doi.org/gbpvh5 2018).

Brendan Frey, chief executive of the Canadian company Deep Genomics in Toronto, also focuses on genomic data, but with the goal of predicting and treating disease. Frey’s academic team at the University of Toronto developed algorithms trained on genomic and transcriptomic data from healthy cells. Those algorithms built predictive models of RNA-processing events such as splicing, transcription and polyadenylation within those data. When applied to clinical data, the algorithms were able to identify mutations and flag them as pathogenic, Frey says, even though they’d never seen clinical data. At Deep Genomics, Frey’s team is using the same tools to identify and target the disease mechanisms that the software uncovered, to develop therapies derived from short nucleic-acid sequences.

Another discipline with massive data sets that are amenable to deep learning is drug discovery. Here, deep-learning algorithms are helping to solve categorization challenges, sifting through such molecular features as shape and hydrogen bonding to identify criteria on which to rank those potential drugs. For instance, Atomwise, a biotech company based in San Francisco, has developed algorithms that convert molecules into grids of 3D pixels, called voxels. This representation allows the company to account for the 3D structure of proteins and small molecules with atomic precision, modelling features such as the geometries of carbon atoms. Those features are then translated into mathematical vectors that the algorithm can use to predict which small molecules are likely to interact with a given protein, says Abraham Heifets, the company’s chief executive. “A lot of the work we do is for [protein] targets with no known binders,” he says.

Atomwise is using this strategy to power its new AI-driven molecular-screening programme, which scans a library of 10 million compounds to provide academic researchers with up to 72 potential small-molecule binders for their protein of interest.

Deep-learning tools could also help researchers to stratify disease types, understand disease subpopulations, find new treatments and match them with the appropriate patients for clinical testing and treatment. Finkbeiner, for instance, is part of a consortium called Answer ALS, an effort to combine a range of data — genomics, transcriptomics, epigenomics, proteomics, imaging and even pluripotent stem-cell biology — from 1,000 people with the neurodegenerative disease amyotrophic lateral sclerosis (also called motor neuron disease). “For the first time, we’ll have a data set where we can apply deep learning and look at whether deep learning can uncover a relationship between the things we can measure in a dish around a cell, and what’s happening to that patient,” he says.

Challenges and cautions

For all its promise, deep learning poses significant challenges, researchers warn. As with any computational-biology technique, the results that arise from algorithms are only as good as the data that go in. Overfitting a model to its training data is also a concern. In addition, for deep learning, the criteria for data quantity and quality are often more rigorous than some experimental biologists might expect.

Deep-learning algorithms have required extremely large data sets that are well annotated so that the algorithms can learn to distinguish features and categorize patterns. Larger, clearly labelled data sets — with millions of data points representing different experimental and physiological conditions — give researchers the most flexibility for training an algorithm. Finkbeiner notes that algorithm training in his work improves significantly after about 15,000 examples. Those high-quality ‘ground truth’ data can be exceptionally hard to come by, says Carpenter.

To circumvent this challenge, researchers have been working on ways to train more with less data. Advances in the underlying algorithms are allowing the neural networks to use data much more efficiently, Carpenter says, enabling training on just a handful of images for some applications. Scientists can also exploit transfer learning, the ability of neural networks to apply classification prowess acquired from one data type to another type. For example, Finkbeiner’s team has developed an algorithm that it initially taught to predict cell death on the basis of morphology changes. Although the researchers trained it to study images of rodent cells, it achieved 90% accuracy the first time it was exposed to images of human cells, improving to 99% as it gained experience.

For some of its biological image-recognition work, Google Accelerated Science uses algorithms that were initially trained on hundreds of millions of consumer images mined from the Internet. Researchers then refine that training, using as few as several hundred biological images similar to the ones they wish to study.

Another challenge with deep learning is that the computers are both unintelligent and lazy, notes Michelle Dimon, a research scientist at Google Accelerated Science. They lack the judgement to distinguish biologically relevant differences from normal variation. “The computer is shockingly good at finding batch variation,” she notes. As a result, obtaining data that will be fed into a deep-learning algorithm often means applying a high bar for experimental design and controls. Google Accelerated Science requires researchers to place controls randomly on cell-culture plates to account for subtle environmental factors such as incubator temperature, and to use twice as many controls as a biologist might otherwise run. “We make it hard to pipette,” Dimon quips.

This hazard underscores the importance of biologists and computer scientists working together to design experiments that incorporate deep learning, Dimon says. And that careful design has become even more important with one of Google’s latest projects: Contour, a strategy for clustering cellular-imaging data in ways that highlight trends (such as dose responses) instead of putting them into specific categories (such as alive or dead).

Although deep-learning algorithms can evaluate data without human preconceptions and filters, Greene cautions, that doesn’t mean they are unbiased. Training data can be skewed — as happens, for example, when genomic data only from northern Europeans are used. Deep-learning algorithms trained on such data will acquire embedded biases and reflect them in their predictions, which could in turn lead to unequal patient care. If humans help to validate these predictions, that provides a potential check on the problem. But such concerns are troubling if a computer alone is left to make key decisions. “Thinking of these methods as a way to augment humans is better than thinking of these methods as replacing humans,” Greene says.

And then there’s the challenge of understanding exactly how these algorithms are building the characteristics, or features, that they use to classify data in the first place. Computer scientists are attacking this question by changing or shuffling individual features in a model and then examining how those tweaks change the accuracy of predictions, says Polina Mamoshina, a research scientist at Insilico Medicine in Baltimore, Maryland, which uses deep learning to improve drug discovery. But different neural networks working on the same problem won’t approach it in the same way, Greene cautions. Researchers are increasingly focusing on algorithms that make both accurate and explainable predictions, he says, but for now the systems remain black boxes.

“I don’t think highly explainable deep-learning models are going to come on the scene in 2018, though I’d love to be wrong,” Greene says.

طبيعة سجية 554, 555-557 (2018)

Updates & Corrections

Correction 07 March 2018: An earlier version of this story affiliated Mark DePristo with Verily Life Sciences. It also omitted to mention that the DeepVariant tool was developed jointly by Verily and Google.


The main differences

  1. مقاس: our brain contains about 86 billion neurons and more than a 100 trillion (or according to some estimates 1000 trillion) synapses (connections). The number of “neurons” in artificial networks is much less than that (usually in the ballpark of 10–1000) but comparing their numbers this way is misleading. Perceptrons just take inputs on their “dendrites” and generate output on their “axon branches”. A single layer perceptron network consists of several perceptrons that are not interconnected: they all just perform this very same task at once. Deep Neural Networks usually consist of input neurons (as many as the number of features in the data), output neurons (as many as the number of classes if they are built to solve a classification problem) and neurons in the hidden layers, in-between. All the layers are usually (but not necessarily) fully connected to the next layer, meaning that artificial neurons usually have as many connections as there are artificial neurons in the preceding and following layers combined. Convolutional Neural Networks also use different techniques to extract features from the data that are more sophisticated than what a few interconnected neurons can do alone. Manual feature extraction (altering data in a way that it can be fed to machine learning algorithms) requires human brain power which is also not taken into account when summing up the number of “neurons” required for Deep Learning tasks. The limitation in size isn’t just computational: simply increasing the number of layers and artificial neurons does not always yield better results in machine learning tasks.
  2. Topology: all artificial layers compute one by one, instead of being part of a network that has nodes computing asynchronously. Feedforward networks compute the state of one layer of artificial neurons and their weights, then use the results to compute the following layer the same way. During backpropagation, the algorithm computes some change in the weights the opposing way, to reduce the difference of the feedforward computational results in the output layer from the expected values of the output layer. Layers aren’t connected to non-neighboring layers, but it’s possible to somewhat mimic loops with recurrent and LSTM networks. In biological networks, neurons can fire asynchronously in parallel, have small-world nature with a small portion of highly connected neurons (hubs) and a large amount of lesser connected ones (the degree distribution at least partly follows the power-law). Since artificial neuron layers are usually fully connected, this small-world nature of biological neurons can only be simulated by introducing weights that are 0 to mimic the lack of connections between two neurons.
  3. سرعة: certain biological neurons can fire around 200 times a second on average. Signals travel at different speeds depending on the type of the nerve impulse, ranging from 0.61 m/s up to 119 m/s. Signal travel speeds also vary from person to person depending on their sex, age, height, temperature, medical condition, lack of sleep etc. Action potential frequency carries information for biological neuron networks: information is carried by the firing frequency or the firing mode (tonic or burst-firing) of the output neuron and by the amplitude of the incoming signal in the input neuron in biological systems. Information in artificial neurons is instead carried over by the continuous, floating point number values of synaptic weights. How quickly feedforward or backpropagation algorithms are calculated carries no information, other than making the execution and training of the model faster. There are no refractory periods for artificial neural networks (periods while it is impossible to send another action potential, due to the sodium channels being lock shut) and artificial neurons do not experience “fatigue”: they are functions that can be calculated as many times and as fast as the computer architecture would allow. Since artificial neural network models can be understood as just a bunch of matrix operations and finding derivatives, running such calculations can be highly optimized for vector processors (doing the very same calculations on large amounts of data points over and over again) and sped up by magnitudes using GPUs or dedicated hardware (like on AI chips in recent SmartPhones).
  4. Fault-tolerance: biological neuron networks due to their topology are also fault-tolerant. Information is stored redundantly so minor failures will not result in memory loss. They don’t have one “central” part. The brain can also recover and heal to an extent. Artificial neural networks are not modeled for fault tolerance or self regeneration (similarly to fatigue, these ideas are not applicable to matrix operations), though recovery is possible by saving the current state (weight values) of the model and continuing the training from that save state. Dropouts can turn on and off random neurons in a layer during training, mimicking unavailable paths for signals and forcing some redundancy (dropouts are actually used to reduce the chance of overfitting). Trained models can be exported and used on different devices that support the framework, meaning that the same artificial neural network model will yield the same outputs for the same input data on every device it runs on. Training artificial neural networks for longer periods of time will not affect the efficiency of the artificial neurons. لكن، the hardware used for training can wear out really fast if used regularly, and will need to be replaced. Another difference is, that all processes (states and values) can be closely monitored inside an artificial neural network.
  5. استهلاك الطاقة: the brain consumes about 20% of all the human body’s energy — despite it’s large cut, an adult brain operates on about 20 watts (barely enough to dimly light a bulb) being extremely efficient. Taking into account how humans can still operate for a while, when only given some c-vitamin rich lemon juice and beef tallow, this is quite remarkable. For benchmark: a single Nvidia GeForce Titan X GPU runs on 250 watts alone, and requires a power supply instead of beef tallow. Our machines are way less efficient than biological systems. Computers also generate a lot of heat when used, with consumer GPUs operating safely between 50–80 degrees Celsius instead of 36.5–37.5 °C.
  6. Signals: an action potential is either triggered or not — biological synapses either carry a signal or they don’t. Perceptrons work somewhat similarly, by accepting binary inputs, applying weights to them and generating binary outputs depending on whether the sum of these weighted inputs have reached a certain threshold (also called a step function). Artificial neurons accept continuous values as inputs and apply a simple non-linear, easily differentiable function (an activation function) on the sum of its weighted inputs to restrict the outputs’ range of values. The activation functions are nonlinear so multiple layers in theory could approximate any function. Formerly sigmoid and hyperbolic tangent functions were used as activation functions, but these networks suffered from the vanishing gradient problem, meaning that the more the layers in a network, the less the changes in the first layers will affect the output, due to these functions squashing their inputs into a very small output range. These problems were overcome by the introduction of different activation functions such as ReLU. The final outputs of these networks are usually also squashed between 0 — 1 (representing probabilities for classification tasks) instead of outputting binary signals. As mentioned earlier, neither the frequency/speed of the signals nor the firing rates carry any information for artificial neural networks (this information is carried over by the input weights instead). The timing of the signals is synchronous, where artificial neurons in the same layer receive their input signals and then send their output signals all at once. Loops and time deltas can only be partly simulated with Recurrent (RNN) layers (that suffer greatly from the aforementioned vanishing gradient problem) or with Long short-term memory (LSTM) layers that act more like state machines or latch circuits than neurons. These are all considerable differences between biological and artificial neurons.
  7. Learning: we still do not understand how brains learn, or how redundant connections store and recall information. Brain fibers grow and reach out to connect to other neurons, neuroplasticity allows new connections to be created or areas to move and change function, and synapses may strengthen or weaken based on their importance. Neurons that fire together, wire together (although this is a very simplified theory and should not taken too literally). By learning, we are building on information that is already stored in the brain. Our knowledge deepens by repetition and during sleep, and tasks that once required a focus can be executed automatically once mastered. Artificial neural networks in the other hand, have a predefined model, where no further neurons or connections can be added or removed. Only the weights of the connections (and biases representing thresholds) can change during training. The networks start with random weight values and will slowly try to reach a point where further changes in the weights would no longer improve performance. Just like there are many solutions for the same problems in real life, there is no guarantee that the weights of the network will be the best possible arrangement of weights to a problem — they will only represent one of the infinite approximations to infinite solutions. Learning can be understood as the process of finding optimal weights to minimize the differences between the network’s expected and generated output: changing weights one way would increase this error, changing them the other way would decrees it. Imagine a foggy mountain top, where all we could tell is that stepping towards a certain direction would take us downhill. By repeating this process, we would eventually reach a valley where taking any step further would only take us higher. Once this valley is found we can say that we have reached a local minima. Note that it’s possible that there are other, better valleys that are even lower from the mountain top (global minima) that we have missed, since we could not see them. Doing this in usually more than 3 dimensions is called gradient descent. To speed up this “learning process”, instead of going through each and every example every time, random samples (batches) are taken from the data set and used for training iterations. This will only give an approximation of how to adjust the weights to reach a local minima (finding which direction to take downhill without carefully looking at all directions all the time), but it’s still a pretty good approximation. We can also take larger steps when ascending the top and take smaller ones as we are reaching a valley where even small nudges could take us the wrong way. Walking like this downhill, going faster than carefully planning each and every step is called stochastic gradient descent. So the rate of how artificial neural networks learn can change over time (it decreases to ensure better performance), but there aren’t any periods similar to human sleep phases when the networks would learn better. There is no neural fatigue either, although GPUs overheating during training can reduce performance. Once trained, an artificial neural network’s weights can be exported and used to solve problem similar to the ones found in the training set. Training (backpropagation using an optimization method like stochastic gradient descent, over many layers and examples) is extremely expensive, but using a trained network (simply doing feedforward calculation) is ridiculously cheap. Unlike the brain, artificial neural networks don’t learn by recalling information — they only learn during training, but will always “recall” the same, learned answers afterwards, without making a mistake. The great thing about this is that “recalling” can be done on much weaker hardware as many times as we want to. It is also possible to use previously pretrained models (to save time and resources by not having to start from a totally random set of weights) and improve them by training with additional examples that have the same input features. This is somewhat similar to how it’s easier for the brain to learn certain things (like faces), by having dedicated areas for processing certain kinds of information.

So artificial and biological neurons do differ in more ways than the materials of their environment— biological neurons have only provided an inspiration to their artificial counterparts, but they are in no way direct copies with similar potential. If someone calls another human being smart or intelligent, we automatically assume that they are also capable of handling a large variety of problems, and are probably polite, kind and diligent as well. Calling a software intelligent only means that it is able to find an optimal solution to a set of problems.


Is artificial intelligence today where brain research was 100 years ago?

Babies are not born with randomly connected brains and turned on to learn. And yet, 100 years ago, neurobiologists were not so sure. In fact, most of them rather liked the idea, because they disliked the alternative: the development of intelligent brains without learning—as if embryo development could determine who you are. 100 years ago, neurobiologists had only recently discovered the existence of vast nerve fiber networks in the brain. But where could the information come from that rendered these networks ‘intelligent’? There could be but one answer: learning. It seemed much easier to envision the development of a randomly connected network that becomes smart through learning than a well-connected network that had grown smart during development. The underlying debate about the genetic basis of intelligence has lost none of its vigor to this day.

Curiously, today’s AI researchers are in agreement with those early pioneers of neurobiology: even the most advanced deep neural networks are based on the principle of an initially randomly connected network that is turned on to learn. Meanwhile, 100 years of research on the development and genetic encoding of biological neural networks have left a mark. Enormous (and enormously expensive) research efforts are underway to map ‘connectomes’ in brains to provide maps of genetically encoded connectivity. If connectomes were simply randomly connected, these efforts would be done in a day. But they are not. Neural circuits in biological brains are a fundamental basis to understand brain function, including the ability to learn.

The effort to map connectomes is reminiscent of similar efforts to map genomes 20 years ago. Back then, some people asked: Well, once we know the entire genome, aren’t we done? But as it became clear very quickly, we were at a beginning then, not the end. The genome does not contain information that describes neural networks, the genome only contains information to grow neural network. Scientists are grappling with this difference to this day.

Why is growth so important? Genes allow to grow brains, but we cannot read the connectome in the genome. In fact, there is much less information to read in the genome than there is in a connectome. It is easy to fully describe a genome compared to the attempt to fully describe a brain. Where is the missing information coming from? Growth is an energy- and time-dependent process. More energy and time during brain development allow for more information in brain wiring. The Monarch butterfly has a tiny brain, but it allows the butterfly to navigate in space and time by computing light, gravity, wind, landscapes and the electromagnetic field of the earth. Somehow, this enables the tiny brain to compute a journey of thousands of miles to a very small region in some far away mountains that the butterfly never knew, because its last ancestor to fly this route was its great-great-grandparent. One could say: the route is in the genes. But we can’t read it there. The genes can only guide the self-assembly of the butterfly’s brain. By the end of its development this brain knows how to fly and find those mountains, before learning anything. And the tiny brain achieves much more, of course: to recognize danger and adjust behavior accordingly, to find food and mate… and think like, well, a butterfly.

The history of AI is a history of trying to avoid biological detail in trying to create something that so far only exists in biology. For decades this history was characterized by trying to avoid neural networks. Today, neural networks have become synonymous with AI. But even the most advanced AI systems are still based on neural networks that are designed, not grown, with random connection weights prior to learning. The Monarch butterfly should be surprised that we consider a face-recognition AI as really smart, but a little butterfly as apparently rather stupid.

How brains self-assemble based on genes and learning is one of the most exciting riddles in natural sciences. After all, what comes out of it can think about the riddle of itself and try to build an artificial version of itself: our brain. The question AI researchers are facing since more than 70 years is this: what simplifying shortcuts can we take? For example, artificial neural networks get away with the shortcut to simulate synaptic connection strengths, without a simulation of the millions of molecules that create synaptic properties in biology. It works, but it has consequences. The complete omission of genes and growth should at least leave us wondering: what kind of intelligence would they have been needed for? Certainly not for the today’s AI applications. But how about the intelligence of a butterfly, or that of a teenager? Every shortcut has consequences for the intelligence we get. And for some things in life, there is just no shortcut.

Peter Robin Hiesinger is professor of neurobiology at the Institute for Biology, Freie Universität Berlin.


Self-organized criticality of molecular biology and thermodynamic analysis of life system based on optimized particle swarm algorithm

In order to improve the thermodynamic analysis and prediction ability of biological self-organized criticality and life system, a prediction model of biological self-organized criticality and thermodynamic characteristics of life system based on particle swarm optimization neural network is proposed. Fuzzy regression parameter fusion model is adopted to rearrange the statistical prior data of biological self-organized criticality and thermodynamic characteristics of life system, neural network training method is adopted to extract principal component characteristics of rearranged biological self-organized criticality and thermodynamic information flow of life system, and optimized particle swarm algorithm is adopted to carry out feature selection and self-organized supervised learning on extracted principal component characteristics, thus realizing accurate prediction of biological self-organized criticality and thermodynamic characteristics of life system. The simulation results show that the prediction accuracy of biological self-organization criticality and thermodynamic characteristics of life system using this model is high, the prior sample knowledge required is relatively small, and the reliability of biological self-organization criticality characteristics analysis is guaranteed.

الكلمات الدالة: Biological self-organization criticality Forecast. Life system Thermodynamics.


مناقشة

One of the goals for artificial intelligence in biology could be the creation of controllable predictive and generative models that can read and generate biology in its native language. Accordingly, research will be necessary into methods that can learn intrinsic biological properties directly from protein sequences, which can be transferred to prediction and generation.

We investigated deep learning across evolution at the scale of the largest protein sequence databases, training contextual language models across 86 billion amino acids from 250 million sequences. The space of representations learned from sequences by high-capacity networks reflects biological structure at multiple levels, including that of amino acids, proteins, and evolutionary homology. Information about secondary and tertiary structure is internalized and represented within the network. Knowledge of intrinsic biological properties emerges without supervision—no learning signal other than sequences is given during pretraining.

We find that networks that have been trained across evolutionary data generalize: information can be extracted from representations by linear projections, deep neural networks, or by adapting the model using supervision. Fine-tuning produces results that match state of the art on variant activity prediction. Predictions are made directly from the sequence, using features that have been automatically learned by the language model rather than selected by domain knowledge.

We find that pretraining discovers information that is not present in current state-of-the-art features. The learned features can be combined with features used by state-of-the-art structure prediction methods to improve results. Empirically, we find that features discovered by larger models perform better on downstream tasks. The Transformer outperforms LSTMs with similar capacity across benchmarks. Increasing diversity of the training data results in significant improvements to the representations.

While the protein language models we study are of comparable scale to those used in the text domain, our experiments have not yet reached the limit of scale. We observed that even the highest capacity models we trained (with ∼650 to 700 M parameters) under-fit the sequence datasets because of insufficient model capacity. The relationship we find between language modeling fidelity and the information about structure encoded into the representations suggests that higher capacity models will yield better representations. These findings imply potential for further model scale and data diversity, incorporating sequences from metagenomics.

Combining high-capacity generative models with gene synthesis and high throughput characterization can enable generative biology. The models we have trained can be used to generate new sequences (79). If neural networks can transfer knowledge learned from protein sequences to design functional proteins, this could be coupled with predictive models to jointly generate and optimize sequences for desired functions. The size of current sequence data and its projected growth point toward the possibility of a general purpose generative model that can condense the totality of sequence statistics, internalizing and integrating fundamental chemical and biological concepts including structure, function, activity, localization, binding, and dynamics, to generate new sequences that have not been seen before in nature but that are biologically active.


شاهد الفيديو: Introduction to Neural Networks Part 1 - مقدمة الى الشبكات العصبية (ديسمبر 2022).