يبدو أن الأشخاص يجدون التغريدات أكثر إقناعًا عندما يتم كتابتها بواسطة نماذج لغة الذكاء الاصطناعى، كان هذا هو الحال في دراسة جديدة تقارن المحتوى الذي تم إنشاؤه بواسطة البشر باللغة التي تم إنشاؤها بواسطة نموذج OpenAI GPT-3.
واستطلع مؤلفو البحث الجديد الأشخاص لمعرفة ما إذا كان بإمكانهم تمييز تغريدة قد كتبها شخص آخر أو بواسطة GPT-3 وجاءت النتائج؟ لا يستطيع الناس فعل ذلك حقًا، كما طلب الاستطلاع منهم تقرير ما إذا كانت المعلومات الواردة في كل تغريدة صحيحة أم لا وهذا هو المكان الذى تصبح فيه الأمور أكثر صعوبة، خاصة وأن المحتوى يركز على موضوعات علمية مثل اللقاحات وتغير المناخ التي تخضع للكثير من حملات التضليل عبر الإنترنت.
وتبين أن المشاركين في الدراسة واجهوا صعوبة في التعرف على المعلومات المضللة إذا تمت كتابتها بواسطة نموذج اللغة أكثر مما لو كتبها شخص آخر. على نفس المنوال ، وكانوا أيضًا أكثر قدرة على تحديد المعلومات الدقيقة بشكل صحيح إذا تمت كتابتها بواسطة GPT-3 وليس بواسطة إنسان.
وواجه المشاركون في الدراسة وقتًا أصعب في التعرف على المعلومات المضللة إذا تمت كتابتها بواسطة نموذج اللغة أكثر مما لو كتبها شخص آخر.
وبعبارة أخرى، كان من المرجح أن يثق الأشخاص في الدراسة في GPT-3 أكثر من غيرهم من البشر - بغض النظر عن مدى دقة المعلومات التي تم إنشاؤها بواسطة الذكاء الاصطناعى، وهذا يوضح مدى قوة نماذج لغة الذكاء الاصطناعي عندما يتعلق الأمر إما بإعلام الجمهور أو تضليله.
ويقول جيوفاني سبيتالي ، المؤلف الرئيسي للدراسة وباحث ما بعد الدكتوراه ومدير بيانات الأبحاث في معهد أخلاقيات الطب الحيوي وتاريخ الطب في جامعة زيورخ، إن هذا لا يجب أن يكون هو الحال وهناك طرق لتطوير التكنولوجيا بحيث يصعب استخدامها للترويج للمعلومات المضللة كما "إنه ليس شرًا أو خيرًا بطبيعته إنه مجرد مكبر للصوت لقصد الإنسان.
وجمع Spitale وزملاؤه مشاركات من Twitter تناقش 11 موضوعًا علميًا مختلفًا تتراوح من اللقاحات و covid-19 إلى تغير المناخ والتطور. ثم طلبوا من GPT-3 كتابة تغريدات جديدة بمعلومات دقيقة أو غير دقيقة.
بعد ذلك ، جمع الفريق ردودًا من 697 مشاركًا عبر الإنترنت عبر إعلانات Facebook في عام 2022. وكانوا جميعًا يتحدثون الإنجليزية وكان معظمهم من المملكة المتحدة وأستراليا وكندا والولايات المتحدة وأيرلندا و تم نشر نتائجهم اليوم في مجلة Science Advances.
وخلصت الدراسة إلى أن الأشياء التي كتبها GPT-3 "لا يمكن تمييزها" عن المحتوى العضوى ولم يتمكن الأشخاص الذين شملهم الاستطلاع من معرفة الفرق، وفي الواقع ، تشير الدراسة إلى أن أحد قيودها هو أن الباحثين أنفسهم لا يمكنهم التأكد بنسبة 100٪ من أن التغريدات التي جمعوها من وسائل التواصل الاجتماعي لم تتم كتابتها بمساعدة تطبيقات مثل ChatGPT.
وهناك قيود أخرى يجب وضعها في الاعتبار مع هذه الدراسة أيضًا ، بما في ذلك أنه كان على المشاركين فيها الحكم على التغريدات خارج سياقها. لم يتمكنوا من التحقق من ملف تعريف Twitter لأي شخص كتب المحتوى ، على سبيل المثال ، مما قد يساعدهم في معرفة ما إذا كان روبوتًا أم لا. حتى رؤية التغريدات السابقة وصورة الملف الشخصي لحساب ما قد يسهل تحديد ما إذا كان المحتوى المرتبط بهذا الحساب يمكن أن يكون مضللاً.
وكان المشاركون الأكثر نجاحًا في كشف المعلومات المضللة التي كتبها مستخدمو تويتر الحقيقيون. كانت التغريدات التي تم إنشاؤها بواسطة GPT-3 والتي تحتوي على معلومات خاطئة أكثر فاعلية قليلاً في خداع المشاركين في الاستطلاع. والآن ، هناك نماذج لغة كبيرة أكثر تقدمًا يمكن أن تكون أكثر إقناعًا من GPT-3. يتم تشغيل ChatGPT بواسطة نموذج GPT-3.5 ، ويقدم التطبيق الشهير اشتراكًا للمستخدمين الذين يرغبون في الوصول إلى طراز GPT-4 الأحدث .
هناك ، بالطبع الكثير من الأمثلة الواقعية على خطأ النماذج اللغوية . بعد كل شيء ، "أدوات الذكاء الاصطناعي هذه هي أنظمة إكمال تلقائي واسعة ، مدربة على التنبؤ بالكلمة التي تلي الكلمة التالية في أي جملة معينة. على هذا النحو ، ليس لديهم قاعدة بيانات مشفرة من "الحقائق" للاستفادة منها - فقط القدرة على كتابة عبارات تبدو معقولة "، كتب جيمس فينسنت من The Verge بعد أن اتخذ مؤتمر كبير للتعلم الآلي قرارًا بمنع المؤلفين من استخدام أدوات الذكاء الاصطناعي لكتابة الأوراق الأكاديمية.
وجدت هذه الدراسة الجديدة أيضًا أن المشاركين في الاستطلاع كانوا حكامًا أقوى للدقة من GPT-3 في بعض الحالات، و طلب الباحثون بالمثل من نموذج اللغة تحليل التغريدات وتحديد ما إذا كانت دقيقة أم لا. سجل GPT-3 درجات أسوأ من المستجيبين من البشر عندما يتعلق الأمر بتحديد التغريدات الدقيقة. عندما يتعلق الأمر برصد المعلومات المضللة ، كان أداء البشر و GPT-3 متشابهًا.
بشكل حاسم ، تحسين مجموعات بيانات التدريب المستخدمة لتطوير نماذج لغوية يمكن أن يجعل من الصعب على الجهات الفاعلة السيئة استخدام هذه الأدوات لإطلاق حملات التضليل. GPT-3 "عصى" بعض دوافع الباحثين لتوليد محتوى غير دقيق ، لا سيما عندما يتعلق الأمر بمعلومات خاطئة حول اللقاحات والتوحد. قد يكون ذلك بسبب وجود المزيد من المعلومات التي تكشف زيف نظريات المؤامرة حول هذه الموضوعات أكثر من المشكلات الأخرى في مجموعات بيانات التدريب.
ومع ذلك ، فإن أفضل استراتيجية طويلة المدى لمواجهة المعلومات المضللة ، وفقًا لسبيتال ، هي تقنية منخفضة للغاية لتشجيع مهارات التفكير النقدي حتى يكون الناس مجهزين بشكل أفضل للتمييز بين الحقائق والخيال. ونظرًا لأن الأشخاص العاديين في الاستطلاع يبدون بالفعل أفضل أو أفضل من حكام الدقة من GPT-3 ، فإن القليل من التدريب قد يجعلهم أكثر مهارة في هذا الأمر. تفترض الدراسة أن الأشخاص المهرة في تدقيق الحقائق يمكن أن يعملوا جنبًا إلى جنب مع نماذج لغوية مثل GPT-3 لتحسين حملات المعلومات العامة المشروعة.
يقول سبيتال: "لا تسيء فهمي ، فأنا من أشد المعجبين بهذه التكنولوجيا". "أعتقد أن الذكاء الاصطناعي السردي سيغير العالم والأمر متروك لنا لنقرر ما إذا كان سيكون للأفضل أم لا."