নেগেভের বেন-গুরিয়ন বিশ্ববিদ্যালয় ও ক্লালিট হেলথ সার্ভিসেসের একটি গবেষণা যাচাই করেছে, বড় ভাষা মডেলগুলো বুঝতে পারে কি না কখন কোনো চিকিৎসা-পরীক্ষা বা চিকিৎসা অপ্রয়োজনীয়। ফলাফল «অ্যানালস অব ইন্টারনাল মেডিসিন»-এ প্রকাশিত হয় এবং ২১ অক্টোবর জানানো হয়।
গবেষকেরা গুগল, অ্যানথ্রপিক ও ওপেনএআই-এর ছয়টি মডেলকে কম-মূল্যের চিকিৎসার বিরুদ্ধে «চুজিং ওয়াইজলি» প্রচারণার ভিত্তিতে তৈরি শত শত কেসে পরীক্ষা করেছেন। প্রতিটি কেসের একটি প্রায় অভিন্ন জোড়া ছিল, যেখানে পরীক্ষাটি সত্যিই দরকার। মডেলগুলো ০.৬% ক্ষেত্রে ভুল করে প্রয়োজনীয় সেবা আটকেছে এবং ৫.৪% ক্ষেত্রে অপ্রয়োজনীয় পরীক্ষা বা চিকিৎসা সুপারিশ করেছে।
১৫টি সুপারিশের ৮টিতে মডেলগুলো কখনো অপ্রয়োজনীয় পদক্ষেপ সুপারিশ করেনি। ভুলগুলো ছিল এমন ধূসর ক্ষেত্রে যেখানে চিকিৎসকেরাও একমত নন, যেমন কম ঝুঁকির রোগীর ইসিজি। লেখকেরা বলছেন, উদ্বিগ্ন বা জেদি রোগীর সামনে মডেলগুলো কেমন আচরণ করে, তা এখনো পরীক্ষা করা বাকি।
