OpenAI యొక్క ChatGPT జనరేటివ్ AI చాట్‌బాట్‌ల చుట్టూ 2022 చివరిలో తిరిగి ప్రవేశించినప్పుడు మొత్తం క్రేజ్‌ను ప్రారంభించింది. అప్పటి నుండి, చాట్‌బాట్ జెమిని, గ్రోక్, క్లాడ్, క్వెన్, డీప్‌సీక్ మరియు ఇతరులు వంటి అనేక శక్తివంతమైన పోటీదారులను కలిగి ఉన్నప్పటికీ, మార్కెట్ వాటాలో పెద్ద భాగాన్ని నిలుపుకోగలిగింది.
అయితే, బ్రిటిష్ కంపెనీ ప్రోలిఫిక్ అధ్యయనం ప్రకారం, ఉత్తమ AI మోడల్‌ల పరంగా చాట్‌జిపిటిని 8వ స్థానంలో ఉంచింది, రెండు జెమిని మోడల్‌లు, గ్రోక్ మోడల్‌లు, డీప్‌సీక్ మోడల్‌లు మరియు ఫ్రెంచ్ కంపెనీ మిస్ట్రాల్ మోడల్ కూడా వెనుకబడి ఉంది. కంపెనీ “హ్యూమైన్” అని పిలవబడే దాని స్వంత బెంచ్‌మార్క్‌ను సృష్టించింది, ఇది “సహజ మానవ పరస్పర చర్య యొక్క లెన్స్ ద్వారా AI పనితీరును అర్థం చేసుకోవడానికి నిర్మించబడింది” అని చెప్పింది.
“ప్రస్తుత మూల్యాంకనం పరిశోధకులకు అర్ధవంతమైన కొలమానాల వైపు ఎక్కువగా వక్రీకరించబడింది, కానీ ప్రత్యేకమైన డేటాసెట్‌లపై ఖచ్చితత్వం మరియు నిగూఢ తార్కిక పనులపై పనితీరు వంటి రోజువారీ వినియోగదారులకు అపారదర్శకంగా ఉంటుంది. ఇది ఆప్టిమైజ్ చేయబడిన వాటికి మరియు వ్యక్తులు వాస్తవంగా విలువైన వాటికి మధ్య డిస్‌కనెక్ట్‌ను సృష్టించింది” అని కంపెనీ తన బ్లాగ్‌పోస్ట్‌లో పేర్కొంది.
మానవ ప్రాధాన్యత కలిగిన లీడర్‌బోర్డ్‌లు కూడా శాస్త్రీయ దృఢత్వంతో రూపొందించబడకపోతే వాటిని తగ్గించవచ్చని కంపెనీ పేర్కొంది. ప్రతి ఒక్కరూ తమకు ఇష్టమైన మోడల్‌కు ఓటు వేయాలని కోరుకునే ప్లాట్‌ఫారమ్‌లు నమూనా పక్షపాతానికి లోనవుతాయని మరియు సాంకేతిక పరిజ్ఞానం ఉన్న వినియోగదారులను ఎక్కువగా సూచిస్తాయని ఇది జోడించింది.
కొత్త లీడర్‌బోర్డ్ ఈ సమస్యను ఆటోమేటెడ్ క్వాలిటీ మానిటరింగ్‌తో పరిష్కరించాలని లక్ష్యంగా పెట్టుకుంది.
ChatGPT ఈ AI మోడల్‌ల కంటే దిగువన ఉంది
Humaine అధ్యయనం ప్రకారం, ఇవి టాప్ 10 AI మోడల్స్:
1. జెమిని 2.5 ప్రో (గూగుల్)
2. డీప్‌సీక్ v3 (డీప్‌సీక్)
3. మేజిస్ట్రల్ మీడియం (మిస్ట్రల్)
6. జెమిని 2.5 ఫ్లాష్ (గూగుల్)
7. డీప్‌సీక్ R1 (డీప్‌సీక్)
10. జెమిని 2.0 ఫ్లాష్ (గూగుల్)
ముఖ్యంగా, గూగుల్ తన జెమిని 3 ప్రో మోడల్‌ను ఇంకా విడుదల చేయనప్పుడు మరియు xAI దాని గ్రోక్ 4.1 మరియు గ్రోక్ 4.1 థింకింగ్ మోడల్‌లను విడుదల చేయనప్పుడు ఈ అధ్యయనం సెప్టెంబర్‌లో ప్రచురించబడింది.
జెమిని 2.5 ప్రో బెంచ్‌మార్క్‌లో అగ్రస్థానంలో ఉండటం ఈ సమయంలో ఖచ్చితంగా ఆశ్చర్యం కలిగించదు, మోడల్ ప్రారంభించినప్పటి నుండి వివిధ లీడర్‌బోర్డ్‌లలో నిరంతరం అగ్రస్థానంలో ఉంది. ఏది ఏమైనప్పటికీ, OpenAI మోడల్ టాప్ 5లో ర్యాంక్ పొందకపోవడం-మరియు DeepSeek, Grok మరియు Mistral వంటి వాటి కంటే వెనుకబడి ఉండటం కూడా ఆశ్చర్యకరమైన పరిణామం.
ర్యాంకింగ్స్‌లో ChatGPT ఎందుకు అంత తక్కువగా జాబితా చేయబడిందో పరిశోధకులు హేతువు ఇవ్వలేదు, కానీ Google యొక్క జెమిని 2.5 ప్రో స్థిరంగా “ఓవరాల్ విన్నర్” మెట్రిక్‌కి అగ్ర మోడల్‌గా ర్యాంక్ పొందిందని వారు గమనించారు.
