Οι σχολικές περιφέρειες στις ΗΠΑ ενισχύουν τα συστήματα επιτήρησης στο διαδίκτυο λόγω της αυξανόμενης ανησυχίας για περιστατικά βίας, όπως οι πυροβολισμοί στα σχολεία.

Πρόσφατα, ένας 13χρονος μαθητής στη Φλόριντα συνελήφθη μετά από ειδοποίηση που προκλήθηκε από ερώτησή του στο ChatGPT σχετικά με τον τρόπο να σκοτώσει έναν φίλο του, αναδεικνύοντας τα όρια της παρακολούθησης και την προστασία της ιδιωτικότητας στα ψηφιακά περιβάλλοντα των μαθητών.

Το περιστατικό σημειώθηκε στο Ντέλαντ της Φλόριντα, όπου ο μαθητής του Γυμνασίου Southwestern χρησιμοποίησε το ChatGPT για να ρωτήσει «πώς να σκοτώσω τον φίλο μου στη μέση του μαθήματος». Η φράση ενεργοποίησε το σύστημα παρακολούθησης Gaggle, συνεργάτη της Google, που αξιολογεί τις διαδικτυακές δραστηριότητες των μαθητών σε σχολεία σε όλη τη χώρα. Άμεσα, οι αρχές ενημερώθηκαν, ο έφηβος συνελήφθη και οδηγήθηκε στην αστυνομία για ανάκριση.

Σύμφωνα με τοπικά μέσα, ο μαθητής ισχυρίστηκε ότι επρόκειτο για αστείο και ότι απλώς «τρολάριζε» έναν φίλο του που τον είχε ενοχλήσει. Ωστόσο, το γραφείο του σερίφη της κομητείας Βολούσια χαρακτήρισε το περιστατικό ως σοβαρή έκτακτη ανάγκη, υπογραμμίζοντας την ανάγκη για γονεϊκή ευθύνη και ενημέρωση ώστε να αποφεύγονται παρόμοια λάθη.

Η Gaggle παρουσιάζεται ως εργαλείο ασφαλείας που παρακολουθεί μαθητές από τονηπιαγωγείο έως το λύκειο, εντοπίζοντας λέξεις-κλειδιά που σχετίζονται με βία, αυτοτραυματισμό ή εκφοβισμό. Μέσω της ανάλυσης των διαδικτυακών συνομιλιών, συμπεριλαμβανομένων και αλληλεπιδράσεων με AI chatbots όπως το ChatGPT και το Google Gemini, συλλέγει στιγμιότυπα οθόνης και ειδοποιεί τις αρμόδιες αρχές.

Η εταιρεία τονίζει ότι, σύμφωνα με τον Νόμο για την Προστασία των Παιδιών στο Διαδίκτυο, τα σχολεία έχουννομική υποχρέωση να προστατεύουν τους μαθητές από επιβλαβές περιεχόμενο και ότι δεν υπάρχει αναμενόμενη ιδιωτικότητα όταν χρησιμοποιείται εξοπλισμός και υπηρεσίες που παρέχονται από το σχολείο.

Παρά την επιβεβλημένη ασφάλεια, προκύπτουν σοβαρά ερωτήματα σχετικά με την πρόσβαση και παρακολούθηση των συνομιλιών των χρηστών στα chatbots. Η μέθοδος ανίχνευσης λέξεων-κλειδιών θυμίζει συστήματα μαζικής επιτήρησης όπως το PRISM, που κατέγραψε διαδικτυακές επικοινωνίες σε παγκόσμιο επίπεδο. Αυτό εγείρει ζητήματα για την προστασία της ιδιωτικότητας, ειδικά όταν οι συνομιλίες περιλαμβάνουν ευαίσθητα ή προσωπικά δεδομένα.

Επιπλέον, παρατηρείται αύξηση υποθέσεων όπου η ψυχική υγεία σχετίζεται με αλληλεπιδράσεις σε AI chatbots, με περιπτώσεις που έχουν οδηγήσει σε αυτοκτονίες ή βίαιες πράξεις. Η καταγραφή και ανάλυση αυτών των συνομιλιών δημιουργεί προφίλ χρηστών που περιλαμβάνουν προσωπικές πληροφορίες, κάτι που απαιτεί προσεκτική διαχείριση και νομοθετική ρύθμιση.