Amsterdam ontwikkelde zelf ChatGPT-alternatief, platform faalt aan alle kanten: 'Zoveel errors!'

In dit artikel:

Amsterdam heeft zijn eigen AI-assistent ChatAmsterdam voorlopig stevig begrensd, omdat het systeem volgens de gemeente te vaak onbetrouwbare of verzonnen informatie geeft. De chatbot is bedoeld om ambtenaren veilig te helpen bij werk rond beleid en politiek, maar bleek in testen regelmatig te “hallucineren” en daardoor fouten te maken in adviezen en antwoorden. Dat is extra riskant in een stadsbestuur, waar nauwkeurigheid essentieel is.

De gemeente wil met ChatAmsterdam juist controleren dat gevoelige informatie binnen veilige kaders blijft en niet zomaar bij commerciële AI-diensten terechtkomt. Toch laat deze zaak zien dat een eigen chatbot geen garantie biedt voor betrouwbaarheid. Amsterdam kiest daarom voor een voorzichtige aanpak: het gebruik van de assistent wordt beperkt, en de uitkomsten moeten voortaan strenger worden gecontroleerd voordat ambtenaren erop kunnen vertrouwen.

De kern van het probleem is dat AI-systemen soms overtuigend klinken terwijl ze feitelijk de plank misslaan. Voor een overheid, die besluiten neemt over inwoners, budgetten en regelgeving, kan dat grote gevolgen hebben. Daarom gebruikt Amsterdam ChatAmsterdam niet als zelfstandige beslisser, maar hooguit als hulpmiddel onder strikte toezicht.