Let´s talk about voicebots …

Darum haben es Voice Phone Bots in Deutschland noch so schwer.

Die Probleme der Voicebots fangen besonders beim Übertragungsmedium Telefon schon bei der speech to text Wandlung an, die leider noch viel zu schlecht ist.

Ein aus Voice transkribierter Text mit falsch erkannten Wörtern macht es einer Intent Erkennung, die meist für Chatbots entwickelt wurde schwer, Inhalte richtig zu „verstehen“. So wird zum Beispiel meine Antwort „ja bitte“ auf eine ja/nein Abfrage eines Voicebot Dialogs in der Praxis gerne mal als „Erwitte“ transkribiert und von Google auch gleich als „Stadt in Deutschland“ erkannt. Damit kommt der Bot an dieser Stelle nicht weiter un landet im „Fallback Intent“, der meiste ein nutzerunfreundliches „wie bitte…“ zur Folge hat. Klar, so genannte „Hints“ in der Spracherkennung verbessern im dargestellten einfachen ja/nein Fall den Text Output, in komplexeren Situationen ist das aber nicht so einfach.

Hier wäre es notwendig, daß der inhaltliche Kontext nicht nur für die reine Text Intent Erkennung nach der Speech to Text (STT) Wandlung genutzt wird, sondern bereits vorher für die Speech to Text Wandlung selbst statt nur auf Hints zu setzen. Theoretisch bietet Google so etwas glaube ich sogar ansatzweise an, wenn man stt und Intent Erkennung kombiniert.

Leider sind jedoch diese fortgeschrittenen Technologien meist nur im englischen Sprachraum verfügbar, was daran liegen kann, daß für europäische Sprachen noch zu wenige Trainingsdaten zur Verfügung stehen und/oder das Markt Interesse zu gering ist.

Fazit: es gibt noch viel Raum für Verbesserung von Sprachbots in Europa.

Schweizer und Österreicher TTS Stimmen von Microsoft

Microsoft bietet seit kurzem eine tolle weibliche Schweizer TTS Stimme „Leni“ an sowie Österreicher Stimmen. Im Test auf der Microsoft Demo Page klingt das beeindruckend gut.

In der automatischen Sprachsynthese (TTS) ist man meist enttäuscht, wenn man von amerikanischen Beispielen kommt, die aus sehr guten und vielfältigen Stimmen und Dialekten auswählen können. Schnell lernt man, daß die große englische Sprachzielgruppe viel besser versorgt ist, als kleine Sprach Nischen mit weniger potenziellen Nutzern. So gibt es nur wenig Auswahl deutscher Sprach Stimmen un bis vor kurzem gab es keine deutschen Dialekte von den großen Anbietern Google, Microsoft oder Amazon.

Mit den vor nicht allzu langer Zeit eingeführten Google Stimmen Wavenet-E (männlich) und Wavenet-F (weiblich) hat hier zwar noch einmal eine Verbesserung stattgefunden, die Formulierungen in ganzen Sätzen natürlicher klingen lassen, aber Microsoft hat nun auch etwas neues für kleine Zielgruppen parat. Schweizer Varianten für Deutsch und Französisch. Die Schweizer Varianten für Französisch konnte ich mangels ausreichender Kenntnis nicht testen aber die deutschen habe ich getestet.

Eigentlich bietet Microsoft sogar drei deutsche Stimmen für die Schweiz an: „Jan (Neural)“, „Leni (Neural)“ und „Karsten“. Allerdings scheint sich die Stimme Leni sehr deutlich von den anderen beiden zu unterscheiden und wirklich hervorragende Ergebnisse zu erzielen.

Auf folgender Testseite von Microsoft könnt ihr euch selber von der Qualität überzeugen, indem ihr die Sprache „German (Switzerland)“ auswählt und dann die Stimme „Leni (Neural)“. Selbst, wenn man im Textfeld ganz normalen hochdeutschen Text eingibt, erhält man eine Sprachausgabe in beeindruckendem Schweizerdeutsch.

https://azure.microsoft.com/de-de/services/cognitive-services/text-to-speech/#features

Screenshot:

Dieser Vorstoß von Microsoft passt zu meinem Bild, dass Microsoft von den großen Softwareanbietern am ehesten auch den europäischen Markt bedient, was sich zum Beispiel auch bei Datenschutz Themen und anderen speziell europäischen Anforderungen zeigt.

Einschränkungen in der Leistungsfähigkeit gibt es natürlich immer noch für Nischensprachen. Auf innovative Features wie zum Beispiel die Einstellung von Sprachstilen je nach Anwenderszenario (z.B. „Assitstant“, „Newscast“, „Customer Service“), die sachlicher oder fröhlicher klingen, müssen wir außerhalb der englischen Sprachen wohl noch etwas warten.

Screenshot:

Insgesamt eröffnet die Bereitstellung von allgemein verfügbaren Schweizer TTS Stimmen aber allen innovativen Sprachapplikationen und Voicebots nun die Möglichkeit, besser auf dem Schweizer Markt angeboten zu werden, ohne aufwändig individuelle Lösungen bauen zu müssen. Das ist für alle Anbieter wichtig, die nicht nur in Deutschland sondern mindestens im DACH Markt mit Voice Services unterwegs sein wollen.

Photo by Dorothea OLDANI on Unsplash

Dialogflow Chatbot ganz einfach auf jeder Website integrieren

Na das war ja klar! Jetzt heißt der Blog „lets talk about voicebots“ und dieser Artikel handelt schon wieder von einem Chatbot 😉 Trotzdem hat er hier seine Berechtigung, da natürlich immer wieder mixed Implementations gefordert sind, also die Erweiterung eines hauptamtlichen Voicebots mit einem Chatbot. Dialogflow bietet hierfür ganz neu eine sehr einfache Lösung an.

Wer also seinen Voicebot mit Dialogflow von Google für die Intent Erkennung aufgebaut hat, kann per Code Snippet in 5 Minuten seinen bestehenden Bot auf seine Website oder seinen WordPress Blog integrieren.

Wie funktioniert das konkret?

Für eine Integration eines bestehenden Bots als Chatbot müßt Ihr nur in Dialogflow Euren bestehenden Agenten aufrufen und im Menüpunkt „Integrations“ das Modul „Dialogflow Messenger aktivieren“.

Daraufhin bekommt ihr ein Code Snippet angezeigt, dass ihr kopiert und an die gewünschte Stelle auf Eurer Website einfügt.

Fertig!

Anpassungsmöglichkeiten

Wenn ihr nun die CSS anpassen wollt oder in Eurem Chatbot Buttons, Listen, Bilder etc. nutzen wollt, ist das alles kein Problem. Es gibt für den Dialogflow messenger eine erstaunlich ausführlich Docu unter folgender Adresse: https://cloud.google.com/dialogflow/docs/integrations/dialogflow-messenger

Offene Fragen

Mir ist noch unklar, wie sicher die Einbindung aktuell ist, das Code Snippet die agent ID im Klartext enthält und somit von jedem an beliebiger Stelle eingesetzt werden kann.

Wer kann mir hier sagen, wie der Zugriff auf Dialogflow ggf. per whitelist im zugehörigen Google Projekt beschränkt werden kann?

Blogpost diktieren

„Dieser Blogpost Vororder diktiert und nicht eingetippt Leider lassen sich damit keine Satzzeichen einfügen Ich habe den diktierten Text nicht Manuel berechtigt sondern genauso übernommen wie er verstanden wurde

Ermöglicht wird diese Spracheingabe durch das WordPress-Plugin von Besteck den Link hierzu werde ich nach der Spracheingabe noch einmal eintippen Das Plugin funktioniert ganz einfach per Plug-and-Play und ist sofort einsetzbar

Wie man in diesem Test erkennen kann ist es nicht ohne manuelle Berichtigung verwendbar es kann aber dazu dienen einfach Entwürfe zu erstellen die dann nur noch ein wenig Überarbeitung benötigen“

Manuell ergänzter Kommentar zu diesem Blogpost: Zu Beginn des Posts muss es statt „Vororder“ natürlich „wurde“ heißen und das Plugin ist nicht von „Besteck“ sondern von „biztechc“. Hier geht es zum Plugin:

Speech To Text

TTS in Schwiizerdütsch

Die Google Services zur Sprachwiedergabe von Texten (TTS) haben in englischer Sprache im letzten Jahr noch einmal große Fortschritte gemacht. Im Englischen kann man hier schon klasse Satzmelodien hören und selbst die neuen Deutschen wav Stimmen hören sich immer besser an. Aber wie steht es hierbei eigentlich mit Schweizerdeutsch?

Je kleiner die Userzahl für eine bestimmte Sprache ist, desto schlechter sind die angebotenen Services, die auf maschinellem Lernen basieren. Im Deutschen muss man schon qualitative Abstriche machen, aber für Österreich und die Schweiz findet man nur sehr schwer eine Lösung, das Sprache in Text (STT) oder Text in Sprache (TTS) wandelt. Heute habe ich jedoch einen Anbieter gefunden, der hier helfen kann und den ich kurz vorstellen möchte.

Slowsoft bietet TTS auf Schwiizerdütsch

Die Firma Slowsoft aus Zürich bietet speziell rätoromanische und schweizerdeutsche Sprachsynthese an, die Google und Co nicht liefern können. Sie konzentriert sich speziall auf schweizerische Bedürfnisse im Bereich der Sprachtechnologie. Das Leistungsspektrum geht dabei von Schweizerdeutsch (Bündnerdeutsch und Zürichdeutsch) bis zu Rätoromanisch.

Die Text-to-speech-Engine kann sowohl via Client/Server-Lösungen als auch als statische Komponente eines Embedded-Systems oder einer grösseren Applikation genutzt werden. Sprachen und Dialekte können je nach Bedarf geladen werden, ohne dass die TTS-Engine ausgetauscht werden muss.

Einbindung per Code Snipped

Eine Demonstration der Leistungsfähigkeit läßt sich per Code Snippet ganz einfach auf die eigene Webseite integrieren. Ich habe das hier einmal gemacht. Einfach einen Text eingeben, auf „ok“ klicken und staunen:

SlowSoft TTS Example

Schweitzerdeutsch im Dialog

SlowSoft bietet unter folgendem Link sogar einen Avatar als Demo an, der in Schweizerdeutsch auf einfache Fragen wie zum Beispiel „Wie heißt Du?“ oder „Wie spät ist es?“ antwortet: https://slang.slowsoft.ch/webslang/bot/gsw-CHE-gr

Fazit

Man muss doch nicht ganz auf Schweizerdeutsch verzichten, die Lösung von SlowSoft ist jedoch noch sehr weit von der gewohnten Google Qualität in Deutscher Sprache entfernt. Für bestimmte Anwendungen mit schmalem Usecase könnte der angebotene Service allerdings schon eine praxistaugliche Lösung darstellen.

Dialogflow Chatbot per Plugin in WordPress integrieren

Als ich heute zu Dialogflow Themen im Web unterwegs war, bin ich durch Zufall auf eine sehr einfache Chat Integration für WordPress gestoßen und habe diese gleich implementiert. Es handelt sich hier um das Plugin „My Chatbot“ von Daniel Powney, mit dem ein Dialogflow Agent sehr einfach in WordPress integriert werden kann. ~~Das habe ich gleich einmal für diesen Blog ausprobiert.~~ Edit vom 09.10.2023: das Plugin ist in der Version <= 1.1 angreifbar: „Reflected Cross Site Scripting (XSS) vulnerability“ und wurde daher hier entfernt.

Man kann den Bot entweder als Overlay am Bildschirmrand einbinden oder per Shortcode an eine Stelle seiner Wahl. Einfacher geht es kaum. Das hat nach dem Eintragen des agent vlient access token, das man in den Eistellungen des Bots in Dialogflow findet, auch sofort ohne Probleme funktioniert.

Erste Erkenntnis für diesen Blog: Bei aktivierter Sprachsteuerung wird leider kein Mikrofon Symbol zur Aktivierung der Spracheingabe angeboten. Hier muss ich also noch forschen, wie da geht, damit dieser Bot auch wirklich zum Thema dieses Blogs passt.

Wenn man einen anderen Client, wie zum Beispiel einen Facebook Messenger simuliert, kann man auch andere Content Arten, wie zum Beispiel Bilder als Antworten einfügen.

Mehr dazu in folgendem Blogpost des Plugin Autors: https://danielpowney.com/my-chatbot-demo/

UPDATE: Wie ein Chatbot noch einfacher per Code Snippet direkt aus Dialogflow überall heraus einbindbar ist, lest ihr hier: Dialogflow Chatbot ganz einfach auf jeder Website integrieren