Flusssteuerung für Volltext-Pipeline

Das folgende Diagramm zeigt, wie Daten in SQL Anywhere von einem Dokument in einen Stream von zu indizierenden Begriffen konvertiert werden. Die Flusssteuerung für die Erstellung, Aktualisierung und Abfrage eines Textindexes wird als Pipeline bezeichnet. Die obligatorischen Teile der Pipeline sind hellgrau dargestellt. Pfeile zeigen den Fluss der Daten durch die Pipeline an. Funktionsaufrufe werden in umgekehrter Richtung weitergegeben.

Die Abbildung zeigt eine Pipeline für die Volltextindizierung und Abfragen. Die Pipeline für die Indizierung geht vom Dokument über die Vorfilter-Bibliothek und die Begriffsegmentierer-Bibliothek zum Datenbankserver, mit möglicher Zeichensatzkonvertierung zwischen jedem Schritt. Die Pipeline für Abfragen zeigt, dass die Abfrage über eine mögliche Zeichensatzkonvertierung zur Begriffsegmentierer-Bibliothek, einer weiteren möglichen Zeichensatzkonvertierung und dann zum Datenbankserver zur Verarbeitung der Abfrage geht.

Gesamtübersicht über die Funktionsweise der Pipeline

Die Verarbeitung jedes einzelnen Dokuments wird durch den Datenbankserver initiiert, der die Methode begin_document am Beginn einer Pipeline aufruft, entweder am Begriffsegmentierer oder am Zeichensatzkonvertierer. Jede Komponente in der Pipeline ruft begin_document für ihren eigenen Producer auf, bevor Ergebnisse von dieser Methode zurückgegeben werden.
Der Datenbankserver ruft, nachdem die Methode begin_document erfolgreich abgeschlossen wurde, am Ende der Pipeline get_words auf.
- Während der Ausführung von get_words ruft der Begriffsegmentierer get_next_piece für seinen Producer auf, damit die Daten verarbeitet werden. Wenn ein Vorfilter in der Pipeline vorhanden ist, werden die Daten während des nächsten Aufrufs der Methode get_next_piece gefiltert.
- Der Begriffsegmentierer segmentiert die von seinem Producer erhaltenen Daten entsprechend seiner Begriffsegmentierregeln in Begriffe.
Der Datenbankserver wendet die Einstellungen für die minimale und maximale Begriffslänge sowie die Stopplisteneinschränkungen auf die durch Aufruf der Methode get_words zurückgegebenen Begriffe an.
Der Datenbankserver fährt mit dem Aufrufen von get_words fort, bis keine weiteren Begriffe mehr zurückgegeben werden. Zu diesem Zeitpunkt ruft der Datenbankserver die Methode end_document auf. Dieser Aufruf wird auf dieselbe Weise in der Pipeline weitergegeben wie der Aufruf der Methode begin_document.

Hinweis

Zeichensatzkonvertierer werden durch den Datenbankserver, wo erforderlich, der Pipeline auf transparente Weise hinzugefügt.

Codebeispiele für Vorfilter und Begriffsegmentierer

Siehe auch

Kommentieren Sie diese Seite in DocCommentXchange.