Salesforce SOSL, SOQL, and Tokenization

Salesforce 在登入後的畫面頂端提供了一個搜尋框，提供使用者搜尋各式資訊，例如：Account, Contact, Opportunity, Contract 等。

但由於預設的搜尋行為使用其內部的斷詞系統，因此針對一些專有名詞搜尋時，可能就不那麼盡如人意；例如：當資料為東京都時，可以用東京或完整的東京都搜尋到，但是無法用京都搜尋到該筆資料，或許這在很多時候是好用的，尤其當大家公認東京都跟京都是完全不同的 entity，但有時候當使用者只知道公司部分名稱時，就容易造成困擾。以下是 Salesforce 搜尋框的兩個主要限制：

• 預設行為為 start with：一如前例，系統搜尋行為會找出以京都為起始字串的資料，如果想找到東京都，搜尋時必須輸入「*京都」。

• 底層以 morphological tokenization 為基礎的索引：換言之，當專有名詞不常見時，可能因斷詞系統無法正確辨識而找不到。

上述兩個問題在斷詞系統剛從 bigram 轉換為 morphological [1] 時備受批評，但在 2017 年 4 月 [2] 跟 6 月 [3] 有修正得更精細些，例如：「横浜市中区」已經可以使用「中区」找到，關鍵不只是 start-with 的問題，更在於斷詞系統能識別「中区」一詞；然而對於廣大可能的中文專由名詞來說，這樣的解法仍然不夠。

其實英文也不見得就完全沒事，因為有時候在專有名詞欄位，使用者可能只輸入縮寫，甚至是自創的縮寫，這時候 morphological 一樣無法正確辨識並提供搜尋時所需的索引。

想要徹底解決，自己動手寫點程式可能免不了，就 Salesforce 提供的 SOSL 與 SOQL 而言，前者仍然以斷詞系統為基礎 [4]，因此只能選用 SOQL 的 like-anywhere 完成，但相對效能上難免吃重些。

see also:
[1] Salesforce Release Notes (Winter'15): Users Searching in Chinese, Japanese, Korean, and Thai Find Optimized Results
[2] Salesforce Community Known Issues: New morphology tokenization for Japanese characters after new search framework can cause unexpected morphological tokenization result
[3] Salesforce Community Known Issues: Chinese - Morphology tokenization improvement for mainly proper name noun
[4] Force.com SOQL and SOSL Reference: Introduction to SOQL and SOSL
[5] Salesforce Community Known Issue: Wrong results for Japanese OR search for file content
[6] ROSETTE.com: Why Tokenization Matters