sastrawi/tokenizer

PHP library that allows you to tokenize Bahasa Indonesia.

Sastrawi Tokenizer

, _(*1)

Sastrawi Tokenizer adalah library PHP untuk melakukan tokenization pada Bahasa Indonesia., _(*2)

Tokenization

Saya sedang belajar NLP Bahasa Indonesia.

Text di atas dapat di-tokenize menjadi:, _(*3)

["Saya", "sedang", "belajar", "NLP", "Bahasa", "Indonesia", "."]

Sastrawi Tokenizer

• Library PHP untuk melakukan tokenization pada Bahasa Indonesia.
• Mudah diintegrasikan dengan framework / package lainnya.
• Mempunyai API yang sederhana dan mudah digunakan.

Demo

http://sastrawi.github.io/tokenizer.html, _(*4)

Cara Install

Sastrawi Tokenizer dapat diinstall dengan Composer., _(*5)

1. Buka terminal (command line) dan arahkan ke directory project Anda.
2. Download Composer sehingga file composer.phar berada di directory tersebut.
3. Tambahkan Sastrawi Sentence Detector ke file composer.json Anda :

php composer.phar require sastrawi/tokenizer:0.*

Jika Anda masih belum memahami bagaimana cara menggunakan Composer, silahkan baca Getting Started with Composer., _(*6)

Penggunaan

Melalui kode PHP

Copy kode berikut di directory project anda. Lalu jalankan file tersebut., _(*7)

<?php

// demo.php

// include composer autoloader
require_once __DIR__ . '/vendor/autoload.php';

$tokenizerFactory  = new \Sastrawi\Tokenizer\TokenizerFactory();
$tokenizer = $tokenizerFactory->createDefaultTokenizer();

$tokens = $tokenizer->tokenize('Saya membeli barang seharga Rp 5.000 di Jl. Prof. Soepomo no. 67.');

var_dump($tokens);

Melalui CLI (Command Line Interface)

Sastrawi-tokenize CLI membaca teks dari STDIN dan menulis token-tokennya ke STDOUT., _(*8)

$ echo Saya sedang belajar NLP Bahasa Indonesia. | php vendor/bin/sastrawi-tokenize

Untuk menampilkan bantuan:, _(*9)

$ php vendor/bin/sastrawi-tokenize --help

Lisensi

Sastrawi Tokenizer dirilis di bawah lisensi MIT License (MIT). Library ini memuat daftar singkatan Bahasa Indonesia dengan lisensi Creative Common BY SA yang bersumber dari http://id.wiktionary.org/wiki/Wiktionary:Daftar_singkatan_dan_akronim_bahasa_Indonesia., _(*10)

Informasi Lebih Lanjut

• FAQ
• Wiki
• Roadmap
• Bug Report, Questions, Ideas