Báo lỗi khi chạy file tok.jar sau khi build

[ithieund]

Dear anh @phuonglh ,
Mình làm theo hướng dẫn build package bằng sbt của anh, sau khi compile và assembly xong, mình chạy file tok.jar theo code mẫu của anh nhưng không được, nó báo lỗi Error: Unable to initialize main class vlp.tok.VietnameseTokenizer. Caused by: java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

Không biết lỗi này do đâu và cách khắc phục ntn, mong anh hỗ trợ giúp nhé.
Cảm ơn anh.

[phuonglh]

À, mình viết hướng dẫn thiếu đấy. Khi chạy java -jar ../tok.jar thì chương trình sẽ chạy lớp main mặc định là vlp.tok.VietnameseTokenizer, lớp này phụ thuộc vào thư viện Spark. Lớp nhẹ là vlp.tok.Tokenizer.

Có hai cách sửa:

1. Chỉ định rõ lớp cần chạy:

java -cp .../tok.jar vlp.tok.Tokenizer input.txt output.txt

Hoặc

2. Sửa từ nguồn, xem tệp build.sbt và sửa vlp.tok.VietnamseTokenizer thành vlp.tok.Tokenizer và compile lại để có tệp tok.jar mới và sau đó chạy lệnh cũ.

[phuonglh]

Mình vừa xem lại code. Có vẻ mình đã bỏ hàm main() ra khỏi Tokenizer nên không chạy được bản lightweight nữa. Tạm thời bạn chạy theo phương pháp submit lên Spark nhé.

spark-submit tok.jar ...

[ithieund]

Mình vừa xem lại code. Có vẻ mình đã bỏ hàm main() ra khỏi Tokenizer nên không chạy được bản lightweight nữa. Tạm thời bạn chạy theo phương pháp submit lên Spark nhé.

spark-submit tok.jar ...

Cảm ơn anh, để mình thử lại.

[ithieund]

Hi anh @phuonglh ,
Mình chạy lại file bằng lệnh spark-submit thì nó lại báo một lỗi khác, anh xem giúp mình nhé

Nếu được anh cung cấp luôn bản build sẵn up lên Tags của repo cho mn thuận tiện sử dụng nha a :)

[phuonglh]

Có thể do bạn dùng Spark 1.6 cũ rồi. Upgrade lên 3.2 như trong README hoặc build.sbt nhé.