Ngữ nghĩa ẩn là như thế nào
Các cách thức biểu diễn và thu thập ngữ nghĩa
– Thu thập tạo thủ công
– Thu thập dựa trên học máy
các phương thức áp dụng thu thập: các công thức toán học và công cụ so sách tài liệu & từ
Mô hình chủ đề ( công cụ phân tích văn bản) ( tự động – quy nạp)
Mô hình LDA
Bài toán học
Bài toán suy diễn
Các ứng dụng mô hình chủ đề hiện nay
– bài toán máy tìm kiếm với n tham số (n >10^6 )
– bài toán quảng cáo online
Các phương pháp học mô hình máy hiệu quả
– Lấy mẫu Gibbs ( hay nhất) CGS
– BP
– VB
– CVB0
Lưu trữ tác giả: Toktips
1. Giới thiệu về Rapitminer
2. Cài đặt và sử dụng
3.Thực hành bài tập ứng dụng phân tích khách hàng rời mạng
a. Tập hợp dữ liệu đã được xử lý chuẩn
Bước 1: Nạp dữ liệu
Bước 2: Lựa chọn nhãn (gõ key tìm kiếm trong tab Operator: set roles)
điền các thông tin vào các trường trong tab Parameter
– attribute name:
– target role: lable
Bước 3: Tạo tập nhãn ( gõ key tìm kiếm trong tab Operator:numerical to binominal)
điền các thông tin vào các trường trong tab Parameter
– attribute filter type:
– attribute:
– include special attributes ( dấu x)
– min – max
Bước 4: Kiểm thử mô hình( gõ key tìm kiếm trong tab Operator:x-validation)
Cân bằng dữ liệu : (gõ key tìm kiếm trong tab Operator: sample)
điền các thông tin vào các trường trong tab Parameter
– sample: relative
– balance data ( dấu x) — > Chọn bổ sung các thông số tại Edit list
– sample ratio per class
Lựa chọn phương pháp phân lớp ( gõ key tìm kiếm trong tab Operator Decision Tree)
điền các thông tin vào các trường trong tab Parameter
– criterion: gain_ratio
– maximal depth:
Ứng dụng mô hình ( gõ key tìm kiếm trong tab Operator Apply Model)
Đánh giá hiệu quả mô hình
Tích chọn mục Validation ( gõ key tìm kiếm trong tab Operator Performance)
Thực hiện thao tác kéo thả giữa các khối trong mô hình. Bấm PLAY để xem và đánh giá kết quả
Bài toán phân lớp Classification có 2 dạng:
– Phân cụm ( Cluster): Học không giám sát
– Phần tử ngoại lai
Áp dụng trong dựa vào tập mẫu hoặc tập thông tin bổ trợ.
Sử dụng phân tích đánh giá ý kiến, phân loại thông tin, nhận định âm thanh hình ảnh
– Phân lớp nhờ hàm quyết định ( VD nhận dạng vân tay)
– Phân lớp khoảng cách cực tiểu
– Máy vector tựa
Tình huống
– Khi các lớp tách được tuyến tính
– Khi các lớp không tách được tuyến tính
Phương pháp hàm nhân, dùng hàm nhân để tìm hàm phân biệt
Các hàm nhân thông dụng
– Đa thức bậc p
– Hàm cơ sở bán kính
Phân lớp Bayes
Sử dụng để phân loại sản phẩm
Cây quyết định
Rừng hồi ngẫu nhiên
Thuật toán ID3, C45, CART, gradient
2. Bài toán quy hồi Regression
– Xác định giá trị dựa trên tập đã quan sát
-Mạng nơron
-mạng MLP
-Học sâu ( deep learning)
1. Kiểu dữ liệu, Mô hình và cấu trúc dữ liệu
– Dữ liệu số
– dữ liệu biểu thức
Cấu trúc
– có cấu trúc
– không cấu trúc
– bán cấu trúc
Dữ liệu dạng – có nhãn/ không nhãn
2. Quy trình – phương thức khai phá dữ liệu
– Phân loại 2 bước
– chia dữ liệu: Huấn luyện/ Kiểm nhiệm/ Đánh giá chất lượng
– Kỹ thuật cây quyết định
– Kỹ thuật neural networks
– Kỹ thuật rules quyết định
– Kỹ thuật bayesian
– Kỹ thuật phân cụm clustering
– Kỹ thuật khai thác xã hội
– Các kỹ thuật khác
tìm hiểu thêm trên kdnuggets.com
3. Mô hình đánh giá và tổng hợp
II. XU THẾ PHÁT TRIỂN CỦA MÁY HỌC
Một số khái niệm có liên quan trong khoa học dữ liệu và khai phá dữ liệu:
– Thống kế
– Máy học – học bằng máy Machine Learning
– Khai phá dữ liệu (data mining)
– Khoa học dữ liệu ( data sc
————–
Dữ liệu thu được từ: quan sát. thu thập và đo lường được
Thông tin: được chắt lọc từ dữ liệu tổng hợp được. thông tin thu được sau 1 quy trình XỬ LÝ
Tri thức là những gì tổng hợp được từ các thông tin. Tri thức thu được từ: Học tập, Phát hiện và nhận thức
————–
Con người thu thập dữ liệu = lấy mẫu ngẫu nhiêu/ hoặc thu thập mọi dữ liệu có được
Từ tri thức người ta chia ra nghiên cứu các lĩnh vực khác nhau như:
1. Thống kê ( Sử dụng các công thức toán học vào để phân tích khái quát dữ liệu) Thống kê có 2 phần: thống kê mô tả & thống kê suy diễn) Thường sử dụng cho phân tích dữ liệu có 1 biến.
Với phân tích dữ liệu nhiều biến sử dụng phương pháp:
– phân tích thăm dò
– phân tích khẳng định
2. Máy học – Machine Learning
Cách thức máy tính có thể học được. —> máy có thể học được thì cần phải phân tích 1 tập dữ liệu. Máy học có 1 số đặc điểm là: hiểu ngôn ngữ tự nhiên/ có tính suy diễn/ phân tích được
3. Khai phá dữ liệu
quá trình tự động phát hiện các tri thức tiềm ẩn trong tập dữ liệu lớn và đa dạng.
4. Khoa học dữ liệu
Khái niệm Big Data: là tập hợp các dữ liệu rất lớn hoặc rất phức tạp
Khoa học dữ liệu được hiểu là các thức phân tích dữ liệu lớn, tổng hợp từ Thống kê + Máy học + Khai phá dữ liệu
——
1 số so sánh giữa Thống kê và Máy học
Thống kê | Máy học: |
– Nhấn mạnh về thống kê suy diễn hình thức( ước lượng, kiểm định, giả thuyết) – dựa trên các mô hình cho bài toán nhỏ, dạng dữ liệu số – ít có sự thay đổi – có xu hướng mở rộng sang học máy | – nhấn mạnh các bài toán dự đoán, bắt đầu từ dữ liệu hình thức – Mới được xây dựng và dùng các thuật toán trực cảm ( heuristics algorithms) – gắn nhiều với thống kê. Xây dựng các mô hình cho các thuật thoán |
1 số so sánh giữa Thống kê và Khai phá dữ liệu (Data Mining)
Nội dung | Thống kê | Khai phá dữ liệu |
Kiểu bài toán và dữ liệu | Có cấu trúc | Không/ bán cấu trúc |
Mục đích của việc phân tích và thu thập dữ liệu | Xác định mục tiêu ban đầu rồi đi thu thập | Dữ liệu thu thập thường không liên quan đến mục tiêu |
Kích thước dữ liệu | Nhỏ / thưởng thuần nhất | Lớn & ko thuần nhất |
Phương thức/ Cánh tiếp cận | Dự trên lý thuyết suy diễn (deductive) | Phối hợp lý thuyết quy nạp và trực cảm (inductive) |
Kiểu phân tích | Khẳng định | Thăm dò, khai phá |
Số biển | Nhỏ | Lớn |
Giả định phân bổ | Dự trên giả định phân bổ | Không giả định phân bổ xác suất |
- Mở 1 file excel mới
- Chú ý: cần đóng hết các file excel đã mở trước đó
- – Lưu file với tên AroofPill.xlsx
- – Đến dòng C23
- – Thiết lập độ rộng chính xác = 300 pixel
- Thay đổi font chữ thàng 20pts
- Gõ công thức sau:
- =SUBSTITUTE(ADDRESS(BIN2DEC(1&REPT(“0”,5)),6*7,4)& CHAR(82)&MID(“SMILE”,3,2)& ADDRESS(2^5,57*3,4)& MID(“COOL”,3,456789),”32″,””)
- – Bấm Enter và chơi!
Chú ý: nếu mất các level trong game thì làm lại từ bước 1
Nếu Excel 2000 nổi tiếng với game đua xe 3D rất ấn tượng thì mới đây, dân cư mạng lại dấy lên khi một người phát hiện một game đua xe không kém phần thú vị được vô tình tìm thấy trong Excel 2003 hay Excel 2007.Trò đua xe này được cải tiến rất nhiều so với trò đua xe của Excel 2000. Có nhiều loại xe để chọn lựa hơn và cũng có khá nhiều đường đua hơn. Người chơi có thể chọn đường đua, số luợng người thi đấu và chọn cả trọng tài…..
Cách tìm ra trò chơi:
Các nhà phát triển của Microsoft rất thông minh khi họ dùng ngày giờ hiện hành để làm chìa khóa mở cửa trò đua xe ấn tượng này. Để mở cửa game này, bạn làm như sau:
Bước 1: Mở Microsoft Excel > dời chuột đến dòng 2003 (hoặc dòng 2007 trong excel 2007) và cột WC. Có nghĩa là dời chuột đến ô có địa chỉ WC2003 hay WC2007
Bước 2: Nhấp vào ô này lệnh =now() sau đó khoan hãy enter mà nhấn và giữ phím Ctrl + Shift + Alt và nhấn Enter. Tiếp tục dời xuống ô WC2010 (cho cả Excel 2003 và Excel 2007) nhấp vào dòng: !Sorry Microsoft! A funny game!!! Sau đó nhấn Enter.
Chú ý: Bạn phải dời đúng địa chỉ, nhập bằng tay, không được copy, sử dụng đúng lệnh =now() và giữ đúng các phím Ctrl + Shift + Alt khi nhấn enter thì Game này sẽ hiện ra
Dropbox được thiết kế với nhiều lớp bảo vệ, bao gồm cả chuyển giao an toàn dữ liệu, mã hóa, cấu hình mạng, và điều khiển cho ứng dụng và người dùng cấp được phân phối qua một khả năng mở rộng, cơ sở hạ tầng an toàn.
Dưới đây là một sơ đồ về cách làm việc của dịch vụ:
người dùng Dropbox có thể truy cập các tập tin và thư mục bất cứ lúc nào từ máy tính để bàn, web, và các khách hàng điện thoại di động, hoặc thông qua các ứng dụng kết nối với Dropbox. Tất cả các khách hàng kết nối để đảm bảo các máy chủ để cung cấp truy cập vào các tập tin, cho phép chia sẻ tập tin với những người khác, và cập nhật các thiết bị khi các tập tin được thêm vào, thay đổi, hoặc xóa liên kết. Các dịch vụ Dropbox hoạt động dịch vụ khác nhau mà có trách nhiệm xử lý và chế biến cả siêu dữ liệu và lưu trữ khối thô.
– Công cụ:
– VMWare hoặc Virtual Box
– Máy ảo Server 2012|2008 hoặc 2003
– Máy ảo Windows 10|Windows 7 hoặc XP
1. Chuẩn bị
Để cài đặt 1 web server, cần chuẩn bị 1 số đồ nghề sau
- Apache 2.2.16 – httpd-2.2.16-win32-x86-no_ssl.msi
- PHP 5.2.12 – PHP 5.2.12 zip package (ko nên cài các bản mới vì nó khó cài hơn, các hosting hiện nay cũng vẫn xài PHP 5.2)
- MySQL 5.1.51 – mysql-essential-5.1.51-win32.msi
- phpMyAdmin – phpMyAdmin-3.3.7-english.zip (lang eng là đủ vì các lang kia cũng ko xài, dow hết nặng máy)
Lưu ý, cái này là tự cài từng phần 1 cho những ai thích học, còn nếu bạn còn đang rất lơ mơ thì mình khuyên là nên dùng bộ cài đặt trọng gói Vertrigo (http://vertrigo.sourceforge.net/) thì sẽ nhanh và ổn định hơn là tự lần mò
2. Cài Apache
Cái này cài đặt chỉ việc next là xong
Network domain: localhosh
Server name: localhost
Administrator’s email address: email của bạn@abc.com
Để đơn giản, ở bước tiếp theo chọn kiểu cài đặt Typical
Chọn đường dẫn là C:App cho ngắn + tiện vào hoặc ko thì tùy các bạn 
Okie, sau khi cài xong, các bạn bật trình duyệt lên, gõ http://localhost vào xem đã chạy chưa, nếu nó hiện lên chữ It’s Work tức là đã cài thành công
3. Cài PHP
Sau khi download PHP 5.2.12 về, các bạn giải nén ra, và coppy tất cả các file vào thư mục C:Appphp (Thư mục C:App giống như ở trên cài Apache)
Đổi tên file php.ini-dist thành php.ini
mở file php.ini vừa đổi tên xong lên
tìm :
extension_dir =”./”
sửa thành
extension_dir = “C:Appphpext”
Tìm tiếp
;extension=php_gd2.dll
;extension=php_mbstring.dll
;extension=php_mysql.dll
;extension=php_mysqli.dll
và xóa dấu ; ở trước đi, để sử dụng các thư viện đó, trong đó có hàng loạt thư viện, cần xài cái nào thì bỏ dấu ; ở trước extension đi là oke
Xong, save lại
Chú ý: Thêm Environmental Variables vào System Path
Để PHP có thể khởi động cùng với hệ điều hành, bạn phải thực hiện việc thêm Environmental Variablesvào System Path như sau:
Bạn vào Start->Control Panel->System->Advanced System Settings, chọn advanced tab, click chọn nútEnvironmental Variables kéo xuống phía dưới của system variables, tìm biến PATH, chọn Edit và thêm vào đầu tiên của dòng có sẳn đoạn sau: C:serverphp;
Sau khi hoàn thành, nhất định bạn phải khởi động lại máy, phải khởi động, logging off là chưa đủ. Nếu bạn vội vàng chuyển qua bước tiếp theo mà không khởi động, chắc chắn sẽ gặp lỗi.
Tiếp theo cấu hình cho Apache
Mở file httpd.conf trong folder conf lên
Tìm dòng
Loadmodule vhost_alias_module module/mod_vhost_alias.so
Xóa dấu # ở trước nó đi và thêm vào bên dưới
Loadmodule php5_module “C:/App/php/php5apache2_2.dll”
PHPIniDir “C:/App/php”
Tìm tiếp
DirectoryIndex index.html
Sửa thành
DirectoryIndex index.html index.php
để ưu tiên các file mặc định, nếu ko thích là index các bạn có thể sửa là default.php, hay abc.php tùy ý
Tìm tiếp
AddType application/x-gzip.gz.tgz
thêm vào bên dưới
AddType application/x-httpd-php.php
AddType application/x-httpd-php-source.phps
Tìm tiếp
#Include conf/extra/httpd-vhosts.conf
bỏ dấu # đi, để nếu cài server và muốn tạo nhiều host chạy nhiều domain
Okie, bây giờ các bạn reset lại apache rồi vào C:Apphtdocs tạo 1 file info.php với nội dung là
<?php echo “Hello world”; ?>
rồi chạy http://localhost/info.php để test thử, nếu oke thì nó sẽ hiện info PHP lên
4. Cài MySQL
1. Đúp click lên gói MySQL mà bạn đã tải về theo hướng dẫn phần đầu tiên của bài này để tiến hành cài đặt.
2. Chọn Typical và click Next
3. Cứ tiếp tục click Next cho đến khi màn hình xuất hiện đường dẫn trỏ tới nơi mà MySQL sẽ được cài đặt. Click Instal
4. Ở bước MySQL.com Sign Up. Bạn chọn Skip Sign Up, Next
5. Bây giờ là lúc bạn cấu hình cho MySQL, cũng khá là đơn giản. Chọn Configure the MySQL Server now, Click Finish
6. Chọn Detailed Configuration, Next
7. Chọn Developer Machine, Next
8. Chọn Multifunctional Database, Next
9. Click Next
10. Chọn Decision Support (DSS)/OLAP, Next
11. Tíc chọn cả Enable TCP/IP Networking và Enable Strict Mode, Next
12. Chọn Standard Character Set, Next
13. Tíc chọn cả Install as Windows Service (Service name: MySQL, chọn Launch the MySQL Server automatically ) và Include Bin directory in Windows PATH, Next
14. Thiết lập mật khẩu tài khoản root: Click chọn Modify Security Settings.
Nhập mật khẩu vào ô New root password. Nhập lại 1 lần nữa ở ô Confirm và Next
15. Cuối cùng, Click Execute
Vì php5 đã có tích hợp SQL Lite vào rồi, nên để bắt PHP làm việc với MySQL, các bạn cần coppy filelibmysql.dll trong thư mục php cho vào C:WINDOWSSystem32
Để chắc chắn 1 số thư viện khác cũng hoạt động tốt, trong thư mục php có bao nhiêu file có tên bắt đầu làlib, đuôi là .dll các bạn cũng coppy rồi cho cả vào C:WINDOWSSystem32
Xong, các bạn chạy lại file info.php để chắc chắn là mysql đã enable rồi
Thế là đã cài xong web server rồi
5. Tạo Virtual Host
Để tạo nhiều host với nhiều domain khác nhau, các bạn mở file httpd-vhosts.conf trong thư mụcC:Appconfextra lên
VD server của các bạn có IP là 67.220.217.79
Các bạn thay toàn bộ nội dung trong file bằng đoạn bên dưới
NameVirtualHost 67.220.217.79
DocumentRoot “C:/Server”
</VirtualHost>
</VirtualHost 67.220.217.79>
DocumentRoot “C:/Server/tenmien.com”
ServerName Tenmiem.com
</VirtualHost>
Sau đó trỏ IP của các domain tới server của bạn là okie
6. Tạo account FTP để upload + share
Để máy client có thể upload đc file lên server, các bạn cài thêm phần mềm zFTPServer tạihttp://zftpserver.com, nếu ai giàu thì buy, còn ko thì có thể xài bản freewave của nó cũng được
Các bạn có thể tạo acc, set quyền đọc, ghi, xóa, tạo folder v.v.v
Để set thư mục cho account, các bạn bấm vào chỗ C:Server như của mình rồi chọn Add Resource
để set quyền thì các bạn tích dấu v đỏ như mình tích ở trên. Okie, bây giờ máy client có thể login qua Cute FTP để upload file lên server được rồi
7. Cài đặt phpMyAdmin
Cái này để quản lý database, cách cài cũng ko có gì rắc rối lắm,
các bạn download về, giải nén ra và cho vào thư mục htdocs, tiếp theo chạy đường dẫnhttp://localhost/phpMyAdmin/setup để tạo account admin quản lý
Các bạn chọn New Server
PHP extension to use: mysql
User for config auth: root (user để đăng nhập)
Password for config auth: matkhau (pass đăng nhập)
Okie, save lại, rồi các bạn chạy link http://localhost/phpMyAdmin/ để đăng nhập vào phpmyadmin, tạo database rồi select query thử v.v.v.
Chú ý: nếu để link là localhost/phpMyAdmin thì ai vào IP của bạn cũng sẽ thấy folder đó, nên các bạn move cái folder phpMyAdmin đó ra ngoài, ngang hàng folder htdocs hoặc để đâu thì tùy.
Nhưng để mình vẫn có thể vào quản lý được, thì các bạn mở file httpd.conf lên, kéo xuống dưới cùng, và thêm dòng
<Directory “C:AppPhpmyadmin”>
Options All
AllowOverride AuthConfig
Order allow, deny
Allow from All
</Directory>
Alias/phpmyadmin “C:AppphpMyAdmin”
Như thế các bạn ở trên server vẫn vào bằng link http://localhost/phpmyadmin được, còn người khác vào bằng http://IP server/phpmyadmin thì ko được
Okie. done!
Như thế là các bạn đã cài xong 1 web server cơ bản rồi