セカイモンの裏側

★毎週木曜日更新★ 海外ショッピングサイト『セカイモン』のブログです。私たちスタッフの仕事風景や日々の出来事など、     “セカイモンの舞台裏”とも言える日常を綴っていきます。

テーブルのプレフィックスの定義とIDカラムについて

・まずはプレフィックスについて

テーブルのプレフィックスってよくあるのが、m_とかt_です。

m_はマスターテーブルで、t_はユーザーが登録するテーブルでそれだけでは足りないので、いろいろ付け足して行く事もあるかと思います。

たまに、m_だと思っていたらいつの間にかユーザーが登録するテーブルになっていたり。プレフィックスと違う仕様になっているのも見かけます。

なので次期システムではどういった命名規則にするかを考えていこうと思います。

定義する上でスタッフかユーザーかという視点よりもどれくらいの登録、更新頻度という分け方の方がいいのでは??という事で考察していきます。

m_**はマスターテーブルなので、スタッフが登録、更新するテーブル

なので1か月に1回くらいの登録、更新頻度

t_**はユーザーの入力という事で登録、更新する頻度はウォッチリストとかになると1日10回~100回、あとは入札とか落札といった登録と、会員登録といった所がユーザーが主に入力する部分かな、マイナーな部分でいくとマイ検索リストとかコミュニティの投稿はもうちょっと投稿してくれてもいいかと思いますが、、、発送指示とかもありますね。

でもまぁ、1日あたり10回~1000回ぐらいの更新頻度で限定できそうです。

次期システムの場合t_の次の通常フローとキャンセルなどのイレギュラーに発生するテーブルのプレフィックスを考慮しないとテーブルの数でいくとここの部分が大部分をしめるかと思います。

暫定的に倉庫での通常フローで発生するデータのテーブルをレギュラーからとってr_**でNG商品やキャンセルなどのイレギュラーで発生するデータのテーブルをi_**とかで定義してもいいかと思います。

オーバーサイズが通常なのかイレギュラーなのかが難しいところですね。

r_**の登録、更新頻度が落札の9割程度でi_**の登録、更新頻度がそのr_**の1割~2割ぐらいと分けるときれいにわけられるかと思います。

システムでログなどで大量に登録されるテーブルはh_**かl_**とかでいいかと思います。

更新頻度は100回~1万回/日であくまで削除されても特に影響がないサービスとかの場合のプレフィックスという事で。

最後にもともとコンフィグファイルで定義していたものをDBで管理するようになったテーブルとかはc_**とかで分けてもいいかも知れないです。ただ、m_**のテーブルの数がすくないのであればそういった分け方はしなくていいかもしれませんが。。

変更が多いマスターテーブルをどうするかを考えた方がいいかもしれないです。

システムで毎日変更しているようなマスターテーブルもm_**でいいのかどうか。1日1回ぐらいの更新なのであればやっぱりマスターテーブルですね。

カラム名はDB内でユニークにすべき

よくテーブルのID名を「ID」とする事が今までおおかったけども、そうではなくてIDが必要な場合はテーブル名+_+IDとした方が運用保守中で検索するのに大変都合がいいためそうした方がいいです。あとは、status,category,type,などのよく見かけるカラムもできればテーブル名プラスでやってもらった方がありがたいですね。

DB内で同じカラム名がある場合は意味も同じでjoinできる状態であればきれいなテーブル構成かといえるのではないでしょうか?

 

今回はルールを決めるっていうには歯切れが悪かったけども、こういった方向でいけたらぐらいしか書けませんでした。

phpにテンプレートなんていらない

PHPでよくSmarty,とかBladeとか使用している場面を見かけますが、テンプレートなんていらない。なぜならPHP自体がテンプレートなんで。

oshiete.goo.ne.jp

Smartyの存在を無視している以上、あえて過去の遺物を引きずる必要はないです。


Smartyはテンプレートエンジンですらない 

 という事を言っているが、Laravelでもbladeというのは不要でそもそも1つの言語でいいものを2つにする必要がない。

 

Smarty って、要らなくない? — INWORKS

 

SmartyでもBladeでも機能がたくさんあるし、たくさんあればあるほどデザインとロジックを分けるっていうそもそもの意味もなさなくなるんで、不要かと思います。

どこまでをロジック、デザインを分けるにしてもどっちとも取れない場合は結局担当者のコードの書き次第になるのでテンプレートを使用したからといってViewがきれいになるってなかなか難しい話かと思います。

 

次期システムのコンセプトはできるだけシンプル、初級レベルのエンジニアでもわかりやすいシステム設計という事でSmarty, Bladeが簡単とはいえそれはそれなりに覚えたり、関数を調べたりしないといけないと思います。

そのたびにSmartyググる行為がやる気を削ぐ削ぐ。

PHPでViewを書くことのデメリットはViewの見通しが悪くなってきそうになる事だけども、結局Smartyでやっても見通しが悪くなるViewをさんざん見てきたので、その時にコードレビューして確認する以外にないかと思います。

まぁViewからDBにアクセスさえしなければいいかなとも思います。。

ModelをLibraryとして使う

典型的なMVCは好きではないです。

ViewとControllerを分けるのはわかるし納得ができる。

あと、古いフレームワークでDBとのクエリをModelでまとめるのも納得できる。

しかし、今時DBとの接続がフレームワークが設定されていので、あえてModelでSQLの記述と接続を記述しなくてもいいかと思います。

古いフレームワークの場合はmysql_connect()を記述してSQLも書いてとなって色々Model上で記述が多くなってくるかと思います。

しかし、最近では細かい記述はしなくてもよく

$results = DB::select( DB::raw("SELECT * FROM some_table WHERE some_col = :somevariable"), array(
   'somevariable' => $someVariable,
 ));

これでコントローラからもSQLが記述できるのでModelで記述する理由もだんだんとなくなってきているかと考えられると思います。

 

そうなってくるとMVCじゃなくてVCだけでもほぼいいんじゃないか?っていうのが考えです。

VCになると結局さらにファットコントローラの思想に行きついてしまいます。

 

とはいえ、じゃぁModelは不要って事になるので使わなくてもいいかってなるけどもライブラリとして使用することでいいじゃないかっていうのが今回のコンセプトです。

 

ライブラリとして使用するつもりが1つのコントローラからのみのアクセスになるってことよくあったり、一回きりの関数の呼び出しが他のコントローラからもModelを呼び出すってこともよくあります。

であれば初めから何がライブラリで何がModelに入れるべき処理っていうのを分けなくてもいいかと思いました。

モダンなフレームワークでのMVCについて懐疑的な意見のページを参照します。

togetter.com

ここに記載されてる事とほぼ同意です。一般的にはMVCにするときれいになるとかロジックはModelに書くべき、ロジックをModelにかけないエンジニアはまだまだ初級レベルみたいな概念がまかり通っているが、MVC自体にメリットがなければVCでもいいのではというのが個人的な意見です。

言いたいことを代替して言ってくれてるからすっきりします。

「LLのフレームワークはコードを整理してるだけ」という意見をModelとControllerの分け方を整理してるだけとくみとって解釈すると、もしコントローラで2000行ぐらいになるファイルになるのであればそれを分割してModelに分けていってもいいかと思います。

変更箇所が多そうな部分を切り出せばバージョン管理上、運用しやすくなるメリットはあるので。

共通ロジックはゴッドオブジェクトとsingle action per controllerの時にまたこの話になると思います。

 

 

 

POSTは全てAjaxで

<form>タグでpostすることを始めに覚える事かと思いますが、システムを作るうえでJavascriptからPOSTした方がいい理由がたくさんあります。

なので今では何も迷わずにPOSTをAjaxで行っています。

ではいつもの通りメリット・デメリットを記載していきましょう。

 

色々他の記事も参考にしようとしたけども、formタグとの比較でのメリットデメリットに対しての記事がなかったので参照なしに書き綴っていきます。

 

メリット

・サーバーに負担がかからない

 まぁ、これはサーバーが多少は負荷がやわらぐかもしれないけども、作り方次第ってのも大きいのと、Ajaxにしたからといって劇的に変わるわけではないと思いますが、一般的にこれが一番初めに想起させるメリットみたいです。

・バリデーションがJSで書ける

 バリデーションをJS上で書くことによってユーザーへのレスポンスをフルリロードしなくても、メッセージをエラーとしてユーザーに見せる事ができるので、ユーザーにとっても、サーバーにとっても都合がいいかと思います。中にはサーバーサイドでしか確認がとれないバリデーションとかもあると思いますが(ユーザーIDがユニークかどうか)、大部分はそうではないので大きなメリットかと思います。

・POST後の表示を考えなくてもいい

 formでPOSTするとPOST後に成功したエラーになったにかかわらずそれなりのHTMLを書いて表現しないといけないです。でも、JSからではエラー内容、通常のレスポンスもJSONで返すだけで済むのでPOSt後のデザインを考える必要もないです。

それに伴ってコントローラ名を**add,**edit, **delみたいに表示はJSON, 他はHTML表示というように分かりやすく分ける事も可能になってきます。

・formタグの位置を気にしなくてもいい?

 JSでは.POST時にどこのタグから取得するかを指定できるので、HTML上どこにタグ、データを置こうが関係なくPOSTできるようになります。hiddenタグでやればformでもできるのでメリットは薄いですが。。

 

デメリット

・コールバックを知らないといけない。

 POSTした後何かしらのサーバーのレスポンスをもとにアクションを起こしたい場合はコールバック上でアクションの関数を実行しないといけないので、慣れてない人には1ステップの障害になるかもしれません。でもコールバックは覚えないとWebエンジニアって言えないくらいですね。

・どこからの実行なのかがわかりづらい

 とんでもないJSファイルからPOSTを実行しているっていうケースもあるので、どこからどのように実行するかのルール決めをしないといけない。

・バリデーションをJS,サーバーサイド両方で記載しないといけない。

 基本はバリデーションはJSで行って、サーバーサイドではサーバでしかチェックすることができないバリデーションのみでOKかと思います。例えば、通常のユーザーの操作以外の悪意があるようなPOSTに対して「あなたは悪意があるPOSTです」ってわざわざ言わなくてもいいので適当にレスポンスは丸めておけばいいかと思います。

 

ずっとWebをやっててJqueryのPOSTでやることになんら違和感もなくやってて、それで運用も問題ないので、POSTは全てAjaxでいいという結論です。

つばめグリルでランチ会

品川駅のつばめグリルに行ってきました。

オフィスから10分ぐらいでつばめ風ハンバーグを4つ パン2つ ご飯2つでした。

 

はじめ銀紙で包まれていたので手で開けてい

 

いのか、フォークで開けていいのかわかららなかったけど、フォークであけました。

ボリュームは多かったです。

f:id:sekaimon-staff:20170609170226j:plain

f:id:sekaimon-staff:20170609170248j:plain

f:id:sekaimon-staff:20170609170305j:plain

これってスイートじゃなくてトマトでした。

 

MACでOracle にアクセスした時のtips

1.マックのターミナルでの話

oracleが文字化けで激しいのでというか未だにSJISなのでターミナルから入った場合、

文字列が炸裂します。

 

いつも忘れるのでここでメモ

export NLS_LANG=Japanese_Japan.AL32UTF8

マックは関係ないかも

 

2.他のテーブルを参照して更新

oracleでは update ** from ** where ** でもできなかったんで調べてみたら違うSQLのようです。

update (
select
A.ITEM_AMOUNT_DLLR A_ITEM_AMOUNT_DLLR, B.ITEM_AMOUNT_DLLR B_ITEM_AMOUNT_DLLR
from h_mypage_history A INNER join h_sales_dt_left B
on A.SALES_ID = B.SALES_ID
) set
A_ITEM_AMOUNT_DLLR = B_ITEM_AMOUNT_DLLR

 

これで違うテーブルから参照して更新できます。

「テーブル移動」「テーブル複数」って検索してもなかなか出てこなかったんでメモ

 

MySQLからORACLEにデータを移行するまでの道のり

ORACLEがライセンスの問題で複数サーバーを立てられない。

なのでバックアップサーバーとかはなかなか立てられない。。

という事でバックアップにMySQLサーバーに使っています。

あと分析用とかもMySQLを使わざる終えないのでOracle > MySQL

のデータ移行をしないといけないという悲しい状況です。

 

今回はそのバックアップを取っていたデータから新しいテーブルを作成してそれを本番のOracleDBに移行するっという作業でしたがいろいろ詰まったところがあったんでメモ

 

エンコードを合わせないといけない

バックアップの方はUTF8なので問題ないですが、オラクルの方はふる~~いのSJISでした。しかもエンコードを調べるSQLでの結果もわかりにくい。

SELECT VALUE FROM NLS_DATABASE_PARAMETERS
WHERE PARAMETER='NLS_CHARACTERSET';

「JA16SJIS」

見たこともないエンコードが。。なのではじめはSJISなのかEUCなのかさえわからなかったのですが、このコードでさらにぐぐると SJIS?っていう事がわかる。

www.atmarkit.co.jp

 

なのでmysqlでエクスポートしたテーブルをUTF8>SJISに変換しないといけない作業。

mysql> select * from h_mypage_history INTO OUTFILE "/tmp/h_mypage_history.tsv" FIELDS TERMINATED BY '\t';

,(カンマ)よりもタブの方がごみデータがすくないと重いTSVでエクスポート

nkf -s /tmp/h_mypage_history.tsv > /tmp/h_mypage_history_sjis.tsv

nkfSJISに変換

・NULLの取り扱いが違う

MySQLでは\Nっていう風に記載されているのに対し、オラクルはそういう記述の仕方ではないらしい。

なのでNULLをデータなしに変換。

sed -e 's/\\N//g' /tmp/h_mypage_history_tab_sjis.tsv > /tmp/h_mypage_history_tab_sjis2.tsv 

 

・インポートが難しい

[~]$ sqlldr ユーザー/パスワード control=mypage.ctl direct=true

というコマンドを叩く。そのまえにmypage.ctl

というコントロールファイルを作成しないといけない。

その内容は

LOAD DATA
INFILE '/tmp/h_mypage_history_sjis2.tsv'
INTO TABLE h_mypage_history
APPEND
FIELDS TERMINATED BY X'9' trailing nullcols
(
USER_ID

)

タブテキストの場合はFIELDS TERMINATED BY X'9'

としないといけないみたいです。

あと失敗すると、mypage.ctlファイルを作成する場合は

mypage.logていうログが生成されるのでそこからエラーなどを見てデバッグするみたいで直接のコマンドからエラーが見れないっていう遠まわしな。。。

 

なんだかんだ3人日ぐらいかかってデータ移行ができました。

参考URL

http://blog.livedoor.jp/ncad_webdb/archives/51384321.html

http://otndnld.oracle.co.jp/document/products/oracle10g/102/doc_cd/server.102/B19211-01/ldr_control_file.html

http://www.shift-the-oracle.com/config/multibyte-characterset.html

http://www.oracle.co.jp/forum/thread.jspa?threadID=8008600

http://www.oracle.co.jp/forum/thread.jspa?threadID=35001617

http://www.searchman.info/tips/1150.html

http://vertex.air-nifty.com/blog/2008/10/oraclecsv-fe87.html